* Alasdair Newson (Telecom Paristech) - MAP5-UMR 8145

Alasdair Newson (Telecom Paristech)

Carte non disponible

Comment les autoencodeurs traitent des formes géométriques ?

jeudi 14 décembre 2017, 14h00 - 15h00

Salle du conseil, espace Turing


L’autoencodeur est un réseau de neurones qui est récemment devenu très populaire grâce à ses nombreuses applications, telles que la compression ou le débruitage d’images. Dans ce travail, nous étudions les mécanismes qui permettent aux autoencodeurs d’encoder et de décoder une forme géométrique simple, le disque. Dans le cas du réseau sans bias, nous décrivons la forme de la solution optimale au problème de minimisation inhérente à l’étape d’apprentissage, et nous montrons que le réseau approxime bien cette solution. Ensuite, nous regardons la capacité de généralisation de l’autoencodeur et nous montrerons un cas où cette généralisation échoue. Nous étudions plusieurs méthodes de régularisation qui permettent de résoudre ce problème. Enfin, je montrerai quelques expériences d’autoencodage avec d’autres formes géométriques plus complexes.

Autoencoding Geometric Shapes

The autoencoder is a type of neural network which has become very popular for a variety of tasks, from image compression to denoising. In this work, we study the specific mechanisms which allow autoencoders to encode and decode a simple geometric shape, the disk. In the case of an autoencoder without biases, we are able to describe the specific form of the optimal solution to the minimisation problem of the training step, and we show that the autoencoder indeed approximates this solution during training. Secondly, we identify a clear failure in the generalisation capacity of the autoencoder, namely its inability to interpolate data. We then explore several regularisation schemes to resolve the generalisation problem. Finally, we show some further preliminary experiments with other types of geometric shapes which indicate that they are able to deal with these shapes in an optimal manner.