Accès direct au contenu

MATH

Version anglaise

aide

Fondements Théoriques du deep learning

Intervenants:

S. Gerchinovitz, F. Malgouyres, E. Pauwels (Université Paul Sabatier), Nicolas Thome (CNAM)

Objectifs du cours :

L'objectif principal de ce cours est de présenter des résultats représentatifs de la recherche actuelle sur les justifications mathématiques des algorithmes d'apprentissage profond; puis de faire le lien avec la mise en pratique de ces algorithmes.

Thèmes abordés :

Nous commencerons par formaliser différents modèles de réseaux et par décrire des algorithmes de back-propagation utilisés pour leur minimisation. Le coeur du contenu mathématique du cours consistera ensuite en la présentation de résultats récents sur :
- l'optimisation non-convexe ;
- les propriétés du paysage de la fonction objectif ;
- la stabilité des minimiseurs (notamment dans le cas de réseaux linéaires structurés); l'interprétabilité des réseaux;
- l'expressivité des réseaux, leur complexité de Rademacher et la régularisation avec le dropout ;
- des propriétés des Generative Adversarial Networks (GANs).
- des propriétés de robustesse décisionnelle des réseaux profonds (incertitude, stabilité)

Pré-requis :

Notions de base en Analyse, statistique et apprentissage machine, en programmation en python

Validation :

- 1 examen final  (90% de la note)
- 1 travail à la maison avec implémentation d'algorithme (10% de la note)
- Pour le rattrapage du cours, nous prévoyons de faire un examen de rattrapage dont la note remplacera les notes précédentes.

Le lien vers la page web du cours est

https://www.math.univ-toulouse.fr/~fmalgouy/enseignement/mva.html