Guillaume Lecue (CREST, ENSAE)

Guillaume Lecue (CREST, ENSAE)

Analyse statistique des méthodes par régularisation en apprentissage statistiques

Quand

31 mars 2023    
9h30 - 10h30

Salle du Conseil, Espace Turing
45 rue des Saints-Pères, Paris, 75006

Type d’évènement

Dans le contexte de l’apprentissage, je présenterai les étapes clefs utilisées pour l’analyse statistique des méthodes par régularisation. L’objectif de l’exposé est de montrer quelques techniques ‘systématiques’ sous-jacentes à l’étude de ce type d’estimateurs. En particulier, pour la fonction de perte quadratique, les processus quadratiques et multiplicatifs ainsi que les arguments de localisation et d’homogénéité seront présentés pour l’analyse du minimiseur du risque empirique (MRE). Il en résultera une introduction de deux points fixes (le ‘quadratique’ et le ‘multiplicatif’) qui décrivent la vitesse de convergence du MRE. On retrouvera ces mêmes outils pour l’analyse des méthodes par régularisation (que ce soit celles induisant de la régularité ou de la parcimonie) mais en plus, on montrera le rôle clef de la sous-différentielle de la régularisation pour l’analyse statistique de ce type d’estimateurs. On mettra en œuvre ces techniques dans le modèle linéaire pour divers exemples de fonction de régularisation incluant le LASSO, SLOPE et la norme nucléaire.

Références :
G. Chinot, G. Lecué and  M. Lerasle. « Robust high dimensional learning for Lipschitz and convex losses ». Journal of machine Learning research. (233):1−47, 2020.
P. Alquier, V. Cottet and G. Lecué. « Estimation bounds and sharp oracle inequalities of regularized procedures with  Lipschitz loss functions ». The Annals of Statistics, 47(4):2117-2144, 2019
G. Lecué and M. Lerasle. « Robust Machine Learning by median of means: theory and practice ». The Annals of Statistics**, Volume 48, Number 2 (2020), 906-931.
G. Lecué and S. Mendelson. Learning Subgaussian classes : Upper and minimax bounds.

Vous aimerez aussi...