Dans le contexte de l’apprentissage, je présenterai les étapes clefs utilisées pour l’analyse statistique des méthodes par régularisation. L’objectif de l’exposé est de montrer quelques techniques ‘systématiques’ sous-jacentes à l’étude de ce type d’estimateurs. En particulier, pour la fonction de perte quadratique, les processus quadratiques et multiplicatifs ainsi que les arguments de localisation et d’homogénéité seront présentés pour l’analyse du minimiseur du risque empirique (MRE). Il en résultera une introduction de deux points fixes (le ‘quadratique’ et le ‘multiplicatif’) qui décrivent la vitesse de convergence du MRE. On retrouvera ces mêmes outils pour l’analyse des méthodes par régularisation (que ce soit celles induisant de la régularité ou de la parcimonie) mais en plus, on montrera le rôle clef de la sous-différentielle de la régularisation pour l’analyse statistique de ce type d’estimateurs. On mettra en œuvre ces techniques dans le modèle linéaire pour divers exemples de fonction de régularisation incluant le LASSO, SLOPE et la norme nucléaire.