Wei Lu (MAP5, Université Paris-Cité)

Wei Lu (MAP5, Université Paris-Cité)

Un algorithme Full Adagrad avec des opérations en O(Nd)

Quand

18 octobre 2024    
9h30 - 10h30

Salle du Conseil, Espace Turing
45 rue des Saints-Pères, Paris, 75006

Type d’évènement

Cette étude propose une nouvelle approche pour surmonter les défis computationnels de l’algorithme de gradient adaptatif (Full AdaGrad) dans l’optimisation stochastique. En développant une méthode récursive qui estime l’inverse de la racine carrée de la covariance du gradient, ainsi qu’une variante en flux continu pour les mises à jour des paramètres, l’étude offre des algorithmes efficaces et pratiques pour des applications à grande échelle. Cette stratégie innovante réduit considérablement la complexité et les ressources habituellement associées aux méthodes à matrice complète, permettant des processus d’optimisation plus efficaces. De plus, les taux de convergence des estimateurs proposés et leur efficacité asymptotique sont donnés.

Vous aimerez aussi...