Sebbouh

Othmane Sebbouh est étudiant en Master Data Science à l’ENSAE et à l’Ecole polytechnique. Le sujet de son stage au sein de la chaire DSAIDIS est « Combler le fossé entre la théorie et la pratique pour les méthodes à réduction de variance stochastique ». SVRG (stochastic variance reduced method) est un algorithme en deux boucles, une boucle externe et une boucle interne : un gradient complet (calculé sur l’ensemble des données) de référence est évalué dans la boucle externe, après quoi m étapes d’une boucle interne sont exécutées, où le gradient de référence est utilisé pour créer une estimation moins coûteuse du gradient actuel avec réduction de variance. La simplicité de la méthode SVRG et de son analyse a conduit à de multiples extensions et variantes pour l’optimisation convexe et non convexe. Cependant, il existe un écart important entre les paramètres suggérés par l’analyse et ce qui est utilisé en pratique. C’est pourquoi le travail d’Othmane consistera à développer des pistes pour combler cet écart.