Marco Mondelli (EPFL 2019)
Foundations of Deep Learning
Aujourd’hui, nous assistons à une révolution dans les technologies de l’information, et l’apprentissage profond est le principal candidat pour exploiter les nouveaux ensembles de données disponibles dans une variété de domaines différents. Cependant, un cadre cohérent pour comprendre les limites, concevoir des algorithmes et analyser les performances des méthodes d’apprentissage profond n’a pas encore été défini.
En effet, le choix de l’architecture du réseau de neurones, ainsi que son optimisation, nécessitent typiquement une phase extensive de simulations numériques. Cette approche peut être prohibitive en termes de ressources informatiques et humaines, et elle empêche actuellement une utilisation encore plus large de l’apprentissage profond. L’objectif global de ce projet est de construire des bases théoriques pour la conception de systèmes d’apprentissage profond plus évolutifs et efficaces. En particulier, les praticiens ont observé que la descente de gradient est efficace dans des problèmes comportant des milliards de paramètres. Une partie centrale de notre étude consiste à développer des outils analytiques puissants pour comprendre pourquoi et comment cela est possible. En outre, la plupart des problèmes rencontrés dans l’apprentissage profond concernent des données à haute dimension. Ainsi, ce projet vise à fournir une caractérisation précise de la performance dans de telles tâches à haute dimension.