Data science & artificial intelligence
For digitalized industry & services
Depuis sa création en 1985, AISTATS est un rassemblement interdisciplinaire de chercheurs au croisement de l’intelligence artificielle, de l’apprentissage automatique, des statistiques et des domaines connexes.
L’équipe de la chaire Data Science and Artificial Intelligence for Digitalized Industry and Services a présentés quatre articles lors de l’édition 2021, qui s’est tenue en ligne du 13 au 15 avril :
Nonlinear Functional Output Regression: A Dictionary Approach
Dimitri Bouche, Marianne Clausel, François Roueff, Florence d’Alché-Buc
Proceedings of The 24th International Conference on Artificial Intelligence and Statistics, PMLR 130:235-243
When OT meets MoM: Robust estimation of Wasserstein Distance
Guillaume Staerman, Pierre Laforgue, Pavlo Mozharovskyi, Florence d’Alché-Buc
Proceedings of The 24th International Conference on Artificial Intelligence and Statistics, PMLR 130:136-144
Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications
Guillaume Ausset, Stephan Clémençon, François Portier
Proceedings of The 24th International Conference on Artificial Intelligence and Statistics, PMLR 130:532-540
Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints
Proceedings of The 24th International Conference on Artificial Intelligence and Statistics, PMLR 130:784-792
Plus d’information sur la conférence AISTATS
La Chaire DSAIDIS accueillera en 2021 plusieurs stagiaires dont certains auront la possibilité de prolonger leur stage par une thèse de doctorat.
Certains cursus particulièrement intéressés par ces offres sont listés ci-dessous. N’hésitez-pas à nous contacter si vous êtes responsable d’une formation dont nos offres de stage peuvent intéresser les étudiants.
La conférence international NeurIPS aura lieu cette année entièrement en ligne. Cinq articles présentés par les membres de la chaire DSAIDIS ont été acceptés pour cette édition.
Heavy-tailed Representations, Text Polarity Classification & Data Augmentation
Hamid JALALZAI (Télécom Paris) · Pierre Colombo (Télécom Paris) · Chloé Clavel (Télécom Paris) · Eric Gaussier (Université Joseph Fourier, Grenoble) · Giovanna Varni (Télécom Paris) · Emmanuel Vignon (IBM) · Anne Sabourin (Télécom Paris)
Hausdorff Dimension, Heavy Tails, and Generalization in Neural Networks
Umut Simsekli (Télécom Paris/ University of Oxford) · Ozan Sener (Intel Labs) · George Deligiannidis (Oxford) · Murat Erdogdu (University of Toronto)
Quantitative Propagation of Chaos for SGD in Wide Neural Networks
Valentin De Bortoli (ENS Paris-Saclay) · Alain Durmus (ENS Paris Saclay) · Xavier Fontaine (ENS Paris-Saclay) · Umut Simsekli (Télécom Paris/ University of Oxford)
Explicit Regularisation in Gaussian Noise Injections
Alexander Camuto (University of Oxford & The Alan Turing Institute) · Matthew Willetts (University of Oxford) · Umut Simsekli (Télécom Paris/ University of Oxford) · Stephen J Roberts (University of Oxford) · Chris C Holmes (University of Oxford)
Statistical and Topological Properties of Sliced Probability Divergences
Kimia Nadjahi (Télécom Paris) · Alain Durmus (ENS Paris Saclay) · Lénaïc Chizat (CNRS) · Soheil Kolouri (HRL Laboratories LLC) · Shahin Shahrampour (Texas A&M University) · Umut Simsekli (Télécom Paris/ University of Oxford)
La Chaire DSAIDIS accueillera en 2020 plusieurs stagiaires dont certains auront la possibilité de prolonger leur stage par une thèse de doctorat.
Les cursus particulièrement intéressés par ces offres sont :
Que l’on parle des applications ou bien de la recherche fondamentale, l’intelligence artificielle se développe à très grande vitesse, portée par l’évolution des technologies matérielles, par un intérêt croissant porté à l’apprentissage statistique et par une forte demande de la part du grand public et des industriels.
Le Workshop international « Machine Learning & Artificial Intelligence » (MLAI) est l’illustration de cet engouement. Il a de nouveau réuni près de 200 participants les 7 et 8 octobre derniers pour son édition 2019. Pendant ces deux jours, des spécialistes du domaine, issus des milieux académiques aussi bien que de l’industrie, ont pris la parole pour présenter les dernières avancées de leur recherche.
Chloé Clavel, maître de conférences à Télécom Paris – Institut Polytechnique de Paris et présidente du comité de programme du workshop, avait cette année choisi de mettre en avant des thèmes particulièrement porteurs au travers de cinq sessions : approches méthodologiques du machine learning ; intelligence artificielle, privacy et éthique ; apprentissage humain et robotique ; traitement du langage naturel et dialogue ; physique et intelligence artificielle.
Les speakers de l’édition 2019
L’assiduité des participants, le grand nombre de questions posées et la vivacité des échanges ont conforté les organisateurs dans l’idée qu’un tel rendez-vous, de haut niveau scientifique, répond à un besoin grandissant des industriels comme des académiques. Cette année, pour encourager les jeunes chercheurs, une douzaine de posters ont été affichés et les doctorants ont eu la possibilité de présenter leurs travaux sous la forme des courtes interventions tout au long de ces deux journées.
L’édition 2019 du Worlshop MLAI était organisée par la Chaire Data Science and Artificial Intelligence for Digitalized Industry and Services, avec le sponsoring des entreprises Airbus Defence & Space, Engie, Idemia, Safran et Valeo ; le soutien de la Fondation Mines-Télécom et celui de l’institut de convergeance DataIA.
Les photos de l’événement sont déjà en ligne sur le site du workshop et les différentes vidéos des interventions seront mises en ligne prochainement : pour en être informé, n’hésitez-pas à vous abonner à la newsletter sur
Collectées par différents équipements ou capteurs, sauvegardées sur le « cloud » ou échangées sur Internet, les données stockées sur notre planète atteignent le volume faramineux de 33 zettaoctets et celui-ci sera sans doute multiplié par 5 d’ici 2025. L’intérêt qu’elles suscitent repose sur la possibilité d’en extraire des informations pour modéliser, prévoir ou décider.
Une donnée résulte d’une observation du monde qui nous entoure. Représentation de cette observation, elle peut être codée et sauvegardée notamment sur un support numérique. Dès lors qu’on peut y accéder, elle devient objet de calculs et de raisonnements. La statistique la modélise comme la réalisation d’une variable aléatoire, ouvrant la porte à son exploitation par des algorithmes dit d’apprentissage statistique, composants essentiels des systèmes intelligents.
C’est d’abord l’émergence d’Internet, des moteurs de recherche et de l’indexation des pages web qui a permis l’éclosion des Big Data avec l’intérêt de traiter des données complexes (Not only SQL) et la nécessité de passer à l’échelle (schéma Map/reduce). Puis plus récemment la concomitance de trois avancées a ré-ouvert la voie à l’Intelligence Artificielle , marquant une seconde rupture : la disponibilité d’immenses bases de données annotées, la montée en puissance des capacités de calcul et les progrès réalisés par les algorithmes d’Apprentissage (machine learning) et tout particulièrement en deep learning.
Cette dernière rupture qui propulse les données comme la matière première essentielle à la conception de systèmes intelligents ne va pas sans questionnement. La qualité des données influençant directement les résultats des algorithmes d’apprentissage, l’équité et le respect de la vie privée dans la collecte comme dans l’exploitation tout comme la fiabilité des données deviennent des défis qu’il va falloir relever.
Ce texte est un résumé de l’intervention de Florence d’Alché-Buc au « Réveil Digital » d’ENGIE du 5 juin 2019
https://youtu.be/O2uOsK49R5g
L’article de Umut Şimşekli (Télécom Paris), Levent Sagun (EPFL) et Mert Gürbüzbalaban (Rutgers University) intitulé « A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks« a reçu un prix du « best paper honorable mention » à ICML 2019.
The gradient noise (GN) in the stochastic gradient descent (SGD) algorithm is often con-sidered to be Gaussian in the large data regime by assuming that theclassicalcentral limittheorem (CLT) kicks in. This assumption is often made for mathematical convenience, sinceit enables SGD to be analyzed as a stochastic differential equation (SDE) driven by a Brow-nian motion. We argue that the Gaussianity assumption might fail to hold in deep learningsettings and hence render the Brownian motion-based analyses inappropriate. Inspired bynon-Gaussian natural phenomena, we consider the GN in a more general context and invokethegeneralizedCLT (GCLT), which suggests that the GN converges to aheavy-tailedα-stablerandom variable. Accordingly, we propose to analyze SGD as an SDE driven by a Lévy motion.Such SDEs can incur ‘jumps’, which force the SDEtransitionfrom narrow minima to widerminima, as proven by existing metastability theory. To validate theα-stable assumption, weconduct extensive experiments on common deep learning architectures and show that in allsettings, the GN is highly non-Gaussian and admits heavy-tails. We further investigate thetail behavior in varying network architectures and sizes, loss functions, and datasets. Ourresults open up a different perspective and shed more light on the belief that SGD preferswide minima.
Call for candidature: postdoctoral positions in Machine Learning/Artificial Intelligence at Télécom Paris, Institut Polytechnique de Paris, France.
We are currently opening two postdoctoral positions in Machine Learning to join the chair “Data Science and Artificial Intelligence for Digitalized Industry and Services” at Télécom Paris (in the newly created Institut Polytechnique de Paris, France) to work on one of the following topics:
Télécom Paris is one of the Top 4 Engineering Schools in France, member of Institut Mines-Télécom and founding member of the Institut Polytechnique de Paris. Created in 1878, it has evoled to become the leading engineering school in digital technology in France. Its excellent teaching and innovative pedagogy places Télécom Paris at the heart of a unique ecosystem of innovation built upon the interactions between its initial and continuous education, its research center and its two business incubators.
Its research activity is assessed exceptional in quality with publications in the best journals and conferences by the HCERES (Evaluation Agency for Research and Higher Education) and has received the Carnot TSN label (Telecom and Digital Society).
Its research area covers the entire field of digital technology and develops expertise in six strategic axis on a European scale, among which the Data Science and Artificial Intelligence axis. This major theme gathers over 40 researchers and 80 PhD students. In 2017, there were 24 PhD thesis defense on these topics and its academic team published over 220 scientific papers.
The “Data Science and Artificial Intelligence for Digitalized Industry and Services” chair, initiated in the Signal, Statistics and Machine Learning group, was officially launched in April 2019, with a team of 21 permanent researchers and the sponsoring of five major companies: Airbus Defence & Space, Engie, Idemia, Safran and Valeo. This chair is holded by Pr. Florence d’Alché-Buc.
The postdocs are expected to have a strong background in both theoretical and computational aspects of Machine Learning. They will lead researches on the cited topics with the team and participate to the supervision of PhD thesis. They will also actively contribute to the scientific animation of the Chair and will collaborate with the industrial partners on applications.
The successful candidate will hold a PhD in machine learning, statistics/biostatistics, computer science, have a strong publishing experience in peer-reviewed journals and conferences in Machine Learning and an excellent background in applied mathematics/statistics. Strong interest for computational aspects of Machine learning is expected as very good skills in programming (Python).
Positions are available from July 2019 or later, and for a duration of two years, with possibility of extension for a third year.
To apply, please send via email, with the sentence “Postdoc application” as a subject, a single file containing a statement of research interests, a CV, a copy of relevant certificates, (p)reprints of two publications, and a list of two references to Pr. Florence d’Alché-Buc (florence.dalche(at)enst.fr) before July 10, 2019.
AISTATS est la conférence internationale sur l’intelligence artificielle et les statistiques. Sa 22e édition a eu lieu cette année du 16 au 18 avril à Naha, Okinawa, au Japon. Depuis sa création en 1985, AISTATS est un rassemblement interdisciplinaire de chercheurs au croisement de l’intelligence artificielle, de l’apprentissage automatique, des statistiques et des domaines connexes.
L’édition 2019 d’AISTATS a réuni 360 articles. Bien que plus modeste que NeurIPS ou ICML, cette conférence permet les interactions entre chercheurs plus faciles, tout en préservant une sélection rigoureuse des soumissions. De plus, l’accent est mis sur l’analyse statistique des méthodes proposées, ce qui est au cœur de l’activité du département Image Données Signal de Télécom Paris.
Pierre Laforgue et Alex Lambert, doctorants à Télécom Paris, y ont présentés deux articles :
Infinite Task Learning in RKHSs (apprentissage multi-tâche)
Romain R Brault (Télécom Paris), Alex Lambert (Télécom Paris), Zoltan Szabo (Ecole Polytechnique), Florence d’Alché-Buc (Télécom Paris), Maxime Sangnier (Sorbonne University)
Autoencoding any Data through Kernel Autoencoders (apprentissage de représentations)
Pierre Laforgue (Télécom Paris), Stephan Clémençon (Télécom Paris), Florence d’Alche-Buc (Télécom Paris)
En savoir plus sur la conférence : www.aistats.org
Mercredi 3 avril 2019 a eu lieu l’inauguration officielle de la nouvelle chaire de recherche et d’enseignement lancée par Télécom Paris avec le soutien de la Fondation Mines-Télécom, « Data Science and Artificial Intelligence for Digitalized Industry and Services ». Cet événement particulièrement riche, qui a réuni une centaine de participants, a permis à l’équipe académique de la chaire, soit 21 enseignants-chercheurs de Télécom Paris, des doctorants et des stagiaires de Master, de rencontrer les équipes opérationnelles des cinq entreprises partenaires : Airbus, ENGIE, IDEMIA, Safran et Valeo. Des étudiants des filières science des données, big data et intelligence artificielle se sont également joint au public afin de découvrir les problématiques de l’IA qui existent en milieu industriel.
Les chercheurs ont souhaité, dans un premier temps, revenir sur les travaux réalisés dans le cadre de la chaire « Machine Learning for Big Data », active de 2013 à 2018. Stephan Clémençon, Professeur à Télécom Paris et qui a été le titulaire de cette chaire, en a tout d’abord dressé un bilan complet : près de 400 publications, dix thèses de doctorat, une quarantaine de stages… avant de revenir sur les défis scientifiques qu’a représenté le « big data ». Puis Claire Vernade, l’une des premières doctorantes dont la thèse a été financée par la chaire et qui travaille aujourd’hui chez Deepmind à Londres, a présenté un aspect de son travail de recherche : les applications de l’apprentissage par renforcement. Olivier Fercoq, Maître de conférences à Télécom Paris, a clos cette séquence par un exposé sur les travaux d’Eugène N’Diaye, également doctorant de la chaire, sur les algorithmes d’optimisation.
Dans un second temps, les cinq partenaires de la nouvelle chaire ont présenté à tour de rôle les problématique d’IA et de science des données qu’ils rencontrent. En effet, alors que les solutions reposant sur le machine learning se complexifient et sont appliquées à des prises de décision plus critiques, alors que l’automatisation des systèmes devient la norme, l’instauration de garanties et de mécanismes de confiance deviennent essentiels. La chaire prend alors tout son sens en encourageant les collaborations entre chercheurs et entreprises, mais aussi en faisant apparaître des problématiques communes aux différents partenaires.
Florence d’Alché-Buc, titulaire de la chaire et Professeure à Télécom Paris, a ensuite présenté le programme scientifique de la chaire et le projet qu’elle va porter pour les cinq années à venir selon quatre grands axes méthodologiques. Ateliers, workshops, direction de thèses de doctorat… seront parmi les multiples modalités qui se mettront en place entre les partenaires. Florence d’Alché-Buc a enfin conclu l’événement en détaillant les nouveaux défis de l’intelligence artificielle que les chercheurs auront à relever : robustesse, fiabilité et interaction.
Signature officielle, en présence des partenaires (de gauche à droite) : Yves POILANE, Directeur de Télécom Paris ; Véronique DEBORDE, Directrice de la Fondation Mines-Télécom ; Marc BERTIN, Deputy CTO, IDEMIA ; Florence DUFRASNES, Head of Defence & Space Technical Office, Airbus ; Gérard GUINAMAND, Group Chief Data Officer, ENGIE ; Jean-François TARABBIA, Group R&D – Product & Marketing Senior VP, Valeo ; Florence d’Alché-Buc, Professeure à Télécom Paris et titulaire de la chaire ; Benoît GUYON, Directeur Partenariats R&T, Safran.