Le domaine de l’intelligence artificielle passe à la « Big Science ». Le 28 avril, a été lancé le plus vaste projet en la matière, réunissant plus de 250 chercheurs, issus d’une centaine de laboratoires ou d’entreprises (CNRS, Inria, universités, Renault, Airbus, Ubisoft, Orange, Facebook, Systran…) et d’une dizaine de pays. Le but de « Big Science », son surnom, est de réaliser un réseau géant de neurones artificiels capables de « parler » parfaitement huit langues, dont le français, l’anglais et des langues bantoues. Dans le jargon, c’est un « modèle de langue », un programme qui connaît la grammaire, maîtrise la syntaxe, dispose d’un vocabulaire énorme… « Les modèles de langue sont centraux dans beaucoup de domaines », rappelle François Yvon, informaticien au CNRS, participant au projet, et qui énumère des applications comme les systèmes automatiques de question/réponse, les robots de dialogue, la réalisation de résumés, la traduction.
Les géants de l’informatique disposent déjà de leur « oracle ». Le plus connu, GPT-3, issu de l’entreprise OpenAI, débite plus de 4,5 milliards de mots par jour, pour environ 300 clients, comme l’a annoncé l’entreprise le 25 mars. Il sert à faciliter les relations clients, à répondre à des questions, à créer des dialogues pour des jeux… Avec 570 gigaoctets (Go) de textes ingurgités pour son apprentissage et 175 milliards de paramètres (équivalents à des neurones et leurs synapses), il est resté longtemps le plus gros, avant d’être battu en janvier par Switch-C de Google, qui s’est nourri de 745 Go de textes et possède dix fois plus de paramètres.
5 millions d’heures de calcul
« Le décrochage de la recherche académique par rapport aux entreprises du numérique m’inquiète. Il n’est plus possible de rivaliser : les meilleurs résultats sont obtenus par les plus gros systèmes », regrette le Français Thomas Wolf, initiateur du projet et cofondateur – avec deux compatriotes – de Hugging Face, une entreprise américaine de « partage de modèles d’apprentissage machine ». En début d’année, il a décidé de fédérer la communauté de recherche pour construire son propre outil. La première étape a été franchie mi-avril avec l’accord du Grand équipement national de calcul intensif (Genci) et de l’Institut du développement et des ressources en informatique scientifique du CNRS (Idris), pour mettre à disposition 5 millions d’heures de calcul, ce qui représente près du quart des capacités de la machine Jean Zay, installée à Orsay. « Ce sera un calcul XXL, le plus gros que nous ayons fait en IA. En général, ces projets ont besoin de 10 000 à 50 000 heures », rappelle Stéphane Requena, directeur technique et innovation du Genci.
Il vous reste 52.75% de cet article à lire. La suite est réservée aux abonnés.
