L'IA se développe à une vitesse folle mais avec des coûts exorbitants, révèle Stanford

"Il y a dix ans, les meilleurs systèmes d'intelligence artificielle du monde étaient incapables de classer des images à un niveau humain. Ils ne comprenaient pas le langage, avaient du mal à raisonner visuellement et échouaient aux tests de compréhension de lecture les plus élémentaires. Aujourd'hui, les systèmes d'IA dépassent régulièrement les performances humaines sur les critères de référence standard". Tel est le constat fait par l'Institut HAI (Institute for Human-Centered Artificial Intelligence) de l'Université de Stanford.

Dans l'édition 2024 de son rapport AI Index – qui contient plus de 300 pages retraçant les tendances mondiales de l'IA en 2023 – l'Institut tire plusieurs conclusions, à commencer par les progrès établis en matière d'intelligence artificielle, mais aussi les tendances dans la recherche et le développement, les performances des grands modèles de langage ou encore l'impact de cette technologie sur le monde.

2023, année d'accélération de la technologie

"Bien que l'IA ait déjà montré de nouvelles capacités passionnantes en 2022, la technologie s'est accélérée en 2023", note l'Institut HAI dans son étude annuelle. Les modèles d'IA connus jusqu'alors étaient capables de traiter des images, mais pas de générer de texte, et vice-versa. Aujourd'hui, des modèles récents comme Gemini, GPT-4 et Claude-3 renversent la tendance, révélant des capacités multimodales impressionnantes : ils peuvent générer des textes fluides dans des dizaines de langues, traiter des sons, et même expliquer des "mèmes".

"Cette année, nous voyons de plus en plus de modèles capables de fonctionner dans plusieurs domaines", a déclaré Vanessa Parli, directrice des programmes de recherche de Stanford HAI. "L'un des aspects de la recherche en IA que je trouve les plus intéressants est la combinaison de ces grands modèles de langage avec la robotique ou les agents autonomes, ce qui marque une étape importante dans le travail plus efficace des robots dans le monde réel".

L'open source a la cote, mais reste loin derrière les modèles propriétaire

L'année dernière, les organisations (publiques et privées) ont publié 149 modèles de fondation, soit plus du double du nombre publié en 2022. Parmi ces modèles publiés, 65,7 % étaient open source (et donc librement utilisés et modifiés par n'importe qui), contre seulement 44,4 % en 2022 et 33,3% en 2021.

Les modèles dits fermés surpassent toujours leurs homologues open source. Sur 10 benchmarks sélectionnés, les modèles fermés ont obtenu un avantage médian en termes de performances de 24,2 %, avec des différences allant d'aussi peu que 4,0 % sur des tâches mathématiques (comme GSM8K) jusqu'à 317,7 % sur des tâches d'agent de collaboration (comme AgentBench).

L'argent, moteur de croissance pour l'IA

Pour en arriver à ce stade de développement, l'une des clés du succès est – sans surprise – l'argent. Car c'est à coups de financements massifs que les géants technologiques ont fait comprendre aux chefs d'entreprise l'intérêt d'une telle technologie. Une attention qui s'est progressivement transformée en investissements privés mondiaux dans l'IA générative. Le rapport relève qu'ils sont montés en flèche, passant d'environ 3 milliards de dollars en 2022 à 25,2 milliards de dollars en 2023 et environ 30 fois le montant de 2019 (l'Institut HAI appelle cela l'effet ChatGPT).

L’IA générative représentait plus d’un quart de tous les investissements privés liés à l’IA en 2023. Par ailleurs, près de 80 % des appels à bénéfices de Fortune 500 ont mentionné l'IA, plus que jamais auparavant. En outre, des données solides émanant d'économistes universitaires suggèrent que l'IA stimule de manière tangible la productivité des salariés et qu'elle peut particulièrement aider les travailleurs peu qualifiés.

Les géants de la tech devancent le monde universitaire

L'industrie reste également en tête dans le domaine de l'IA. En 2023, les entreprises technologiques ont produit 51 systèmes de machine learning importants, alors que les universités n'en ont produit que 15. En outre, alors que 108 modèles de fondation nouvellement publiés provenaient de l'industrie, seuls 28 provenaient du monde universitaire.

A ce sujet, Google est d'ailleurs considéré comme le leader en lançant le plus grand nombre de modèles, notamment Gemini et RT-2, l'année dernière.

En fait, depuis 2019, la firme de Mountain View est en tête de la publication du plus grand nombre de modèles de fondation, avec un total de 40, suivi d'OpenAI avec 20. Le milieu universitaire suit l'industrie : l'année dernière, l'UC Berkeley a publié trois modèles et Stanford deux.

L'IA devient plus chère à mesure que les modèles de pointe voient le jour

Pour autant, si l'IA se diffuse à une vitesse folle, un point devient de plus en plus prégnant : les coûts d'entraînement des modèles. Signalés pour la première fois dans le rapport AI Index de l'année dernière, ils ont continué à augmenter. De nouvelles estimations suggèrent que certains des systèmes les plus récents, comme GPT-4 d'OpenAI, coûtent 78 millions de dollars pour être entraînés.

Le prix de Google Gemini s'élève pour sa part à 191 millions de dollars. À titre de comparaison, certains modèles de pointe sortis il y a cinq ans environ, à savoir le modèle Transformer original (2017) et RoBERTa Large (2019), coûtent respectivement environ 900 et 160 000 dollars pour être entraînés.

Une concentration sur le continent américain

Et cela se traduit par une concentration au niveau géographique. Les entreprises technologiques capables d'assurer de tels coûts sont américaines et investissent massivement sur leur sol. Ainsi, en 2023, un nombre nettement plus important de modèles d'IA (61) provenait d'institutions basées aux États-Unis, par rapport à l'Union européenne (21) et à la Chine (15).

Les États-Unis restent également le premier lieu d'investissement dans l'IA. Un total de 67,2 milliards de dollars a été investi dans l'IA aux États-Unis l'année dernière, soit près de neuf fois plus que le montant investi en Chine.

Bien sûr, l'empire du Milieu reste le plus grand concurrent de la terre de l'oncle Sam, et peut compter sur deux atouts majeurs : le nombre d'installations robotiques et la quantité de brevets mondiaux en matière d'IA majoritairement (61 %) issus du pays.

Vous souhaitez être en veille sur l’actualité du secteur de l’intelligence artificielle ? Inscrivez-vous gratuitement à la newsletter IA Insider.

Sélectionné pour vous

Pionnière de l'IA, Fei-Fei Li veut créer un système capable de percevoir le monde à la manière d'un humain

Eviden se lance dans la course à l'IA avec une gamme de serveurs BullSequana AI

Deux cadres supérieurs d'OpenAI auraient démissionné