Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash
Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash

L'IA de traduction de Facebook se heurte à la limite du calcul informatique

Elle a épuisé 500 cartes surpuissantes, fournies par Nvidia.

La traduction est l'un des domaines intellectuels où la machine est la plus performante, commençant à rivaliser, pour certaines tâches, avec les êtres humains. À tel point que certaines personnes se demandent si l'intelligence artificielle ne va pas les mettre au chômage.

Mauvaise nouvelle pour elles, ce type d'IA ne se contente plus de simplement traduire des textes. Les efforts se dirigent davantage vers le traitement automatique du langage naturel (TALN), c'est-à-dire la possibilité pour une machine de comprendre véritablement une langue, afin d'imiter la manière humaine de se représenter les mots ainsi que les phrases qu'ils composent.

Dans ce domaine, des ingénieur·es employé·es par Facebook ont récemment publié une étude expliquant avoir mené le TALN vers de nouveaux sommets grâce à un logiciel multilangage baptisé XLM-R. Il est notamment performant pour décrypter des langages considérés «à basses ressources», lorsque la quantité de textes traduits disponibles et utilisables pour entraîner le logiciel est faible.

Problème technique

Le logiciel s'est cependant heurté à un problème: la puissance de calcul des ordinateurs sur lesquels a tourné XLM-R n'était pas suffisante, malgré l'utilisation de 500 cartes TESLA V100, le modèle le plus puissant de Nvidia.

Les scientifiques à l'origine de l'étude appellent cela la «malédiction du multilinguisme». C'est-à-dire que plus on ajoute de langages au logiciel, plus le logiciel est performant, notamment pour les langues à basses ressources. Quand le nombre de langues devient trop important, il finit par se heurter à la capacité de calcul de l'ordinateur.

Pour pouvoir fonctionner, XLM-R a besoin d'une quantité gargantuesque de données: 2,5 quintillions de multiplets sont récupérés sur le web afin de le faire tourner. Le réseau neuronal artificiel doit déjà générer des centaines de milliers de paramètres, mais, pour améliorer leur IA, les scientifiques aimeraient qu'ils soient des millions.

À la différence du cerveau humain, l'intelligence artificielle n'a en théorie pas de limites, et les scientifiques qui travaillent dessus comptent bien continuer de repousser ses capacités. Mais pour ce faire, il va falloir que la puissance des ordinateurs qui les supportent augmente au même rythme.

En ce moment

La pandémie a fait dérailler l'intelligence artificielle

Tech

La pandémie a fait dérailler l'intelligence artificielle

Face à une masse de comportements irrationnels, les algorithmes ont eux aussi parfois perdu la boule.

Votre ordi peut aider la science à trouver un remède au Covid-19

Tech

Votre ordi peut aider la science à trouver un remède au Covid-19

Grâce à OpenPandemics, vous pouvez mettre une partie de votre puissance de calcul au service de la recherche.

«Escadron», un simulateur de maintien de l'ordre à la française

Tech

«Escadron», un simulateur de maintien de l'ordre à la française

Ce jeu est fait pour vous si vous rêvez d'intégrer la gendarmerie mobile. Moins si vous êtes «gilet jaune».