Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash
Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash

L'IA de traduction de Facebook se heurte à la limite du calcul informatique

Elle a épuisé 500 cartes surpuissantes, fournies par Nvidia.

La traduction est l'un des domaines intellectuels où la machine est la plus performante, commençant à rivaliser, pour certaines tâches, avec les êtres humains. À tel point que certaines personnes se demandent si l'intelligence artificielle ne va pas les mettre au chômage.

Mauvaise nouvelle pour elles, ce type d'IA ne se contente plus de simplement traduire des textes. Les efforts se dirigent davantage vers le traitement automatique du langage naturel (TALN), c'est-à-dire la possibilité pour une machine de comprendre véritablement une langue, afin d'imiter la manière humaine de se représenter les mots ainsi que les phrases qu'ils composent.

Dans ce domaine, des ingénieur·es employé·es par Facebook ont récemment publié une étude expliquant avoir mené le TALN vers de nouveaux sommets grâce à un logiciel multilangage baptisé XLM-R. Il est notamment performant pour décrypter des langages considérés «à basses ressources», lorsque la quantité de textes traduits disponibles et utilisables pour entraîner le logiciel est faible.

Problème technique

Le logiciel s'est cependant heurté à un problème: la puissance de calcul des ordinateurs sur lesquels a tourné XLM-R n'était pas suffisante, malgré l'utilisation de 500 cartes TESLA V100, le modèle le plus puissant de Nvidia.

Les scientifiques à l'origine de l'étude appellent cela la «malédiction du multilinguisme». C'est-à-dire que plus on ajoute de langages au logiciel, plus le logiciel est performant, notamment pour les langues à basses ressources. Quand le nombre de langues devient trop important, il finit par se heurter à la capacité de calcul de l'ordinateur.

Pour pouvoir fonctionner, XLM-R a besoin d'une quantité gargantuesque de données: 2,5 quintillions de multiplets sont récupérés sur le web afin de le faire tourner. Le réseau neuronal artificiel doit déjà générer des centaines de milliers de paramètres, mais, pour améliorer leur IA, les scientifiques aimeraient qu'ils soient des millions.

À la différence du cerveau humain, l'intelligence artificielle n'a en théorie pas de limites, et les scientifiques qui travaillent dessus comptent bien continuer de repousser ses capacités. Mais pour ce faire, il va falloir que la puissance des ordinateurs qui les supportent augmente au même rythme.

En ce moment

Quand la Playstation servait à étudier les trous noirs

Tech

Quand la Playstation servait à étudier les trous noirs

Peu coûteuse et adaptable, cette machine taillée pour le jeu a aussi fait des miracles en sciences.

Le «sale petit secret» d'Uber, la pollution des sacs réutilisables, des bébés génétiquement modifiés, une semaine sur korii.

Et Cætera

Le «sale petit secret» d'Uber, la pollution des sacs réutilisables, des bébés génétiquement modifiés, une semaine sur korii.

De la lecture et des surprises pour votre samedi.

La recherche des seins parfaits, la mafia meilleure que Goldman Sachs, +100% à Wall Street, une journée sur korii.

Et Cætera

La recherche des seins parfaits, la mafia meilleure que Goldman Sachs, +100% à Wall Street, une journée sur korii.

Ce qu'il fallait lire aujourd'huii.