Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash
Cinq cents des processeurs les plus puissants du monde n'ont pas été suffisants pour effectuer une traduction équivalente à celle des êtres humains. | Taylor Vick via Unsplash

L'IA de traduction de Facebook se heurte à la limite du calcul informatique

Elle a épuisé 500 cartes surpuissantes, fournies par Nvidia.

La traduction est l'un des domaines intellectuels où la machine est la plus performante, commençant à rivaliser, pour certaines tâches, avec les êtres humains. À tel point que certaines personnes se demandent si l'intelligence artificielle ne va pas les mettre au chômage.

Mauvaise nouvelle pour elles, ce type d'IA ne se contente plus de simplement traduire des textes. Les efforts se dirigent davantage vers le traitement automatique du langage naturel (TALN), c'est-à-dire la possibilité pour une machine de comprendre véritablement une langue, afin d'imiter la manière humaine de se représenter les mots ainsi que les phrases qu'ils composent.

Dans ce domaine, des ingénieur·es employé·es par Facebook ont récemment publié une étude expliquant avoir mené le TALN vers de nouveaux sommets grâce à un logiciel multilangage baptisé XLM-R. Il est notamment performant pour décrypter des langages considérés «à basses ressources», lorsque la quantité de textes traduits disponibles et utilisables pour entraîner le logiciel est faible.

Problème technique

Le logiciel s'est cependant heurté à un problème: la puissance de calcul des ordinateurs sur lesquels a tourné XLM-R n'était pas suffisante, malgré l'utilisation de 500 cartes TESLA V100, le modèle le plus puissant de Nvidia.

Les scientifiques à l'origine de l'étude appellent cela la «malédiction du multilinguisme». C'est-à-dire que plus on ajoute de langages au logiciel, plus le logiciel est performant, notamment pour les langues à basses ressources. Quand le nombre de langues devient trop important, il finit par se heurter à la capacité de calcul de l'ordinateur.

Pour pouvoir fonctionner, XLM-R a besoin d'une quantité gargantuesque de données: 2,5 quintillions de multiplets sont récupérés sur le web afin de le faire tourner. Le réseau neuronal artificiel doit déjà générer des centaines de milliers de paramètres, mais, pour améliorer leur IA, les scientifiques aimeraient qu'ils soient des millions.

À la différence du cerveau humain, l'intelligence artificielle n'a en théorie pas de limites, et les scientifiques qui travaillent dessus comptent bien continuer de repousser ses capacités. Mais pour ce faire, il va falloir que la puissance des ordinateurs qui les supportent augmente au même rythme.

En ce moment

58 ans et apprentie hackeuse, le pactole de la Norvège, les 10 techs du futur, une journée sur korii.

Et Cætera

58 ans et apprentie hackeuse, le pactole de la Norvège, les 10 techs du futur, une journée sur korii.

Ce qu'il fallait lire aujourd'hui.

Comment la mère d'un hacker a piraté les défenses d'une prison

Tech

Comment la mère d'un hacker a piraté les défenses d'une prison

Rita Strand, 58 ans et apprentie hackeuse, a déjoué toutes les sécurités.

Têtes couronnées, hacking et espionnage: du rififi aux Émirats

Et Cætera

Têtes couronnées, hacking et espionnage: du rififi aux Émirats

Un procès à Londres expose la guerre que se livrent deux demi-frères d'une famille royale.