Même si on ne s'en aperçoit pas toujours, les intelligences artificielles font partie intégrante de notre quotidien. Saviez-vous par exemple qu'elles se cachent notamment derrière les outils de traduction automatiques, ou encore la messagerie de Google, Gmail?
Si leur fonctionnement demeure obscur pour le commun des mortels, c'est en partie parce qu'elles nécessitent une immense puissance de calcul. À titre d'exemple, il a fallu un million de milliards de milliards d'opérations pour entraîner le modèle de langage le plus avancé d'OpenAI, GPT-3, et ce pour la modique somme de 5 millions de dollars.
Il existerait cependant une solution pour réduire ces coûts, selon IEEE Spectrum: une façon différente de représenter les nombres, sous forme de «posits».
On doit cette invention aux ingénieurs John Gustafson et Isaac Yonemoto, qui ont pensé les posits comme une alternative au système traditionnel de processeurs arithmétiques à virgule flottante. Il s'agissait donc de trouver une nouvelle manière d'encoder les nombres réels.
Depuis, une équipe de recherche de l'Université Complutense de Madrid a testé cette norme dans un tout nouveau cœur de processeur et les résultats sont tout à fait encourageants: la précision d'une tâche de calcul de base aurait été multipliée par quatre.
Une possible révolution des mathématiques
Pour comprendre l'ampleur de l'avancée technologique que les posits représentent, il faut prendre en compte le fait que les nombres réels ne peuvent être parfaitement encodés puisqu'il y en a à l'infini.
Dans le système classique, de nombreux réels doivent donc être arrondis afin de tenir dans une quantité désignée de bits, le bit étant la plus petite unité d'information sur un ordinateur. Mais avec les posits, on peut en représenter davantage qu'avec la virgule flottante.
De plus, pour les grands nombres positifs et négatifs, leur précision est accrue. «C'est une meilleure correspondance pour la distribution naturelle des nombres dans un calcul, décrit Gustafson. C'est la bonne précision, là où vous en avez besoin. Il y a énormément de modèles de bits dans l'arithmétique à virgule flottante que personne n'utilise jamais, c'est du gaspillage.»
Dans son essai technique, l'équipe de l'Université Complutense a pu comparer les calculs effectués à l'aide de flotteurs 32 bits et ceux de posits 32 bits. Elle en a conclu que l'amélioration de la précision ne se faisait pas au détriment du temps de calcul, mais uniquement d'une augmentation de la surface de la puce et de la consommation d'énergie.
Reste à savoir si malgré les gains de précision numérique indéniables, l'entraînement des grandes IA sera réellement affecté par cette nouvelle norme. «Il est possible que les posits accélèrent l'entraînement puisque vous perdez moins d'informations en cours de route, mais on ne le sait pas encore, explique David Mallasén Quintana, chercheur à l'université madrilène. Des personnes les ont essayés dans le logiciel; nous voulons maintenant les essayer dans le matériel.»
