En janvier 2015, l'astrophysicien Stephen Hawking, l'entrepreneur Elon Musk ainsi qu'une centaine de scientifiques et de personnalités signaient une lettre ouverte sur les dangers de l'intelligence artificielle.
Celle-ci évoquait entre autres la problématique des armes autonomes: nécessité d'un contrôle humain, question de la responsabilité en cas de dysfonctionnement... Le document de dix pages accompagnant la lettre développait une autre inquiétude: l'émergence éventuelle d'une «intelligence artificielle forte», ou «singularité technologique», qui pourrait se retourner contre ses créateurs.
En août 2017, une nouvelle lettre ouverte est publiée par Elon Musk et une centaine de pointures du monde de la recherche. Cette fois-ci, elle se focalise sur les armes autonomes pour réclamer leur interdiction auprès des Nations unies, en reprenant des arguments plus classiques.
Science sans conscience
«Au départ, l'intelligence artificielle est une discipline scientifique visant à mieux comprendre l'intelligence en la décomposant en facultés cognitives, puis en simulant chacune d'entre elles à l'aide d'ordinateurs», explique Jean-Gabriel Ganascia, professeur à Sorbonne Université, chercheur au LIP6, informaticien, philosophe et président du comité d'éthique du CNRS.
Aucun élément ne laisse entendre qu'une conscience pourrait émerger de l'intelligence artificielle, même si certains affirment de façon assez péremptoire et fumeuse que ça va advenir.
«Ce faisant, l'IA réduit ces facultés à de la manipulation d'informations, sans accéder au sens, comme le montre le philosophe John Searle dans l'expérience de pensée de la chambre chinoise, continue l'auteur de Le Mythe de la Singularité - Faut-il craindre l'intelligence artificielle?. Aucun élément ne laisse entendre qu'une conscience pourrait émerger de l'intelligence artificielle, même si certains affirment de façon assez péremptoire et fumeuse que ça va advenir. Quand ceux-ci nous disent que les machines pourraient développer un sentiment d'hostilité envers la race humaine, cela relève de la science-fiction.»
Il est vrai que le terme d'«intelligence artificielle» prête à confusion. En tant que discipline scientifique, l'IA vise à faire réaliser par des machines des opérations jusqu'ici uniquement réalisables par le cerveau humain.
Mais elle ne conduit pas pour autant à la création d'une «intelligence» comparable à l'intelligence humaine –et rien n'indique pour le moment qu'elle le fera un jour–, bien que cette possibilité ne puisse être entièrement écartée.
La perspective de voir l'intelligence artificielle, et en particulier celle des robots militaires, agir contre l'humanité est donc principalement une vue de l'esprit.
L'accroissement de la puissance de calcul ne rapproche pas l'IA d'une forme de conscience ou d'émotion, même si les machines peuvent apprendre de façon très contrôlée grâce à des réseaux de neurones artificiels.
«Pour fonctionner, la machine doit disposer d'une très grande quantité de connaissances sur le monde extérieur. Elle peut les acquérir elle-même de façon automatique, notamment par l'apprentissage supervisé: on lui présente des dizaines de milliers de photos en disant pour chacune “Ceci est un char” ou “Ceci n'en est pas un”, selon ce qu'elle représente; au bout d'un moment, la machine peut faire la différence. Seulement, elle n'accède pas au sens, elle ne sait pas ce qu'est un char: elle établit simplement une corrélation entre la forme d'un char et le concept de char», détaille Jean-Gabriel Ganascia.
L'intelligence artificielle demeure ainsi fondamentalement différente de celle humaine, même si elle est capable d'apprendre et même si ses capacités sont de plus en plus importantes.
Intelligence bien fragile
La présence d'IA au sein d'un robot militaire armé est aussi une source de vulnérabilité. La revue MIT Technology Review soulignait récemment que «l'IA militaire peut être facilement et dangereusement bernée».
Une intelligence artificielle utilisant les données transmises par ses capteurs pour prendre des décisions, il est possible de la faire dysfonctionner en lui transmettant des informations erronées (par exemple en modifiant le marquage au sol d'une route), voire d'en prendre le contrôle à distance –un risque qui se pose également pour les robots militaires non autonomes et télé-opérés.
«Une voiture autonome peut être piratée pour que son passager soit conduit à un autre endroit, un stimulateur cardiaque connecté peut être piraté à distance et arrêté, sans parler de l'espionnage. Il en va potentiellement de même pour les armes automatiques ou autonomes», prévient Jean-Gabriel Ganascia.
Aujourd'hui, des industries développent des technologies civiles que les militaires récupèrent. Cela crée de la vulnérabilité car les militaires ne sont plus propriétaires des dispositifs qu'ils utilisent, dont ils ne maîtrisent pas tous les composants.
«La guerre se joue aussi dans le cyberespace, poursuit-il. Pendant longtemps, les militaires passaient des contrats avec les industriels; aujourd'hui, des industries développent des technologies civiles que les militaires récupèrent. Cela crée de la vulnérabilité car les militaires ne sont plus propriétaires des dispositifs qu'ils utilisent, des téléphones ou des ordinateurs, dont ils ne maîtrisent pas tous les composants. On pense à Huawei, par exemple.»
Le principal danger associé à l'IA militaire ne réside donc pas dans l'accroissement de ses capacités qui, comme dans Terminator, conduirait à un improbable «soulèvement des machines».
Plus inquiétant, les algorithmes ne sont actuellement pas en mesure d'intégrer le droit de la guerre, ce qui signifie, comme l'a indiqué le Comité international de la Croix-Rouge, que les armes autonomes ne peuvent être utilisées au milieu de civils sans mettre ceux-ci en danger.
Entre les mains d'acteurs souhaitant cibler les populations civiles, ou peu soucieux de faire la distinction entre combattants et non-combattants, l'intelligence artificielle militaire peut être spécifiquement configurée pour perpétrer des crimes de guerre ou contre l'humanité.
La menace est d'autant plus vive que le caractère open source d'une partie de l'intelligence artificielle complique la lutte contre la prolifération des IA militarisables. Difficile d'empêcher, par exemple, un groupe terroriste d'utiliser des outils et programmes open source existants pour développer une intelligence artificielle couplée à des capacités offensives.
L'utilisation de l'IA militaire par les démocraties crée ainsi de nouvelles vulnérabilités contre lesquelles elles doivent impérativement se protéger, puisque l'IA peut être espionnée, trompée ou piratée par des acteurs hostiles. Dans ce contexte, le danger vient bien moins de l'intelligence des algorithmes des armes autonomes... que de leur stupidité.
