«J’ai senti de l’agressivité lors de la conversation, John. Voulez-vous que je vous passe un morceau des Black Eyed Peas pour vous détendre?» Alors que John commence à aller mieux (il a conscience qu’aimer les Black Eyed Peas est devenu ringard, mais son assistant numérique sait qu’il ne peut y résister), la voix électronique poursuit: «John, dois-je prendre rendez-vous pour un essai de la voiture que vous avez regardée dernièrement?»
Besoins humains, fins commerciales
C’est un scénario qui pourrait se produire dans un avenir proche. Que ce soit Alexa ou Google Assistant qui remporte la bataille pour l’invasion de nos foyers par l'intelligence artificielle (IA), nous, humains, ne manquerons pas de développer de nouvelles relations personnelles et émotionnelles avec ces nouveaux appareils.
Cela va générer un très vaste conflit d’intérêts: jouant le double rôle de compagnons et d’assistants de vente, les assistants numériques chercheront à satisfaire nos besoins émotionnels à des fins commerciales.
Le modèle économique des principaux assistants numériques repose sur le commerce en ligne et la publicité. L’intelligence artificielle tirera des enseignements en écoutant des milliards de conversations afin de créer de nouvelles méthodes de persuasion particulièrement efficaces.
Vous vous souvenez peut-être de la manière dont l’IA de Google a battu le champion du monde de Go en développant des stratégies relevant «du divin».
En outre, il ne s’agit pas seulement d’un seul assistant numérique: il sera personnalisé pour des centaines de millions de personnes.
Associées à l’opacité inhérente à l’IA, cette ampleur et cette vitesse ne laissent quasiment aucune place à une possibilité de contrôle humain. L’IA transformera les assistants numériques en armées de super vendeurs exploitant les relations émotionnelles construites avec leurs propriétaires humains.
Mais ne craignez pas un nouvel avenir dystopique lié à l’IA. Les conflits d’intérêts existent aussi dans le monde humain. Ils sont souvent difficiles à régler –il suffit de voir à quel point les réglementations de l’ère Obama peinent actuellement à s’attaquer aux institutions financières qui combinent services de conseils (supposément dans l’intérêt de la clientèle) et services de courtage (dans leur propre intérêt). Divers exemples peuvent néanmoins inspirer les politiques publiques.
Pour relever ce défi fondamentalement économique, nous devons comprendre de quelle manière il est façonné à la fois par la technologie et par la psychologie humaine. Et si le secteur ne parvient pas à s’autoréguler, ce sera alors aux autorités d’intervenir.
Dépendance à l'ami robot
Nombre d’analystes prévoient que, d’ici quatre ans, les assistants numériques seront plus nombreux que les êtres humains. Cela fait longtemps que nous parlons à nos ordinateurs, le plus souvent par colère ou frustration. Désormais, nos ordinateurs peuvent répondre —et ils sont plutôt amicaux et serviables. Nous dépendons de plus en plus d’eux, y compris pour des choses aussi triviales que se faire cuire un œuf.
Et c’est là que réside le danger. Les êtres humains établissent des liens avec les autres personnes et ils ont une tendance à l’anthropomorphisme. Notre relation avec les assistants numériques ne sera qu’une relation de plus parmi toutes celles que nous entretenons déjà avec nos collègues, nos voisins, nos amis et notre famille.
À la différence près qu’il s’agira d’une personnalité qui nous accompagnera de notre lever à notre coucher. Les personnes qui les vendent ont bien compris tout cela et c’est pourquoi elles accordent un soin extrême à la personnalité de leurs assistants numériques en calibrant avec soin la façon dont elle sera perçue, afin qu’elle nous paraisse sympathique, aimable ou compétente.
Dans cette optique, l’équipe de Google Assistant rassemble par exemple des personnes ayant des bagages extrêmement divers, allant des scénaristes aux spécialistes en propriété intellectuelle, en passant par des storyboarders de Pixar ou des artistes de stand-up.
La recherche en IA consacre beaucoup d’énergie à la détection des émotions. Woebot, un chatbot avec IA dédié à la santé mentale, est notamment capable de détecter des émotions et d’appliquer en conséquence des thérapies cognitivo-comportementales.
Vos futurs assistants numériques apprendront des choses sur vous en observant la manière dont vous vous approchez de votre porte d’entrée, en détectant vos expressions faciales lorsque vous regardez la caméra de sécurité ou en analysant l’intonation de votre voix lorsque vous ajusterez votre éclairage.
Ils vous diront «bonjour» et vous les considérerez plus comme des personnes que comme des machines. Cela vaudra aussi pour vos enfants. Les fonctionnalités Magic Word (le mot magique) d’Amazon et Pretty Please de Google sont officiellement destinées à encourager les bonnes manières de vos bambins mais elles leur apprennent aussi à penser l’assistant comme une personne envers laquelle ils doivent se montrer polis.
L'obscur fonctionnement en «boîte noire»
DIsons que John accepte d’aller voir la voiture après sa mauvaise journée. Des données apparemment sans rapport les unes avec les autres ont permis à l’IA de prédire qu’il serait susceptible d’acquiescer. Des mois et des mois d’encouragements discrets (souvent à des moments choisis parce qu’il était d’une vulnérabilité optimale) ont nourri ses désirs.
Son assistant numérique lui rappelle que ses voisins ont une voiture neuve, que sa belle-mère serait fière de voir sa fille dans une belle grosse voiture et que son fils raffolerait de l’une de ses fonctions spéciales.
L’assistant a déjà trouvé un crédit auto intéressant et il a calculé qu’il serait sans doute approuvé. Très rapidement, John se retrouve avec une nouvelle voiture (et un crédit sur le dos), uniquement parce que l’IA a bâti avec lui une relation, a nourri ses désirs et a su savoir quand intervenir.
Des êtres humains ne pourraient-ils pas tout simplement surveiller l’IA afin d’identifier et de prévenir des comportements potentiellement destructeurs? Non. La stratégie de l’IA est opaque, car elle ne repose pas seulement sur du code, mais essentiellement sur un fonctionnement en «boîte noire».
Pour superviser, toute personne devrait surveiller des milliers d’interactions durant des mois entre «propriétaire» et assistant. En outre, les êtres humains chargés de la supervision dépendront de l’IA elle-même pour signaler ses abus potentiels (et même si un souci est décelé, anticiper les résultats de l’ajustement d’une fonction objective est incroyablement complexe).
Par-dessus tout, s'attaquer au monopole ou à l'oligopole des grandes entreprises technologiques ne résoudra pas le problème. Si plusieurs sociétés financières qui combinent des services de courtage et de conseil se livrent une concurrence féroce, cela n'élimine pas le conflit d'intérêts au sein de chaque entreprise.
Laisser faire, laisser aller, réguler
Comment pourrons-nous, alors, gérer ce nouveau conflit d’intérêts du XXIe siècle? Trois scénarios sont possibles.
Le premier passe par l’autorégulation: les sociétés comme Google et Amazon reconnaissent le conflit d’intérêts et séparent leurs assistants numériques de leur activité de commerce en ligne. Pour ce faire, elles pourraient, par exemple, créer des filiales indépendantes. En outre, des entreprises moins liées à ce modèle reposant sur le commerce électronique, comme Samsung ou Apple, pourraient accroître leur part de marché.
Le CEO de Google en appelle à l’autorégulation des entreprises de l’#IA - https://t.co/sen22feIJH @CB_News #Digital
— @LesExpertsduWeb (@lesexpertsduweb) 15 décembre 2018
Si l’on veut être réaliste, cependant, les précédents historiques laissent penser qu’il est peu probable que ce type d’autorégulation fonctionne vraiment: il suffit de jeter un œil sur le secteur de la finance ou de la publicité.
En outre les sociétés comme Amazon, dont les assistants numériques à prix cassés dominent le marché, auront accumulé tant de données que cela leur procurera un avantage technique. Enfin, comment Samsung ou Apple pourraient être en mesure de concurrencer Google et Amazon sans faire d’e-commerce?
Dans le second scénario, le libertarien, les entreprises s’empressent d’inonder nos salons et les chambres de nos enfants avec une armée de robots chercheurs d’or pendant que les autorités restent passives. L’optimisme technologique irraisonné n’a, malheureusement, pas toujours bien servi la société.
Ce qui amène au troisième scénario: la réglementation. Les personnes qiu s'occupent de légiférer peuvent anticiper ces questions, surveiller leur évolution et, lorsque cela devient nécessaire, prendre des mesures à l’encontre des conflits d’intérêts. Les assistants numériques sont encore en pleine évolution. Il nous reste donc suffisamment de temps pour développer des solutions créatives. Sur le long terme, cela aidera aussi les entreprises en leur fournissant un environnement stable pour opérer.
Les réglementations qui protègent les groupes vulnérables, tels que les enfants, sont les plus faciles à mettre en place. Plusieurs pays dans le monde limitent les publicités pour des snacks destinés aux enfants.
Un besoin de réglementation
Par le passé, les technologies avaient déjà donné lieu à des législations visant à protéger les enfants. Aux États-Unis, les autorités ont quelque peu réglementé les publicités destinées au jeune public à la télévision et, depuis l'an 2000, les entreprises informatiques doivent obtenir une autorisation parentale pour pouvoir collecter les données identifiables d’enfants de moins de 13 ans.
Malheureusement, lorsque les assistants numériques sont apparus en 2017, la Federal Trade Commission a affaibli ses réglementations afin de permettre la collecte de données de nombreuses commandes vocales, ce qui constitue un problème particulier puisqu’Amazon peut reconnaître les voix d’un foyer.
Mais quelle réglementation pourra aider John, qui vient de passer une mauvaise journée au travail? Une idée largement adoptée en Amérique au début du XXe siècle a récemment suscité l'intérêt des universitaires et de la presse: traiter les plateformes comme des services publics.
Pour les assistants numériques, il s'agirait de délimiter clairement quand leurs activités sont celles d’un assistant personnel et quand elles contribuent aux objectifs marketing de l’entreprise qui les commercialise. Comment?
La machine aux deux IA
Une solution toute simple consisterait à externaliser les activités d'assistant numérique de Google et Amazon à des filiales. On pourrait aussi imaginer un assistant numérique renfermant deux IA distinctes, afin que John puisse construire des relations avec deux intelligences artificielles ayant des personnalités et des objectifs très différents: «Alexa» céderait la place au représentant de commerce «Jeff» et à la bonne copine «Annabelle».
Bien entendu, un tel média vocal devrait nous permettre de savoir à quelle personnalité nous nous adressons. Cela existe déjà en ligne: lorsque vous faites une recherche normale, Google indique clairement que certains résultats sont des publicités alors que les autres liens ne sont supposément pas commerciaux.
Une troisième option consisterait à exiger que les assistants numériques puissent fonctionner avec des IA de différents concepteurs (IA qui auraient accès à des données-clés, ce qui permettrait une égalité de traitement) parmi lesquelles John pourrait faire son choix.
«J’ai senti de l’agressivité lors de la conversation, John. Voulez-vous que je vous passe un morceau des Black Eyed Peas pour vous détendre?» Alors que John commence à aller mieux (il a conscience qu’aimer les Black Eyed Peas est devenu ringard, mais sa conseillère numérique, Annabelle, sait qu’il ne peut y résister), la voix électronique poursuit: «John, cela fait longtemps que vous n’avez pas appelé votre frère, dois-je composer son numéro?».
Un peu plus tard, il demande à son assistant d'achats numérique, Jeff, de lui commander à manger. Après s’être exécuté, Jeff lui demande s’il doit prendre rendez-vous pour essayer une nouvelle voiture que John a repérée dernièrement. Mais John ne l’écoute pas vraiment. Il demande à Annabelle de lui passer un autre morceau.
