L’année dernière, au Forum économique mondial de Davos, le milliardaire philanthrope George Soros avait mis en garde contre les alliances entre les sociétés de nouvelles technologies et les états autoritaires. Un attelage redoutable qui, selon lui, «pourrait résulter en un contrôle totalitaire d’une ampleur que même George Orwell n’aurait pu imaginer».
Cette année, il a précisé que la rapidité des développements des intelligences artificielles (IA) rendait cet avertissement plus urgent encore à prendre en compte. Soros n’est pas le seul à s’inquiéter. Dans sa lettre annuelle aux actionnaires de 2018, Sergey Brin, le co-fondateur de Google, prévenait que les nouvelles possibilités offertes par le machine learning impliquent de nouvelles responsabilités et doivent amener à s’interroger: «Sont-elles sûres?», «comment peuvent-elles manipuler les gens?». Quant à Elon Musk, homme tourné vers l'avenir s'il en est, sa croisade contre une IA sans limite ni éthique mais qui laisse la part belle aux armes est également fameuse.
Totalitarisme de marché
Pour comprendre les dommages que cette technologie peut engendrer, il suffit de regarder en direction de la Chine: le pays a décidé en 2017 de mettre tous les moyens en œuvre afin de devenir le leader mondial de l’IA d’ici à 2030. La plupart des avancées technologiques sont, comme aux États-Unis, menées par les entreprises spécialisées dans les nouvelles tech: Alibaba, Baidu, Huawei…
Or, pour Soros, ces sociétés ont le potentiel pour se muer en puissant accélérateur du totalitarisme. Car il y a lieu de se montrer pessimiste à propos de l’usage que fera la Chine de ces technologies. L’exemple le plus manifeste de ce danger imminent? Le système de «crédit social» (SCS) que Beijing voudrait mettre en place à partir de 2020 –qui est d'ores et déjà testé dans certains endroits.
Ce dispositif note les citoyennes et citoyens chinois selon leur niveau d’«honnêteté». S'ils sont endettés ou qu’ils traversent au rouge, ils perdent des points et peuvent se voir administrer une punition, comme une interdiction de vol ou l’affichage de leur visage sur des écrans géants. Toutes ces données sont traitées grâce aux nouvelles possibilités qu’offrent les IA: reconnaissance faciale, traitement de données à grande échelle, etc.
Surveiller et sourire
Pour faire adhérer la population à ces systèmes, les grandes entreprises jouent un rôle essentiel. Car c’est en partie grâce à elles qu'ils sont extrêmement populaires. Lors d'un sondage récent, 80% des 2.200 personnes ayant répondu voient ces «systèmes de crédit social» positivement ou très positivement.
Par exemple Alibaba, géant de la vente en ligne, permet à sa clientèle de s’inscrire volontairement à Sesame Credit, où un algorithme récupère leurs données: sur le temps passé en ligne, l’argent dépensé et l’historique des payements. Les mieux notés gagnent un accès à des crédits avantageux.
Jusqu'ici, il semblerait que cette carotte soit suffisante pour faire oublier la surveillance généralisée. Mais il n’est pas difficile d’imaginer que dans un avenir proche, se faire mal noter par un algorithme pourrait avoir des conséquences bien pires que de retrouver son visage sur un écran géant.
D'autant que Xi Jiping ne se cache pas de vouloir manipuler sa population. Dans une entrevue récente avec le Quotidien du peuple, l'organe officiel du parti communiste, il a affirmé qu'il était «nécessaire d’explorer l’utilisation de l’intelligence artificielle dans la collecte, la production, la distribution, la réception et le retour d’informations afin d’améliorer de manière globale la capacité de guider l’opinion publique».
Soulignons toutefois que les entreprises chinoises ne sont pas les seules à collaborer avec un gouvernement pour surveiller la population. Amazon veut par exemple vendre son logiciel de reconnaissance faciale, le pourtant très critiqué Rekognition, à la police des frontière des États-Unis –les autorités de certaines villes en font d'ailleurs déjà usage. À quelques centaines de kilomètres de nous seulement, des cités telles que Nice, Nîmes ou Marseille semblent décidées à franchir ce cap. Une échéance plus proche que ce que l'on pouvait imaginer.
