Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Si la police est raciste, ses algorithmes le seront aussi

Tant que les forces de l'ordre ne seront pas irréprochables, les IA ne feront qu'accentuer leurs défauts.

L'expression «tel maître, tel chien» n'est pas applicable qu'à nos animaux de compagnie, elle fonctionne aussi très bien pour l'intelligence artificielle –c'est même l'une de ses principales failles. Parce qu'elles apprennent des données produites par l'être humain, les IA se nourrissent de nos trouvailles mais aussi de nos erreurs.

À DRH sexiste, IA de recrutement sexiste. À forces de l'ordre racistes, IA policière raciste. C'est ce qu'Andrea Nill Sánchez a exposé devant les eurodéputé·es lors d'une série d'auditions le 20 février par la Commission des libertés civiles, de la justice et des affaires intérieures du Parlement européen.

Sánchez est la directrice d'AI Now, un institut qui s'emploie à analyser et prévoir les implications sociétales de l'intelligence artificielle. Elle était invitée à s'exprimer lors d'une réunion sur l'utilisation des IA dans le cadre de la justice criminelle, notamment la reconnaissance faciale et la «prévision policière».

La prévision policière consiste en un système qui demande à un algorithme d'«analyser les données existantes afin de prévoir où un crime pourrait avoir lieu, qui pourrait le commettre ou qui pourrait en être victime», explique Sánchez.

Données ripoux

Seulement, les IA établissent des modèles de crimes potentiels en utilisant les données disponibles, donc celles dont disposent déjà les forces de l'ordre. En étudiant treize services de police aux États-Unis, AI Now s'est aperçu que les algorithmes ont tendance à amplifier les mauvais comportements, car ils se basent sur des «données sales» (dirty data).

«Si elle n'est pas maîtrisée, la prévision policière risque de reproduire et d'amplifier les comportements illégaux et contraires à l'éthique liés aux discriminations», prévient-elle. Par exemple, si la police patrouille plus souvent dans un quartier à majorité noire, elle y détectera forcément plus de crimes. En conséquence, les algorithmes y verront un foyer criminogène et préconiseront aux forces de l'ordre d'y concentrer encore plus leurs efforts.

Ces biais sont aussi valables en l'absence de plainte. Les sans-papiers, par exemple, ont tendance à ne pas signaler les crimes dont ils sont victimes. Par conséquent, un algorithme estimera que ces personnes sont moins victimes que d'autres, et donc moins prioritaires pour l'attention des forces de l'ordre.

En ce moment

Fab.com, ou comment brûler 300 millions de dollars en quatre ans

Biz

Fab.com, ou comment brûler 300 millions de dollars en quatre ans

De héros à zéro, tout est parfois une histoire de fuite en avant.

Les missiles hypersoniques, révolution ou poudre aux yeux?

Et Cætera

Les missiles hypersoniques, révolution ou poudre aux yeux?

Une étude met en doute les performances de ces nouveaux engins ultra-rapides.

Le Brexit, un désastre pour la musique britannique

Biz

Le Brexit, un désastre pour la musique britannique

L'obsession des «brexiters» pour le contrôle des frontières met en péril une industrie déjà malmenée par le Covid-19.