Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Si la police est raciste, ses algorithmes le seront aussi

Tant que les forces de l'ordre ne seront pas irréprochables, les IA ne feront qu'accentuer leurs défauts.

L'expression «tel maître, tel chien» n'est pas applicable qu'à nos animaux de compagnie, elle fonctionne aussi très bien pour l'intelligence artificielle –c'est même l'une de ses principales failles. Parce qu'elles apprennent des données produites par l'être humain, les IA se nourrissent de nos trouvailles mais aussi de nos erreurs.

À DRH sexiste, IA de recrutement sexiste. À forces de l'ordre racistes, IA policière raciste. C'est ce qu'Andrea Nill Sánchez a exposé devant les eurodéputé·es lors d'une série d'auditions le 20 février par la Commission des libertés civiles, de la justice et des affaires intérieures du Parlement européen.

Sánchez est la directrice d'AI Now, un institut qui s'emploie à analyser et prévoir les implications sociétales de l'intelligence artificielle. Elle était invitée à s'exprimer lors d'une réunion sur l'utilisation des IA dans le cadre de la justice criminelle, notamment la reconnaissance faciale et la «prévision policière».

La prévision policière consiste en un système qui demande à un algorithme d'«analyser les données existantes afin de prévoir où un crime pourrait avoir lieu, qui pourrait le commettre ou qui pourrait en être victime», explique Sánchez.

Données ripoux

Seulement, les IA établissent des modèles de crimes potentiels en utilisant les données disponibles, donc celles dont disposent déjà les forces de l'ordre. En étudiant treize services de police aux États-Unis, AI Now s'est aperçu que les algorithmes ont tendance à amplifier les mauvais comportements, car ils se basent sur des «données sales» (dirty data).

«Si elle n'est pas maîtrisée, la prévision policière risque de reproduire et d'amplifier les comportements illégaux et contraires à l'éthique liés aux discriminations», prévient-elle. Par exemple, si la police patrouille plus souvent dans un quartier à majorité noire, elle y détectera forcément plus de crimes. En conséquence, les algorithmes y verront un foyer criminogène et préconiseront aux forces de l'ordre d'y concentrer encore plus leurs efforts.

Ces biais sont aussi valables en l'absence de plainte. Les sans-papiers, par exemple, ont tendance à ne pas signaler les crimes dont ils sont victimes. Par conséquent, un algorithme estimera que ces personnes sont moins victimes que d'autres, et donc moins prioritaires pour l'attention des forces de l'ordre.

En ce moment

L'impossible retraite à 40 ans, la guerre des masques, des robots biologiques, une journée sur korii.

Et Cætera

L'impossible retraite à 40 ans, la guerre des masques, des robots biologiques, une journée sur korii.

Ce qu'il fallait lire aujourd'hui.

À la rencontre des «xenobots», les premiers robots biologiques au monde

Tech

À la rencontre des «xenobots», les premiers robots biologiques au monde

Entre machines programmées et organismes vivants, ces choses d'un genre nouveau ouvrent des portes sur le futur.

La retraite avant 40 ans: quand le rêve vire au cauchemar

Biz

La retraite avant 40 ans: quand le rêve vire au cauchemar

Les adeptes du mouvement FIRE ont investi jeunes pour arrêter de travailler tôt. Sans voir la crise venir.