Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Si la police est raciste, ses algorithmes le seront aussi

Tant que les forces de l'ordre ne seront pas irréprochables, les IA ne feront qu'accentuer leurs défauts.

L'expression «tel maître, tel chien» n'est pas applicable qu'à nos animaux de compagnie, elle fonctionne aussi très bien pour l'intelligence artificielle –c'est même l'une de ses principales failles. Parce qu'elles apprennent des données produites par l'être humain, les IA se nourrissent de nos trouvailles mais aussi de nos erreurs.

À DRH sexiste, IA de recrutement sexiste. À forces de l'ordre racistes, IA policière raciste. C'est ce qu'Andrea Nill Sánchez a exposé devant les eurodéputé·es lors d'une série d'auditions le 20 février par la Commission des libertés civiles, de la justice et des affaires intérieures du Parlement européen.

Sánchez est la directrice d'AI Now, un institut qui s'emploie à analyser et prévoir les implications sociétales de l'intelligence artificielle. Elle était invitée à s'exprimer lors d'une réunion sur l'utilisation des IA dans le cadre de la justice criminelle, notamment la reconnaissance faciale et la «prévision policière».

La prévision policière consiste en un système qui demande à un algorithme d'«analyser les données existantes afin de prévoir où un crime pourrait avoir lieu, qui pourrait le commettre ou qui pourrait en être victime», explique Sánchez.

Données ripoux

Seulement, les IA établissent des modèles de crimes potentiels en utilisant les données disponibles, donc celles dont disposent déjà les forces de l'ordre. En étudiant treize services de police aux États-Unis, AI Now s'est aperçu que les algorithmes ont tendance à amplifier les mauvais comportements, car ils se basent sur des «données sales» (dirty data).

«Si elle n'est pas maîtrisée, la prévision policière risque de reproduire et d'amplifier les comportements illégaux et contraires à l'éthique liés aux discriminations», prévient-elle. Par exemple, si la police patrouille plus souvent dans un quartier à majorité noire, elle y détectera forcément plus de crimes. En conséquence, les algorithmes y verront un foyer criminogène et préconiseront aux forces de l'ordre d'y concentrer encore plus leurs efforts.

Ces biais sont aussi valables en l'absence de plainte. Les sans-papiers, par exemple, ont tendance à ne pas signaler les crimes dont ils sont victimes. Par conséquent, un algorithme estimera que ces personnes sont moins victimes que d'autres, et donc moins prioritaires pour l'attention des forces de l'ordre.

En ce moment

Le concours mortel de Pepsi, un Tchernobyl volant, une apocalypse boursière, l'hebdo de korii.

Et Cætera

Le concours mortel de Pepsi, un Tchernobyl volant, une apocalypse boursière, l'hebdo de korii.

Les dix articles de la semaine, pour chasser l'ennui de votre dimanche.

Le confinement a fait de deux octogénaires de Taïwan des stars d'Instagram

Et Cætera

Le confinement a fait de deux octogénaires de Taïwan des stars d'Instagram

En un mois, le couple a atteint les 600.000 followers.

Et si vous preniez l'avion pour aller nulle part?

Biz

Et si vous preniez l'avion pour aller nulle part?

Aéroports et compagnies rivalisent dans le non-sens pour compenser l'effondrement du marché aérien.