Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Les algorithmes ne font souvent que répliquer automatiquement ce que les humains faisaient déjà. | Matt Popovich via Unsplash

Si la police est raciste, ses algorithmes le seront aussi

Tant que les forces de l'ordre ne seront pas irréprochables, les IA ne feront qu'accentuer leurs défauts.

L'expression «tel maître, tel chien» n'est pas applicable qu'à nos animaux de compagnie, elle fonctionne aussi très bien pour l'intelligence artificielle –c'est même l'une de ses principales failles. Parce qu'elles apprennent des données produites par l'être humain, les IA se nourrissent de nos trouvailles mais aussi de nos erreurs.

À DRH sexiste, IA de recrutement sexiste. À forces de l'ordre racistes, IA policière raciste. C'est ce qu'Andrea Nill Sánchez a exposé devant les eurodéputé·es lors d'une série d'auditions le 20 février par la Commission des libertés civiles, de la justice et des affaires intérieures du Parlement européen.

Sánchez est la directrice d'AI Now, un institut qui s'emploie à analyser et prévoir les implications sociétales de l'intelligence artificielle. Elle était invitée à s'exprimer lors d'une réunion sur l'utilisation des IA dans le cadre de la justice criminelle, notamment la reconnaissance faciale et la «prévision policière».

La prévision policière consiste en un système qui demande à un algorithme d'«analyser les données existantes afin de prévoir où un crime pourrait avoir lieu, qui pourrait le commettre ou qui pourrait en être victime», explique Sánchez.

Données ripoux

Seulement, les IA établissent des modèles de crimes potentiels en utilisant les données disponibles, donc celles dont disposent déjà les forces de l'ordre. En étudiant treize services de police aux États-Unis, AI Now s'est aperçu que les algorithmes ont tendance à amplifier les mauvais comportements, car ils se basent sur des «données sales» (dirty data).

«Si elle n'est pas maîtrisée, la prévision policière risque de reproduire et d'amplifier les comportements illégaux et contraires à l'éthique liés aux discriminations», prévient-elle. Par exemple, si la police patrouille plus souvent dans un quartier à majorité noire, elle y détectera forcément plus de crimes. En conséquence, les algorithmes y verront un foyer criminogène et préconiseront aux forces de l'ordre d'y concentrer encore plus leurs efforts.

Ces biais sont aussi valables en l'absence de plainte. Les sans-papiers, par exemple, ont tendance à ne pas signaler les crimes dont ils sont victimes. Par conséquent, un algorithme estimera que ces personnes sont moins victimes que d'autres, et donc moins prioritaires pour l'attention des forces de l'ordre.

En ce moment

La crise russe du code informatique: un grand bond en arrière

Tech

La crise russe du code informatique: un grand bond en arrière

Pour les logiciels des ses machines aussi, le pays dépend totalement de l'occident.

✈️ Des sièges à deux étages dans les avions 🌾 Le vol du blé ukrainien ⚛️ La fusion dans votre garage, hier sur korii.

Et Cætera

✈️ Des sièges à deux étages dans les avions 🌾 Le vol du blé ukrainien ⚛️ La fusion dans votre garage, hier sur korii.

Quatre articles pour comprendre le monde autrement.

Où et comment la Russie trafique les céréales volées à l'Ukraine

Biz

Où et comment la Russie trafique les céréales volées à l'Ukraine

La BBC a analysé les preuves d'un vaste commerce international de ces grains mal acquis.