L'expression «tel maître, tel chien» n'est pas applicable qu'à nos animaux de compagnie, elle fonctionne aussi très bien pour l'intelligence artificielle –c'est même l'une de ses principales failles. Parce qu'elles apprennent des données produites par l'être humain, les IA se nourrissent de nos trouvailles mais aussi de nos erreurs.
À DRH sexiste, IA de recrutement sexiste. À forces de l'ordre racistes, IA policière raciste. C'est ce qu'Andrea Nill Sánchez a exposé devant les eurodéputé·es lors d'une série d'auditions le 20 février par la Commission des libertés civiles, de la justice et des affaires intérieures du Parlement européen.
Sánchez est la directrice d'AI Now, un institut qui s'emploie à analyser et prévoir les implications sociétales de l'intelligence artificielle. Elle était invitée à s'exprimer lors d'une réunion sur l'utilisation des IA dans le cadre de la justice criminelle, notamment la reconnaissance faciale et la «prévision policière».
La prévision policière consiste en un système qui demande à un algorithme d'«analyser les données existantes afin de prévoir où un crime pourrait avoir lieu, qui pourrait le commettre ou qui pourrait en être victime», explique Sánchez.
Données ripoux
Seulement, les IA établissent des modèles de crimes potentiels en utilisant les données disponibles, donc celles dont disposent déjà les forces de l'ordre. En étudiant treize services de police aux États-Unis, AI Now s'est aperçu que les algorithmes ont tendance à amplifier les mauvais comportements, car ils se basent sur des «données sales» (dirty data).
«Si elle n'est pas maîtrisée, la prévision policière risque de reproduire et d'amplifier les comportements illégaux et contraires à l'éthique liés aux discriminations», prévient-elle. Par exemple, si la police patrouille plus souvent dans un quartier à majorité noire, elle y détectera forcément plus de crimes. En conséquence, les algorithmes y verront un foyer criminogène et préconiseront aux forces de l'ordre d'y concentrer encore plus leurs efforts.
Ces biais sont aussi valables en l'absence de plainte. Les sans-papiers, par exemple, ont tendance à ne pas signaler les crimes dont ils sont victimes. Par conséquent, un algorithme estimera que ces personnes sont moins victimes que d'autres, et donc moins prioritaires pour l'attention des forces de l'ordre.
