Ce n'est un secret pour personne: à mesure que les systèmes automatisés pénètrent notre vie quotidienne, diviser la responsabilité entre humains et robots en cas d'accident va devenir de plus en plus difficile, avec toutes les métamorphoses sociétales que ça implique.
Pour le moment, ce genre de cas reste relativement rare, mais les exemples sont suffisamment nombreux pour faire émerger une réponse embryonnaire à la question suivante: indépendamment de la culpabilité réelle –établie après enquête et verdict– de l'être humain ou de la machine, lequel des deux est le plus souvent perçu comme coupable par la vox populi?
Madeleine Clare Elish, chercheuse au sein de l'institut Data & Society, s'est intéressée à toutes les études de cas disponibles dans l'histoire récente. Parmi eux, l'accident fatal d'une voiture autonome Uber, en mars 2018, mais aussi le crash du vol AF447 Rio-Paris il y a tout juste dix ans. Dans les deux histoires, des systèmes autonomes supposément infaillibles, supervisés par des individus tout aussi qualifiés.
Des «éponges à responsabilité»
Elish, résume le MIT Technology Review, identifie un motif récurrent dans la perception des responsabilités: bien que l'enquête ait conclu à un mélange d'erreur humaine et de machines mal conçues, le traitement médiatique de l'affaire va progressivement évoluer pour se focaliser sur la seule responsabilité humaine. La dynamique, observe Elish, se retrouve dans d'autres affaires.
Ce phénomène, la chercheuse l'appelle la «zone de déformation morale». Dans son étude, elle explique que cette zone agit pour «protéger l'intégrité des systèmes technologiques», quitte à accentuer la responsabilité de l'opérateur humain.
À leur corps défendant, ces personnes deviennent des «éponges à responsabilité», en absorbant toute la faute. Pourquoi? Car les systèmes algorithmiques sont trop complexes, trop abstraits, trop anonymes pour être jugés par le grand public, indique-t-elle.
Un boulevard pour la dérégulation
Le problème de cette logique, c'est qu'elle joue en faveur des compagnies qui commercialisent ces machines. En se focalisant sur l'erreur humaine, on se détourne de la question qui fâche, celle de la régulation des machines. Dérégulé, le secteur n'a aucun intérêt à modifier ses systèmes (comme Uber, par exemple, pour ses voitures autonomes) vers une responsabilité partagée.
Or, tandis que notre époque fait office de phase expérimentale géante pour le développement des systèmes autonomes, ce sont bien les êtres humains qui paient le prix de ces ratés. Assurer leur sécurité devrait être la première priorité.
