Les réseaux sociaux doivent marcher sur un fil entre modération et censure. | Alessio Ferretti via Unsplash
Les réseaux sociaux doivent marcher sur un fil entre modération et censure. | Alessio Ferretti via Unsplash

Comment devraient réagir les algorithmes quand ils savent que nous voulons mourir?

Les systèmes de recommandation des réseaux sociaux peuvent proposer des contenus encourageant le suicide et l'automutilation.

Le concept de «bulle de filtre» est désormais largement connu. Les réseaux sociaux, s'ils nous ouvrent une porte sur le monde, nous enferment aussi dans le nôtre. Que ce soit de la politique ou du divertissement, les algorithmes des plateformes en ligne sont chargés de nous conduire vers le contenu que nous sommes le plus susceptible d’apprécier.

Afin de mener cette tâche à bien, les systèmes de recommandations nous dirigent systématiquement vers des choses similaires à ce que l’on a déjà consulté. Pour la majorité des internautes, les principaux désavantages de cette bulle est qu’elle n’encourage pas le débat politique ni la découverte de nouveaux horizons culturels.

Seulement, certains recherchent des contenus qui vont leur faire du mal. Ce fût le cas de Molly Russel, une jeune Anglaise de 14 ans, qui, avant de se donner la mort en 2017, avait consulté sur Instagram et Pinterest des images d’automutilation et de suicide.

Après sa mort, il s’est avéré que le contenu qui lui était «recommandé» par les deux réseaux sociaux comportait des images similaires. Un mois après sa mort, Pinterest a même envoyé sur son adresse e-mail une image d’une cuisse scarifiée.

Pourtant, ces plateformes ont des règles claires interdisant la diffusion de ce genre d’images ou la glorification de ces pratiques. Elles disposent aussi de systèmes permettant d’accéder à des centres d’appels d’aide, fournissant des conseils en cas de pensées suicidaires et des outils de signalisation de contenu inapproprié.

Seulement, si tout cela est nécessaire, ce n’est pas suffisant. Du contenu réussit toujours à passer la modération et les algorithmes le glissent ensuite dans leurs suggestions sans faire de distinction.

Poison et remède

Cependant, ne voir les réseaux sociaux que comme un jet d’essence sur le feu des problèmes de santé mentale est une erreur. Renforcer les filtres pour supprimer tout contenu relatif au suicide ou à l’automutilation risquerait de produire l’effet inverse de celui escompté.

Beaucoup de personnes touchées par ces maux peuvent en effet trouver en ligne un réconfort émotionnel et des conseils concrets. Des communautés d’entraide se forment sur les réseaux sociaux et peuvent être de précieuses alliées. Une prohibition totale de ces sujets pourrait étouffer et finalement faire disparaître ces espaces de solidarité.

Les réseaux sociaux doivent donc marcher sur un fil afin de ne pas tomber dans le laxisme ou dans la censure trop sévère. Il faudra pour cela améliorer les intelligences artificielles actuelles et, si ce n’est pas possible, se demander si un tel travail d’orfèvre peut être effectué par des machines quand il s'agit de cas si sensibles.

En ce moment

Les Japonaises interdites de lunettes, xHamster mieux que Facebook, sécuriser son iPhone, aujourd'hui sur korii.

Et Cætera

Les Japonaises interdites de lunettes, xHamster mieux que Facebook, sécuriser son iPhone, aujourd'hui sur korii.

Le récap' du jour.

Google aspire les données médicales de millions de personnes à leur insu

Et Cætera

Google aspire les données médicales de millions de personnes à leur insu

Dans le cadre du «Projet Nightingale», des hôpitaux lui transmettent leurs données sans en informer les patient·es.

Les entreprises japonaises interdisent à leurs employées de porter des lunettes

Et Cætera

Les entreprises japonaises interdisent à leurs employées de porter des lunettes

La mesure n'est que l'une des nombreuses contraintes que les Japonaises doivent respecter au travail.