Les réseaux sociaux doivent marcher sur un fil entre modération et censure. | Alessio Ferretti via Unsplash
Les réseaux sociaux doivent marcher sur un fil entre modération et censure. | Alessio Ferretti via Unsplash

Comment devraient réagir les algorithmes quand ils savent que nous voulons mourir?

Les systèmes de recommandation des réseaux sociaux peuvent proposer des contenus encourageant le suicide et l'automutilation.

Le concept de «bulle de filtre» est désormais largement connu. Les réseaux sociaux, s'ils nous ouvrent une porte sur le monde, nous enferment aussi dans le nôtre. Que ce soit de la politique ou du divertissement, les algorithmes des plateformes en ligne sont chargés de nous conduire vers le contenu que nous sommes le plus susceptible d’apprécier.

Afin de mener cette tâche à bien, les systèmes de recommandations nous dirigent systématiquement vers des choses similaires à ce que l’on a déjà consulté. Pour la majorité des internautes, les principaux désavantages de cette bulle est qu’elle n’encourage pas le débat politique ni la découverte de nouveaux horizons culturels.

Seulement, certains recherchent des contenus qui vont leur faire du mal. Ce fût le cas de Molly Russel, une jeune Anglaise de 14 ans, qui, avant de se donner la mort en 2017, avait consulté sur Instagram et Pinterest des images d’automutilation et de suicide.

Après sa mort, il s’est avéré que le contenu qui lui était «recommandé» par les deux réseaux sociaux comportait des images similaires. Un mois après sa mort, Pinterest a même envoyé sur son adresse e-mail une image d’une cuisse scarifiée.

Pourtant, ces plateformes ont des règles claires interdisant la diffusion de ce genre d’images ou la glorification de ces pratiques. Elles disposent aussi de systèmes permettant d’accéder à des centres d’appels d’aide, fournissant des conseils en cas de pensées suicidaires et des outils de signalisation de contenu inapproprié.

Seulement, si tout cela est nécessaire, ce n’est pas suffisant. Du contenu réussit toujours à passer la modération et les algorithmes le glissent ensuite dans leurs suggestions sans faire de distinction.

Poison et remède

Cependant, ne voir les réseaux sociaux que comme un jet d’essence sur le feu des problèmes de santé mentale est une erreur. Renforcer les filtres pour supprimer tout contenu relatif au suicide ou à l’automutilation risquerait de produire l’effet inverse de celui escompté.

Beaucoup de personnes touchées par ces maux peuvent en effet trouver en ligne un réconfort émotionnel et des conseils concrets. Des communautés d’entraide se forment sur les réseaux sociaux et peuvent être de précieuses alliées. Une prohibition totale de ces sujets pourrait étouffer et finalement faire disparaître ces espaces de solidarité.

Les réseaux sociaux doivent donc marcher sur un fil afin de ne pas tomber dans le laxisme ou dans la censure trop sévère. Il faudra pour cela améliorer les intelligences artificielles actuelles et, si ce n’est pas possible, se demander si un tel travail d’orfèvre peut être effectué par des machines quand il s'agit de cas si sensibles.

En ce moment

Comment détecter les caméras qui peuvent être cachées dans votre logement Airbnb?

Tech

Comment détecter les caméras qui peuvent être cachées dans votre logement Airbnb?

Quelques conseils pour protéger votre intimité.

L'investissement dans les énergies propres boosté par la guerre en Ukraine

Biz

L'investissement dans les énergies propres boosté par la guerre en Ukraine

Le vent est en train de tourner.

Vos vieilles capsules de café peuvent finalement servir à quelque chose

Biz

Vos vieilles capsules de café peuvent finalement servir à quelque chose

Notamment aider à fermer la boucle de l'économie circulaire du kawa.