C'est l'un des sujets qui fait couler le plus d'encre à propos des réseaux sociaux. Malgré des milliards de dollars à disposition et les technologies les plus avancées du monde, Twitter, Facebook et les autres semblent incapables d'appliquer des politiques de modération satisfaisantes.
Pas une journée ne passe sans qu'une polémique n'éclate sur le sujet. Twitch fait en ce moment un grand ménage après des accusations de sexisme sur sa plateforme, YouTube l'imite, Facebook est empêtré dans un énième scandale sur la prolifération de propos haineux, et le Covid-19 est un nouveau vecteur puissant de fausses informations.
Beaucoup de gens ne veulent pas ou n'osent pas s'exprimer comme ils le souhaiteraient sur les réseaux sociaux, parce qu'ils ont peur de se faire insulter.
Les mauvais comportements en ligne sont protéiformes. Harcèlement, fake news, racisme, sexisme, communautés néfastes… Les réseaux sociaux ne savent pas toujours où donner de la tête et les internautes doivent souvent bricoler des solutions pour se protéger. Une application française affirme néanmoins qu'elle peut aider.
Bodyguard permet d'analyser les messages reçus sur les réseaux sociaux et de les filtrer afin de masquer ou supprimer le contenu injurieux. D'après son créateur Charles Cohen, l'idée est née de l'envie de «lutter contre le fléau qu'est le cyber-harcèlement et contre l'autocensure. Beaucoup de gens ne veulent pas ou n'osent pas s'exprimer comme ils le souhaiteraient sur les réseaux sociaux, parce qu'ils ont peur de se faire insulter».
Concrètement, Bodyguard modère en temps réel toutes les interactions de ses utilisateurs et utilisatrices sur les réseaux sociaux. «Toutes les 10 ou 20 secondes, nos serveurs récupèrent les commentaires sous vos vidéos YouTube et vos photos Instagram, les mentions sur twitter, les commentaires sur Twitch, et les analysent. Si notre technologie détecte un contenu considéré comme haineux, il est retiré.»
L'app cherche à s'étendre le plus possibles mais pour cela, il faut que les plateformes soient ouvertes aux développeur·euses. Ce n'est par exemple pas le cas de Snapchat ou TikTok, même si Cohen affirme avoir été approché par ces deux réseaux.
Bodyguard est une application gratuite, ne récupère pas de données et n'a pas de pubs. En tant que start-up, elle gagne donc pour l'instant la grande majorité de ses revenus via des investissements extérieurs et est parvenue, plus tôt cette année, à lever deux millions d'euros. Elle a aussi remporté une bourse de 330.000 euros de la part de Google.org. Tout cela lui permet d'employer aujourd'hui une équipe de douze personnes.
Pallier les manquements des réseaux sociaux
Cela peut paraître paradoxal mais, selon son fondateur, les réseaux sociaux voient d'un très bon oeil l'activité de Bodyguard. Pourtant, l'application semble révéler les échecs de ces entreprises, en corrigeant des travers qu'elles n'arrivent pas à résoudre elles-mêmes.
Pour Charles Cohen, si lui y parvient, c'est que sa technologie est fondamentalement différente: «Ils utilisent des technologies de machine learning qui sont extrêmement efficaces quand il s'agit de détecter des images, de traduire du contenu ou de comprendre des commentaires écrits dans un français parfait, mais catastrophiques quand il s'agit d'analyser le contexte.»
Bodyguard a de son côté un fonctionnement plus artisanal. Le filtre analyse les mots ou groupes de mots potentiellement agressifs, mais aussi le contexte autour du message, ainsi que les profils et la relation entre l'auteur·rice et la ou le destinataire du commentaire. Il décide ensuite de le supprimer ou non.
Il a fallu pour cela taguer à la main des millions de commentaires, et étudier précisément le plus de configurations possibles, ce qui a pris environ 2 ans.
Cette méthode n'est pas parfaite, mais la plateforme affirme n'avoir que 2% de faux positifs, et environ 10% de commentaires insultants qui parviennent à passer son filtre. La journaliste antiraciste Rokhaya Diallo, très exposée sur les réseaux sociaux, utilise l'appli depuis quelques temps. Elle atteste qu'il vaut mieux être vigilant·e et que Bodyguard «fait parfois des contresens». Elle remarque tout de même que la plupart du temps, l'algorithme fonctionne bien et supprime «tout ce qui est injurieux ou constitue des menaces, et ne participe en rien au débat».
Le filtrage est effectué en fonction du profil de l'utilisateur·rice, qui peut contrôler la sévérité de la modération, et ce, sur chaque sujet individuellement. «Certains streamers sur Twitch, les insultes et les moqueries ils s'en foutent, ça fait partie du jeu, précise Charles Cohen. Par contre, ils ne veulent pas de racisme, d'homophobie ou de harcèlement sexuel dans leur chat, et ne modèrent que ces sujets».
De même «le commentaire "T'es nul"» envers un Youtuber adulte ne sera pas supprimé, par contre, il pourra l'être s'il vise un enfant mineur», ajoute le fondateur de la start-up.
Sur-mesure
Ce modèle sur-mesure permet de séduire différents publics, ce dont Bodyguard s'enorgueillit. Rokhaya Diallo et la députée LREM Aurore Bergé, pas franchement sur la même longueur d'onde politique, ont toutes deux fait la promotion de l'application sur Twitter.
La société affirme être apolitique et protéger tout le monde de manière équivalente: «Nous ne faisons aucune distinction. Ce n'est pas à nous de décider qui on protège». Une position classique chez ce genre d'entreprise, mais souvent controversée.
Cela a notamment été le cas de Cloudflare, une entreprise de cybersécurité qui protège les sites internet d'attaques par déni de service. Seulement, Cloudflare ne faisait aucune sélection parmi ses client·es, et protégeait ainsi des sites haineux, dont un important point de ralliement de néo-nazis américains.
Cloudflare est revenu sur ses positions vis-à-vis des sites les plus extrêmes, mais la question continue de se poser pour les réseaux sociaux, qui doivent marcher sur la fine ligne entre protection de leurs utilisateur·rices et liberté d'expression.
Bodyguard affirme que la question de protéger une personne qui propage la haine en ligne ne s'est pour l'instant pas présentée, mais veut anticiper les critiques. «On ne veut pas que la décision ne vienne que de nous. Nous voudrions un comité éthique extérieur à l'entreprise, de profils variés», explique Charles Cohen.
Quelques jours après notre interview avec Charles Cohen, le YouTuber de 33 ans, TheKairi78, mis en avant sur le site de Bodyguard comme l'un des utilisateurs de l'app, a admis être en relation avec une jeune fille de 16 ans.
L'entreprise a réagit en affirmant que «chez Bodyguard, nous agissons pour que chaque individu ait la possibilité de se prémunir de manière simple et ainsi garantir un environnement sain et respectueux que cela soit en ligne ou dans la vraie vie. Cet influenceur n'est plus mis en avant sur notre site Internet.»
Modération indépendante
Fondamentalement, Bodyguard est une manière d'automatiser des tâches que l'utilisateur·rice aurait pu faire. Elle n'entend pas supplanter la modération des plateformes sur lesquelles elle agit.
Par conséquent, si un compte twitter est par exemple très souvent détecté par le filtre, il peut être bloqué ou masqué mais ne sera pas directement inquiété puisque Bodyguard n'est pas en mesure (et ne souhaite pas) le suspendre du réseau social.
J'autorise Bodyguard à cacher les tweets dans ma timeline mais je ne suis pas favorable à une suppression de compte automatique, qui peut rapidement constituer une atteinte à la liberté d'expression.
Bodyguard ne peut donc pas être une solution systémique à la haine en ligne. Mais ce positionnement lui permet aussi d'éviter les accusations d'abus de pouvoir. «Ça me met mal à l'aise qu'une entreprise privée intervienne pour décider ce qu'on peut dire ou pas sur internet, explique Rokhaya Diallo. J'autorise Bodyguard à cacher les tweets dans ma timeline mais je ne suis pas favorable à une suppression de compte automatique, qui peut rapidement constituer une atteinte à la liberté d'expression.»
D'autant que même si Bodyguard n'a pas le pouvoir de pénaliser directement les comptes haineux, «ça peut démotiver les gens qui ne sont là que pour faire du tort, pour faire du mal ou faire perdre du temps», ajoute la journaliste. «Savoir que leurs messages ne passeront pas le filtre, ça peut les décourager.»
À long terme, Bodyguard voudrait commercialiser une application à destination des familles, qui pourrait communiquer aux parents si leurs enfants sont victimes ou auteur·rices de harcèlement en ligne. Elle ne serait pas directement vendue aux consommateurs et consommatrices, mais «commercialisée via les assurances, les banques ou les opérateurs pour qu'ils la proposent comme service à leurs clients».
Un autre projet est de vendre des licences aux «entreprises hors GAFAM, qui n'ont ni le temps ni les moyens de développer une technologie similaire». Ce pourrait concerner des forums, des applis de rencontre, des serveurs de jeux vidéo et toute «plateforme qui a du contenu généré par ses utilisateurs».
