«Sur YouTube, un réseau de pédophile se cache en pleine lumière», alertait déjà Wired en février dernier. L'article du site américain était sans détour et sans appel: la plateforme de Google rencontrait un très sérieux problème d'algorithme de recommandation et de commentaires.
YouTube était devenu un sombre terrain de jeu pour les prédateurs sexuels, qui pouvaient tranquillement s'abreuver de milliers de vidéos enfantines innocentes, les commenter librement voire communiquer entre eux où avec les jeunes êtres concernés.
Érotisation précoce
«Des vidéos d'enfants montrant leurs fesses, leurs sous-vêtements et leurs parties génitales font des millions de vue sur YouTube», écrivait K.G. Orphanides, qui précisait que ces petits films étaient monétisés par la plateforme.
YouTube is broken, and comments sexualising and harassing children across multiple videos is one symptom of many. For @WiredUK, I spoke to former YT algorithm engineer @gchaslot about why this is happening and how to fix it.https://t.co/9TXYUGn8Y2
— K.G. Orphanides (@KGOrphanides) 23 février 2019
Les problématiques de modération, de «boîte noire» algorithmique, de recommandations douteuses, de propension à l'enfermement dans un océan de fake ne sont pas nouvelles pour YouTube. Qui, pourtant, jure à qui veut l'entendre qu'elle a mis en place des mesures pour essayer de juguler ces abus.
C'était sans compter sur une nouvelle enquête menée par le New York Times pour démontrer que les mesures prises n'ont eu que peu d'incidence sur ces pratiques. Si le média américain note que les commentaires ont été désactivés sous de nombreuses vidéos mettant en scène des enfants ou qu'une poignée d'entre elles ont été supprimées, il dénonce l'inaction du site qui n'a en revanche pas éliminé son système algorithmique dans le cas de ces petits films enfantins. Les pédophiles continuent d'avoir accès, automatiquement, à toujours plus de vidéos.
Terrifying story by @Max_Fisher & @amandataub:
— Carleton English (@carletonenglish) 3 juin 2019
"On YouTube’s Digital Playground, an Open Gate for Pedophiles" https://t.co/1kzbHrbCYp via @nytimes
Le NYT cite l'exemple de la mère brésilienne d'une petite fille de 10 ans, dont une vidéo anonyme la montre en train de jouer en maillot deux-pièces dans une petite piscine de jardin, et qui avait été vues 400.000 fois en quelques jours.
«The rabbit hole effect»
Le système de recommandation de la plateforme offre automatiquement un choix de vidéos où se retrouvent des éléments similaires à ceux déjà visionnés (enfant, piscine, maillot de bain, etc.) De la même manière que la Terre plate mène à plus de Terre plate ou que les antivax agrègent d'autres contenus complotistes, de très jeunes gens en sous-vêtements pointent vers d'autres très jeunes gens en sous-vêtements.
L'audience reste coincée dans ce que les chercheurs appellent le «rabbit hole effect», qui les pousse vers des vidéos toujours plus extrêmes sur un thème donné.
Ce système de recommandations, dont le but avoué est de pousser les individus à poursuivre le visionnage d'autres contenus, est reponsable de 70% du trafic de la plateforme. On comprend ainsi pourquoi, bien qu'elle explique que la protection des enfants soit l'une de ses priorités absolues, YouTube se refuse à trop toucher à son bébé mathématique.
Chercheurs à Harvard, Jonas Kaiser, Yasodara Córdova et Adrian Rauchfleischdes ont mené une expérience au Brésil. Ce qu'ils ont découvert les a effrayés. Lorsqu'ils ont visionné des vidéos à caractère érotique, les recommandations les ont naturellement poussés vers des contenus de plus en plus explicites, avant de les faire basculer dans un flux ininterrompu de vidéos d'enfants plus ou moins dénudés.
La cause? L'algorithme, toujours, qui a «malappris» des pédophiles à l'affût de ces vidéos spécifiques qu'elles étaient susceptibles d'intéresser tout le monde.
Des problématiques techniques et commerciales sordides en soi. Outre les risques qu'elles font porter aux enfants, dont les comptes sur les réseaux sociaux sont parfois dévoilés par des personnes dont les commentaires ont des visées malsaines, elles peuvent également se révéler dangereuses, à terme, pour l'ensemble de la population.
En incluant d'innocentes vidéos d'enfants dans un flux érotisé par ailleurs regardé des millions de fois, les psychologues interrogés par le New York Times craignent que le tabou général autour de la pédophilie ne finisse par s'éroder.
Il reste donc encore pas mal de boulot à YouTube pour faire le ménage dans ses algorithmes, sous peine d'amplifier involontairement de bien noires tendances.
