"Un acte ignoble": des chatbots d’adolescentes décédées découverts sur une plateforme d’IA

Des chatbots de deux adolescentes, dont l’une s’est suicidée et l’autre a été assassinée, ont été découverts sur la plateforme Character.ai, qui permet aux utilisateurs de discuter avec des IA.

"Manipulatrice et dangereuse". Ces mots ont été employés par Esther Ghey pour qualifier la plateforme Character.ai, qui permet de créer et de discuter avec des chatbots. En février 2023, elle a perdu sa fille transgenre, Brianna Ghey, qui a été assassinée par deux adolescents.

Le quotidien britannique The Telegraph a découvert plusieurs chatbots imitant Brianna sur Character.ai. Une de ses IA était présentée comme une "experte dans la gestion des défis que représente le fait d’être une adolescente transgenre au lycée".

"C’est un nouvel exemple de la façon dont le monde en ligne peut être manipulé et dangereux pour les jeunes”, a fustigé Esther Ghey, appelant à "agir maintenant pour protéger les enfants et les jeunes d’un monde numérique qui évolue si rapidement".

"Un acte ignoble"

The Telegraph a également trouvé des chatbots de Molly Russell sur Character.ai. Cette adolescente britannique s’est suicidée en novembre 2017, après avoir été exposée à des contenus liés au suicide, à la dépression et à l’automutilation sur les réseaux sociaux.

"Il s’agit d’un manque de modération tout à fait répréhensible et d’un acte ignoble qui causera encore plus de chagrin à tous ceux qui connaissaient et aimaient Molly", a déploré Andy Burrows, directeur général de la Molly Rose Foundation, une organisation caritative créée à la mémoire de l’adolescente et dédiée à la prévention du suicide.

Character.ai a affirmé avoir supprimé les chatbots imitant les deux adolescentes. Ces derniers enfreignaient les conditions d’utilisation de la plateforme, qui interdisent l’usurpation d’identité ou l’utilisation de l’image d’une personne sans autorisation (excepté pour la parodie). La glorification de la violence et du suicide est également interdite.

"Character.ai prend la sécurité sur sa plateforme au sérieux et modère les personnages de manière proactive et en réponse aux rapports des utilisateurs", a assuré un porte-parole de la plateforme au Telegraph.

Cela intervient alors que Character.ai est poursuivi par une mère après que son fils s’est suicidé. Il avait développé une relation toxique avec une IA imitant Daenerys Targaryen, un des personnages principaux de la série de livres Le Trône de fer et de son adaptation télévisée Game of Thrones.