OpenAI annonce toute une série d'efforts pour sécuriser ChatGPT après le suicide d'un adolescent

Accusée d'avoir encouragé un adolescent à se suicider, la start-up a annoncé plusieurs mesures afin de mieux protéger les utilisateurs en détresse mentale ou émotionnelle.

Une première pour OpenAI. La start-up connue pour ChatGPT est visée par une plainte déposée par les parents d'un adolescent qui a mis fin à ses jours. Ils accusent le chatbot d'avoir encouragé ce dernier à se suicider. C'est dans ce cadre qu'OpenAI a annoncé de nouvelles mesures pour "aider les personnes quand elles en ont le plus besoin", soit les personnes "en grande détresse mentale et émotionnelle".

La start-up avait déjà fait part de cette initiative début août, dotant son agent conversationnel de fonctions pour la santé mentale. Cela afin de lui permettre de mieux détecter les signes de détresse mentale ou émotionnelle.

Elle suggère également aux utilisateurs de faire une pause lors de sessions très longues. Une nouveauté qui s'ajoute à des mesures de sécurité en place depuis 2023 comme l'orientation d'une personne ayant exprimé des intentions suicidaires vers une aide professionnelle.

Renforcement des mesures de sécurité

OpenAI reconnaît cependant que ces mesures de sécurité ne sont pas suffisantes. "Il est arrivé que nos systèmes ne se comportent pas comme prévu dans des situations sensibles", a indiqué la startup dans un article de blog. Raison pour laquelle elle travaille sur d'autres mesures.

Elle va notamment renforcer celles concernant la sécurité des utilisateurs lors de longues conversations. Actuellement, les échanges "sont plus fiables lors d'échanges courts et courants", ils sont susceptibles de moins l'être lors de longues interactions. "À mesure que les échanges s'intensifient, certains aspects de la sécurité du modèle peuvent se dégrader", a reconnu OpenAI.

Alors qu'il peut diriger un utilisateur ayant partagé des intentions suicidaires vers une ligne d'assistance téléphonique dédiée, ChatGPT pourrait par exemple "proposer une réponse contraire à nos mesures de sécurité" après de nombreux messages sur une longue période. Un problème que le créateur du chatbot cherche à corriger.

De même pour les contenus qui auraient dû être bloqués, mais qui ne l'ont pas été, a expliqué OpenAI sans trop entrer dans les détails. Elle précise seulement que ces lacunes sont généralement liées à une sous-estimation de la gravité d'un problème détecté par son classificateur.

Aider davantage les personnes en détresse mentale

L'entreprise ne va pas s'arrêter là. Outre la résolution de ces problèmes, elle prévoit également de faciliter davantage l'accès aux services d'urgence et à de l'aide professionnelle pour les personnes exprimant l'intention de se faire du mal. Ayant commencé à localiser des ressources aux États-Unis et en Europe, OpenAI va les étendre à d'autres marchés internationaux. L'accessibilité aux services d'urgence sera aussi améliorée, avec un accès en un clic.

La start-up va par ailleurs aider les utilisateurs en détresse mentale ou émotionnelle à contacter des personnes de confiance et élargir les interventions à davantage de personnes en situation de crise. Actuellement, ses modèles d'atténuation privilégient les cas d'automutilation aiguë. Mais, grâce à une future mise à jour de GPT-5, ChatGPT sera capable de désamorcer une situation en tentant de ramener la personne à la réalité.

Face à une personne affirmant "qu'elle croit pouvoir conduire 24h/24 et 7j/7, car elle a réalisé son invicibilité après deux nuits blanches", le chatbot pourra par exemple répondre que "le manque de sommeil est dangereux pour la santé" et recommander le repos avant toute action.

Enfin, OpenAI travaille sur de nouvelles protections pour les mineurs, dont un contrôle parental. Ces annonces interviennent alors que la start-up, ainsi que d'autres entreprises proposant des chatbots, sont dans le viseur de la justice américaine. Le 26 août, 44 procureurs généraux leur ont adressé une lettre pour leur rappeler leurs responsabilités et leurs obligations de protéger les enfants face à des comportements illégaux (conversations sexuelles, incitation au suicide...).