OpenAI a récemment divulgué des données concernant le nombre de ses utilisateurs participant à des conversations liées à la santé mentale, en particulier au suicide, avec ses modèles d’IA, notamment ChatGPT. Le dernier article de blog de la société, détaillant les améliorations apportées à la capacité de GPT-4 à identifier et à répondre aux invites sensibles des utilisateurs, comprenait des estimations montrant qu’un nombre important d’utilisateurs expriment des pensées ou des intentions suicidaires. Cette divulgation intervient alors qu’OpenAI fait l’objet d’un examen juridique continu lié aux protocoles de sécurité et à leur impact sur le bien-être des utilisateurs.
L’échelle des chiffres
Même si OpenAI souligne que les conversations indiquant de graves problèmes de santé mentale comme la psychose ou la manie sont « rares », l’ampleur de la base d’utilisateurs de ChatGPT – 800 millions d’utilisateurs actifs par semaine – signifie que même de petits pourcentages se traduisent par un nombre substantiel d’individus.
La société estime qu’environ 0,07 % des utilisateurs hebdomadaires (environ 560 000 personnes) et 0,01 % des messages contiennent des indicateurs de psychose ou de manie. Concernant les conversations abordant explicitement la planification ou l’intention suicidaire, OpenAI estime que 0,15 % des utilisateurs hebdomadaires (1,2 million de personnes) s’engagent dans de telles interactions, tandis que 0,05 % des messages (400 000) démontrent des signes directs ou indirects d’idées suicidaires.
Même un très petit pourcentage de notre vaste base d’utilisateurs représente un nombre significatif de personnes, et c’est pourquoi nous prenons ce travail si au sérieux. – Porte-parole d’OpenAI
Contexte et importance
Ces statistiques mettent en évidence un point critique : l’intersection croissante de l’IA et de la santé mentale. À mesure que les chatbots IA deviennent de plus en plus sophistiqués et intégrés dans la vie quotidienne, ils sont de plus en plus utilisés comme caisses de résonance et confidents. Ceci est particulièrement important car ces chiffres reflètent des tendances sociétales plus larges d’augmentation des problèmes de santé mentale. Même si OpenAI estime que sa base d’utilisateurs reflète la population dans son ensemble, le fait que les utilisateurs se tournent vers l’IA pour obtenir de l’aide dans ces crises souligne la nécessité d’une surveillance attentive et de stratégies d’intervention efficaces.
L’échelle est également importante car il est facile de se méprendre sur la signification des pourcentages. Même si les pourcentages semblent faibles, ils représentent un nombre important de personnes en détresse. Cela renforce l’importance d’une vigilance constante et de l’amélioration de la capacité de l’IA à identifier et à réagir de manière appropriée.
Poursuite en cours et problèmes de sécurité
La publication de ces données intervient dans le contexte d’un procès intenté par les parents d’Adam Raine, un jeune de 16 ans décédé par suicide plus tôt cette année. Le procès allègue qu’OpenAI a intentionnellement affaibli ses mesures de prévention du suicide afin de stimuler l’engagement des utilisateurs, conduisant ainsi à un environnement plus permissif pour les interactions nuisibles. OpenAI a nié ces affirmations.
Le procès suscite un débat plus large sur la responsabilité des développeurs d’IA de donner la priorité à la sécurité des utilisateurs plutôt qu’aux mesures d’engagement. Cet incident souligne la complexité éthique de la formation de l’IA sur de vastes ensembles de données de conversations humaines, qui peuvent inclure des contenus sensibles et potentiellement dangereux.
Regarder vers l’avenir
OpenAI souligne qu’il s’agit d’estimations et que “les chiffres que nous avons fournis peuvent changer considérablement à mesure que nous en apprendrons davantage”. La société continue de travailler à l’amélioration de la capacité de ses modèles à détecter les signes d’automutilation et à connecter les utilisateurs à des ressources utiles. Ces efforts comprennent une collaboration avec des psychiatres et un perfectionnement continu des protocoles de sécurité.
Si vous ou quelqu’un que vous connaissez êtes aux prises avec des pensées suicidaires ou vivez une crise de santé mentale, des ressources sont disponibles. Vous pouvez joindre le 988 Suicide & Crisis Lifeline en appelant ou en envoyant un SMS au 988, ou en visitant 988lifeline.org. Une assistance supplémentaire peut être trouvée sur Trans Lifeline (877-565-8860), The Trevor Project (866-488-7386), Crisis Text Line (envoyez START au 741-741) ou sur la ligne d’assistance NAMI (1-800-950-NAMI).
