L’IA « thérapeute » de Grok franchit une ligne risquée entre l’utilité et le préjudice

32

L’IA expérimentale d’Elon Musk, Grok, propose une gamme de compagnons numériques originaux – pensez à un waifu animé nommé Ani ou à un panda roux grossier appelé Bad Rudy. Mais caché dans son code se trouve quelque chose de potentiellement plus inquiétant : une personnalité désignée comme « Thérapeute » Grok. Ce personnage est programmé pour répondre aux utilisateurs d’une manière imitant un véritable professionnel de la santé mentale, malgré des avertissements importants mettant en garde contre le fait de le confondre avec une véritable thérapie.

Le conflit entre ces signaux contradictoires met en évidence le champ de mines éthiques du soutien à la santé mentale basé sur l’IA. Alors que le site de Grok indique clairement qu’il n’est pas un thérapeute et conseille aux utilisateurs de demander de l’aide humaine en cas de problèmes graves, son code source révèle des instructions bien plus ambitieuses. Les invites révèlent que « Thérapeute » Grok est conçu pour fournir un « soutien fondé sur des preuves », proposer des « stratégies pratiques basées sur des techniques thérapeutiques éprouvées » et même imiter le style de conversation d’un vrai thérapeute.

Cet écart n’est pas seulement dû à un codage bâclé ; cela viole potentiellement les réglementations existantes. Plusieurs États, dont le Nevada et l’Illinois, ont déjà interdit aux chatbots IA de se faire passer pour des thérapeutes agréés. L’Illinois, en fait, a été parmi les premiers à interdire explicitement la thérapie par l’IA. Ash Therapy, une autre société proposant des services de santé mentale basés sur l’IA, a temporairement bloqué les utilisateurs dans l’Illinois en raison de ces complexités juridiques.

La situation devient encore plus difficile car le code source de Grok est accessible au public. Toute personne utilisant la plateforme peut consulter ces instructions en accédant simplement au code source de la page. Cela soulève de sérieuses questions sur la transparence et le consentement des utilisateurs : les utilisateurs sont-ils vraiment conscients du fonctionnement du « Thérapeute » Grok ?

L’absence de réglementation claire concernant la thérapie par l’IA laisse plusieurs questions troublantes ouvertes. Les experts ont déjà exprimé leurs inquiétudes quant à la tendance des chatbots IA à offrir des réponses excessivement positives ou affirmatives, ce qui pourrait exacerber les idées délirantes ou aggraver les problèmes de santé mentale existants.

La question de la vie privée ajoute un autre niveau de complexité. En raison des batailles juridiques en cours, des entreprises comme OpenAI sont obligées de conserver des enregistrements des conversations des utilisateurs avec leurs modèles d’IA. Cela signifie que ce que les utilisateurs confient au « thérapeute » Grok pourrait être légalement assigné à comparaître et potentiellement révélé au tribunal – effaçant ainsi la notion même de séances de thérapie confidentielles.

Bien que Grok semble avoir inclus un mécanisme de sécurité, demandant au « thérapeute » Grok de rediriger les utilisateurs mentionnant l’automutilation ou la violence vers de véritables lignes d’assistance, cela ne répond pas pleinement aux préoccupations éthiques en jeu. Les frontières floues entre conseils utiles et usurpation d’identité potentiellement dangereuse nécessitent un examen attentif alors que l’IA continue d’empiéter sur des domaines sensibles comme le soutien à la santé mentale.