A OpenAI divulgou recentemente dados sobre quantos de seus usuários se envolvem em conversas relacionadas à saúde mental, especificamente suicídio, com seus modelos de IA, notadamente o ChatGPT. A última postagem no blog da empresa, detalhando melhorias na capacidade do GPT-4 de identificar e responder a solicitações confidenciais do usuário, incluiu estimativas que mostram que um número significativo de usuários expressa pensamentos ou intenções suicidas. Esta divulgação ocorre no momento em que a OpenAI enfrenta um escrutínio jurídico contínuo relacionado aos protocolos de segurança e seu impacto no bem-estar do usuário.
A Escala dos Números
Embora a OpenAI enfatize que as conversas que indicam sérios problemas de saúde mental, como psicose ou mania, são “raras”, a enorme escala da base de usuários do ChatGPT – 800 milhões de usuários ativos semanais – significa que mesmo pequenas porcentagens se traduzem em um número substancial de indivíduos.
A empresa estima que aproximadamente 0,07% dos usuários semanais (cerca de 560 mil pessoas) e 0,01% das mensagens contêm indicadores de psicose ou mania. Em relação às conversas que abordam explicitamente o planeamento ou intenção suicida, a OpenAI estima que 0,15% dos utilizadores semanais (1,2 milhões de pessoas) se envolvem em tais interações, enquanto 0,05% das mensagens (400.000) demonstram sinais diretos ou indiretos de ideação suicida.
Mesmo uma percentagem muito pequena da nossa grande base de utilizadores representa um número significativo de pessoas, e é por isso que levamos este trabalho tão a sério. – Porta-voz da OpenAI
Contexto e significado
Estas estatísticas destacam um ponto crítico: a crescente intersecção entre IA e saúde mental. À medida que os chatbots de IA se tornam cada vez mais sofisticados e integrados na vida quotidiana, são cada vez mais utilizados como caixas de ressonância e confidentes. Isto é especialmente significativo porque estes números refletem tendências sociais mais amplas de crescentes desafios de saúde mental. Embora a OpenAI acredite que a sua base de utilizadores reflete a população em geral, o facto de os utilizadores recorrerem à IA para apoio nestas crises sublinha a necessidade de uma monitorização cuidadosa e de estratégias de intervenção eficazes.
A escala também é importante porque é fácil interpretar mal a importância das porcentagens. Mesmo que as percentagens sejam aparentemente pequenas, representam um número significativo de pessoas em perigo. Isto reforça a importância da vigilância constante e de melhorias na capacidade da IA de identificar e responder adequadamente.
Processo em andamento e preocupações de segurança
A divulgação desses dados ocorre tendo como pano de fundo uma ação judicial movida pelos pais de Adam Raine, um jovem de 16 anos que morreu por suicídio no início deste ano. O processo alega que a OpenAI enfraqueceu intencionalmente as suas salvaguardas de prevenção do suicídio, a fim de aumentar o envolvimento dos utilizadores, levando a um ambiente mais permissivo para interações prejudiciais. OpenAI negou essas alegações.
O processo está provocando um debate mais amplo sobre a responsabilidade dos desenvolvedores de IA de priorizar a segurança do usuário em detrimento das métricas de engajamento. Este incidente sublinha as complexidades éticas do treino da IA em vastos conjuntos de dados de conversação humana, que podem incluir conteúdo sensível e potencialmente prejudicial.
Olhando para o futuro
A OpenAI enfatiza que estas são estimativas e “os números que fornecemos podem mudar significativamente à medida que aprendemos mais”. A empresa continua trabalhando para melhorar a capacidade de seus modelos de detectar sinais de automutilação e conectar os usuários com recursos úteis. Esses esforços incluem a colaboração com psiquiatras e o refinamento contínuo dos protocolos de segurança.
Se você ou alguém que você conhece está lutando contra pensamentos suicidas ou passando por uma crise de saúde mental, há recursos disponíveis. Você pode entrar em contato com o 988 Suicide & Crisis Lifeline ligando ou enviando uma mensagem de texto para 988, ou visitando 988lifeline.org. Suporte adicional pode ser encontrado em Trans Lifeline (877-565-8860), The Trevor Project (866-488-7386), Crisis Text Line (envie uma mensagem de texto START para 741-741) ou NAMI HelpLine (1-800-950-NAMI)
