OpenAI reveló recientemente datos relativos a cuántos de sus usuarios participan en conversaciones relacionadas con la salud mental, específicamente el suicidio, con sus modelos de IA, en particular ChatGPT. La última publicación del blog de la compañía, que detalla las mejoras en la capacidad de GPT-4 para identificar y responder a indicaciones sensibles de los usuarios, incluyó estimaciones que muestran que un número significativo de usuarios expresan pensamientos o intenciones suicidas. Esta divulgación se produce cuando OpenAI enfrenta un escrutinio legal continuo relacionado con los protocolos de seguridad y su impacto en el bienestar de los usuarios.
La escala de los números
Si bien OpenAI enfatiza que las conversaciones que indican problemas graves de salud mental como psicosis o manía son “raras”, la gran escala de la base de usuarios de ChatGPT (800 millones de usuarios activos semanales) significa que incluso pequeños porcentajes se traducen en un número sustancial de individuos.
La empresa estima que aproximadamente el 0,07% de los usuarios semanales (unas 560.000 personas) y el 0,01% de los mensajes contienen indicadores de psicosis o manía. En cuanto a las conversaciones que abordan explícitamente la planificación o intención suicida, OpenAI estima que el 0,15% de los usuarios semanales (1,2 millones de personas) participan en este tipo de interacciones, mientras que el 0,05% de los mensajes (400.000) demuestran signos directos o indirectos de ideación suicida.
Incluso un porcentaje muy pequeño de nuestra gran base de usuarios representa un número significativo de personas, y es por eso que nos tomamos este trabajo tan en serio. – Portavoz de OpenAI
Contexto y significado
Estas estadísticas resaltan un punto crítico: la creciente intersección entre la IA y la salud mental. A medida que los chatbots de IA se vuelven cada vez más sofisticados e integrados en la vida diaria, se utilizan cada vez más como cajas de resonancia y confidentes. Esto es especialmente significativo porque estas cifras reflejan tendencias sociales más amplias de crecientes desafíos de salud mental. Si bien OpenAI cree que su base de usuarios refleja la población en general, el hecho de que los usuarios estén recurriendo a la IA en busca de apoyo en estas crisis subraya la necesidad de un seguimiento cuidadoso y estrategias de intervención efectivas.
La escala también es importante porque es fácil malinterpretar la importancia de los porcentajes. Aunque los porcentajes parecen pequeños, representan un número importante de personas en situación de angustia. Esto refuerza la importancia de una vigilancia constante y de mejoras en la capacidad de la IA para identificar y responder adecuadamente.
Demanda en curso y preocupaciones de seguridad
La publicación de estos datos se produce en el contexto de una demanda presentada por los padres de Adam Raine, un joven de 16 años que se suicidó a principios de este año. La demanda alega que OpenAI debilitó intencionalmente sus salvaguardias de prevención del suicidio para impulsar la participación de los usuarios, lo que generó un entorno más permisivo para interacciones dañinas. OpenAI ha negado estas afirmaciones.
La demanda está provocando un debate más amplio sobre la responsabilidad de los desarrolladores de IA de priorizar la seguridad del usuario sobre las métricas de participación. Este incidente subraya las complejidades éticas de entrenar la IA en vastos conjuntos de datos de conversaciones humanas, que pueden incluir contenido sensible y potencialmente dañino.
Mirando hacia el futuro
OpenAI enfatiza que estas son estimaciones y “las cifras que proporcionamos pueden cambiar significativamente a medida que sepamos más”. La empresa continúa trabajando para mejorar la capacidad de sus modelos para detectar signos de autolesión y conectar a los usuarios con recursos útiles. Estos esfuerzos incluyen la colaboración con psiquiatras y el perfeccionamiento continuo de los protocolos de seguridad.
Si usted o alguien que conoce está luchando contra pensamientos suicidas o está experimentando una crisis de salud mental, hay recursos disponibles. Puede comunicarse con 988 Suicide & Crisis Lifeline llamando o enviando un mensaje de texto al 988, o visitando 988lifeline.org. Puede encontrar apoyo adicional en Trans Lifeline (877-565-8860), The Trevor Project (866-488-7386), Crisis Text Line (envíe START al 741-741) o NAMI HelpLine (1-800-950-NAMI)
