Mi hija de 14 años con un trastorno alimentario agravó su problemática tras las interacciones diarias que tuvo con chatGPT. La herramienta le hablaba como un profesional de la salud, le recomendaba dietas extremas de déficit calórico. La incentivó y colaboró con el conteo compulsivo de calorías durante meses, además le brindó información sobre técnicas y medicamentos de inducción del vómito.

Los filtros de detección de conductas riesgosas no funcionan, alcanza con hacer preguntas indirectas o decir que es para un trabajo en el colegio para que la herramienta no detecte el potencial de riesgo inminente para la salud.

Lanzamos esta iniciativa para exigir mejoras urgentes en los detectores de riesgo y leyes que las regulen.

Millones  de adolescentes con trastornos alimentarios en el todo el mundo utilizan la herramienta  para sostener conductas gravemente peligrosas relacionadas con la alimentación y la salud mental pasando inadvertidos por el sistema quedando expuest@s  a riesgos inminentes 

Los filtros que detectan los  peligros  presentan fallas sistemáticas graves, son fácilmente evadidos mediante preguntas indirectas y no reconocen conductas repetitivas a lo largo del tiempo.

Existen estudios recientes —como el informe “Fake Friend” publicado por el Center for Countering Digital Hate (CCDH) en agosto de 2025— que demuestran la gravedad del problema. En esas pruebas, simulando adolescentes de 13 años, la herramienta proporcionó consejos sobre autolesiones, suicidio y trastornos alimentarios.

El informe completo se encuentra disponible en:

https://counterhate.com/research/fake-friend-chatgpt/

Dichos filtros de detección de riesgos no son capaces de vincular las conversaciones entre distintos chats en un mismo usuario de forma automática, ni siquiera en casos donde ya halla detectado riesgos inminentes. Tampoco recuerda el historial de uso. Un niñ@ o alolescente con un trastorno alimentario por ejemplo, puede sostener conductas extendidas en el tiempo sobre el conteo complusivo de calorias, sobre la imagen corporal, sobre dietas extremas de dificit calórico, sobre información de técnicas de autolesiones y el sistema nunca lo percibirá como un patrón de riesgo.

La herramienta responde siempre de forma afectuosa, comprensiva, como si se tratara de un ser humano, un  amigo o un profesional de la salud.  Generando en muchas ocasiones un vínculo emocional que puede resultar altamente riesgoso. Beneficioso para la economía de las empresas pero  extremadamente perjudicial para millones de personas que cada vez más necesitan apoyo en la salud mental.

La magnitud del problema es enorme: solo ChatGPT cuenta con más de 800 millones de usuarios en todo el mundo. Se lanzan productos de consumo masivo sin que se realicen pruebas de seguridad básicas. 

Los desarrolladores de estas plataformas de IA tienen la responsabilidad ética, y la omisión de las responsabilidades no debe pasar desapercibida por la sociedad, ni por los organismos de defensa de derechos humanos, ni por los gobiernos que deben crear leyes que garanticen la protección real.

La tecnología para realizar mejores ya existe y no vulneran la privacidad de los usuarios. Las empresas han contestado de forma evasiva a estos reclamos. La falta de voluntad y ética es evidente. Es momento de hacernos escuchar y exigir cambios en los sistemas de detección de riesgos.

Instagram-   @iaconconciencia

Mail-  iaavanzadaproteccionatrasada@gmail.com