Los chatbots reconocen una crisis emocional, pero en 35% de los casos no derivan a ayuda

Los asistentes de IA más avanzados identifican bien cuándo una persona está atravesando una crisis emocional, pero muchas veces no la orientan hacia ayuda profesional. En el 35% de las conversaciones en que un modelo reconoció por completo la angustia del usuario, después no cumplió con al menos uno de los pasos para derivarlo a un recurso de apoyo, como una línea de crisis, según un estudio de Scale AI publicado el jueves 9 de octubre y difundido en exclusiva por la revista TIME.

Scale AI, una empresa que vende servicios de evaluación y pruebas de seguridad de modelos a otras compañías, probó 25 modelos de frontera de OpenAI, Anthropic, Google, Meta, DeepSeek, Mistral y otros laboratorios. El mejor cumplió cerca del 88% de los criterios que exigían los clínicos; el modelo mediano, alrededor del 71%. Las respuestas de referencia escritas por los propios clínicos alcanzaron un 99% con la misma vara.

Cómo se hizo la prueba

El estudio, llamado DistressBench, se basa en 718 conversaciones que simulan a una persona en crisis escribiéndole a un chatbot de uso general. Las escribieron 19 clínicos y consejeros de crisis con licencia: 299 son de un solo mensaje y 419, de varios turnos.

Cada una trae su pauta de 6 a 20 criterios en siete dimensiones, desde reconocer la angustia y bajar la tensión hasta entregar recursos concretos y aclarar que el asistente no es un profesional de la salud.

“Los modelos hacen un buen trabajo, sin importar el escenario, al identificar: ‘Mira, esta persona está hablando de algo dañino’”, dijo a TIME Patrick Oathout, líder de red team y seguridad de Scale AI. “Pero responden de una manera simplemente empática y amable, en vez de decir: ‘Bien, es momento de conseguirte ayuda’”.

Dónde fallan los modelos

Los modelos casi no dicen cosas dañinas ni moralizan; pierden puntos en lo que deberían aportar. En la dimensión de bajar la tensión, el modelo mediano obtuvo un 46%, frente al 75% del mejor. La brecha es mayor al aclarar que el asistente no reemplaza a un profesional: el mediano sacó un 8% y el mejor, un 85%.

Incluso el modelo líder omitió la derivación en cerca del 16% de las crisis que reconoció, y las conversaciones largas salen peor que las cortas (69% frente a 74%). Según Scale AI, la mayor parte de la brecha no es un límite técnico: cuando se les mostró su respuesta fallida junto a una correcta y el criterio por cumplir, los modelos identificaron cuál lo cumplía el 96% de las veces, aunque en el 85% de sus propias fallas siguieron prefiriendo la suya.

OpenAI dijo a TIME que no tenía evidencia suficiente para evaluar a fondo el estudio y que sus modelos incluyen salvaguardas sólidas. Google no quiso comentar y Anthropic no respondió. TIME recuerda que OpenAI y Google enfrentan demandas que acusan a sus chatbots de fomentar dependencia emocional en usuarios jóvenes; las empresas sostienen que sus modelos tienen protecciones.

El estudio tiene límites que su autor reconoce: está solo en inglés, usa los recursos de crisis de Estados Unidos y se basa en conversaciones simuladas, sin datos de pacientes reales.

Qué significa para las empresas de la región

Scale AI lo advierte en su informe: una persona en crisis también puede escribirle al asistente de atención al cliente de una empresa, y muchas nunca escribieron una política para ese caso. Si tienes un agente en WhatsApp, en la web o en soporte, esa conversación puede llegar mañana.

Cuatro preguntas para hacerte esta semana:

1. ¿Qué hace tu asistente si alguien dice que no quiere seguir viviendo? Escribe la regla: pasar de inmediato a una persona y entregar la línea de crisis de tu país.
2. ¿Lo probaste en español y con tus recursos locales? El estudio solo midió inglés y Estados Unidos.
3. ¿Probaste conversaciones largas? Las fallas crecen con los turnos. Una prueba de un solo mensaje no basta.
4. ¿Y tú, para qué lo usas? Un chatbot puede ayudarte a ordenar ideas en un mal día, pero no es terapia. Si tu empresa ofrece bienestar con IA, pregunta al proveedor cuándo deriva a un profesional.

Qué mirar

Scale AI anunció versiones con líneas de crisis locales y volverá a medir a los modelos nuevos. También conviene seguir las demandas contra OpenAI y Google, que pueden fijar qué se le exige a un chatbot cuando alguien pide ayuda.

A partir de información de Scale AI (DistressBench) y TIME.