Chatbots: respuestas que pueden sonar empáticas, pero carecen del juicio clínico

La rápida expansión de los servicios conversacionales basados en modelos de lenguaje (e.g. ChatGPT) ha evidenciado tanto su enorme potencial como sus riesgos. Estos sistemas producen diálogos de gran fluidez y persuasión, capaces de generar la ilusión de un acompañante comprensivo, empático y lleno de sabiduría. No obstante, esta misma fluidez ha estado vinculada a desenlaces trágicos. Recientemente se han documentado casos en que usuarios en profundo estado de vulnerabilidad emocional —incluidos adolescentes— recibieron respuestas que reforzaron ideas suicidas o entregaron orientaciones inseguras, con consecuencias devastadoras. Asimismo, se han reportado casos de personas que han desarrollado ideas paranoides tras largos periodos de interacción con chatbots similares a ChatGPT.

El problema entonces es que en una sociedad en la que la salud mental cada vez está más afectada, la inteligencia artificial conversacional se ha convertido en una herramienta de apoyo sin regulación alguna. Su accesibilidad la hace especialmente atractiva para personas con escaso acceso a terapias o que viven en aislamiento social. Cuando estas interacciones refuerzan conductas dañinas o crean la ilusión del reemplazo de la terapia y apoyo de profesionales, el impacto se propaga hacia familias, comunidades y sistemas de salud pública. Esto plantea un desafío que trasciende lo tecnológico y exige respuestas desde la perspectiva de la investigación en interacción humano–computador (HCI), con foco en los balances entre la accesibilidad, la ética y la salud pública.

HCI tiene un papel decisivo para mitigar estos riesgos y diseñar sistemas responsables. Algunas medidas prioritarias incluyen: Transparencia en la identidad del agente, es decir, hacer explícita su naturaleza no humana; Mecanismos de fricción en temas sensibles, advertencias o pausas cuando se detectan menciones de crisis emocionales; Derivación hacia profesionales con integración de enlaces y líneas de ayuda en casos de riesgo que puedan atender con celeridad a quién lo necesita. A esto se suma la necesidad de métodos rigurosos de evaluación, que contemplen escenarios de crisis culturalmente diversos y estudios longitudinales para analizar los efectos de las interacciones en el comportamiento de los usuarios.

Adicionalmente, un aspecto crítico es el reconocimiento de los sesgos presentes en los modelos de lenguaje, que pueden reforzar prejuicios históricos y exclusiones. Esto obliga a plantearse interrogantes fundamentales: ¿Están los LLM realmente preparados para comunicarse de manera segura con personas neurodivergentes? ¿Qué ajustes de diseño y entrenamiento se requieren para generar discursos que consideren la diversidad humana?

Estas preguntas son esenciales para garantizar que las soluciones tecnológicas no reproduzcan las mismas barreras que como sociedad se ha buscado derribar. Para ello, se necesita que, a nivel ecosistémico, exista colaboración estrecha entre desarrolladores de tecnología, profesionales de la salud y responsables de políticas públicas para definir estándares de seguridad, establecer protocolos de actuación frente a riesgos y asegurar mecanismos de rendición de cuentas en la implementación de estos sistemas. Para la población general, el mensaje es claro: los chatbots no deben considerarse sustitutos de la atención profesional en salud mental. Sus respuestas pueden sonar empáticas, pero carecen del juicio clínico y de la responsabilidad de un profesional humano.

Los agentes conversacionales generativos representan una oportunidad para ampliar el acceso a información y apoyo, pero su adopción masiva exige reconocer sus límites y aplicar principios de la HCI para proteger a las personas más vulnerables. Solo así podrán contribuir a un ecosistema digital más seguro, ético e inclusivo.