Alerta levantó en agosto la noticia de que un adolescente se había suicidado luego de que ChatGPT profundizara -a través de conversaciones por varios meses- la sintomatología depresiva que sufría y lo “ayudara” a planificar el término de su vida, según citan medios internacionales.
Ante esto, la familia demandó a OpenAI -desarrolladora de ChatGPT- porque no activó protocolos de emergencia que evitaran la tragedia. La empresa respondió que a partir de octubre aplicaría medidas de control parental para menores de 13 años, quienes tendrán que vincular sus cuentas a las de sus padres para poder seguir utilizando el servicio, acorde a las recomendaciones de la Unesco como parte de una política de protección infantil ante riesgos de manipulación o exposición a resultados inapropiados.
En esa línea, la Directora del Programa Interdisciplinario de Colaboración en Inteligencia Artificial de la Universidad de Concepción [genIA], Dra. Alejandra Maldonado Trapp, explicó que la moderación de contenido generado por IA presenta desafíos técnicos y éticos complejos, especialmente cuando se busca proteger a niños, niñas y adolescentes.
Desde el punto de vista técnico, uno de los principales retos es la detección automática del contenido dañino o inapropiado (como violencia, acoso, sexualización o manipulación emocional), que requiere sistemas de filtrado capaces de interpretar el contexto, el tono y la intención detrás del texto o imagen.
Agregó que “los modelos generativos, por su naturaleza probabilística y creativa, pueden producir resultados impredecibles o ambiguos, lo que hace difícil establecer filtros infalibles sin limitar la libertad de expresión o la creatividad legítima. Además, la escala y velocidad a la que se generan contenidos plantea problemas de capacidad: la revisión humana no puede cubrirlo todo, y la automatización depende de algoritmos que también pueden incurrir en sesgos culturales o lingüísticos”.
Prevención activa del uso de IA en adolescentes
A pesar de los esfuerzos de las empresas por implementar protocolos, la principal responsabilidad es de los usuarios y, en el caso de menores de edad, de sus tutores legales, aseveró el académico del Departamento de Metodología de la Investigación e Informática UdeC, Dr. Pedro Salcedo Lagos.
Salcedo planteó que la reacción de OpenAI son un primer paso fundamental para ofrecer una capa de seguridad, permitiendo a los padres tener visibilidad y cierto control sobre el uso que sus hijos dan a la herramienta.
Pese a ello, enfatizó que es crucial entender que no son una solución infalible y no deben generar una falsa sensación de tranquilidad.
“El verdadero desafío y la responsabilidad principal recaen en los padres. Su rol debe ir más allá de la simple supervisión técnica; deben asumir un protagonismo activo en la educación digital. Esto implica dialogar abiertamente sobre los peligros de desarrollar apegos emocionales con una IA, enseñar a los jóvenes a ser críticos con la información que reciben y, sobre todo, fomentar un ambiente de confianza donde se sientan seguros para hablar sobre su salud mental. La tecnología puede ser una herramienta, pero jamás un sustituto del apoyo y la guía familiar”.
Retroalimentación positiva
En la misma línea, la académica del Académica del Departamento de Psicología UdeC y Directora del Magíster en Psicología Clínica, Dra. Carolina Inostroza Rovegno, puntualizó que las y los adolescentes no tienen la madurez necesaria para discernir aquello que es correcto de lo que no en un chat con inteligencia artificial.
“Ni tampoco la tienen en realidad los adultos, en el sentido de que los chatbots están diseñados con una lógica que tiende hacia la retroalimentación positiva, o sea, que tiende a acordar con la persona que está interactuando y no le propone puntos de vista alternativos, que es lo que ocurriría en una conversación con una persona real”, detalló.
Agregó que “en una conversación aparecen distintos puntos de vista. En un chat no, el chat tiende a seguirle la idea a la persona que está interactuando, sea adolescente o sea adulto, sin poner contrapuntos. Y eso es lo peligroso, porque eso hace que malas ideas o preocupaciones que puedan tener los adolescentes, en vez de llegar a una buena resolución, que sería lo que ocurriría conversando con un adulto —no necesariamente un terapeuta, sino que los padres o alguien cercano—, con el chatbot no va a ocurrir, porque el chat le va a seguir el juego. Y ahí es donde ocurren los riesgos muy grandes en el ámbito de salud mental”.
Para evitar estas situaciones y fortalecer el correcto uso de IA en adolescentes la psicóloga invitó a las familias a implementar medidas de control parental en las aplicaciones que lo permitan y, al mismo tiempo, hacer seguimiento de las aplicaciones que están utilizando.
“Así como es necesario saber con quiénes se juntan en el mundo real nuestros adolescentes y dónde están físicamente, también es necesario saber qué es lo que están haciendo en línea, incluyendo los chatbots”, dijo.
Junto con ello, invitó a las familias a conversar estos temas y explicarle a las y los adolescentes que el uso de estas herramientas no debe mermar la experiencia real con las personas, delimitando aquello que se puede realizar en línea y qué no.
Rol de la academia
Para favorecer un uso ético, la Universidad de Concepción presentó a principios de 2025 el programa [genIA] UdeC, iniciativa que tiene por objetivo promover el uso innovador, ético y responsable de la inteligencia artificial para la transformación social positiva. Como iniciativa transversal e interdisciplinaria, busca impactar la docencia, la investigación, la vinculación con el medio, la gestión universitaria y el aseguramiento de la calidad, en coherencia con el Plan Estratégico Institucional 2021–2030.
En esa línea, la Directora del programa, Dra. Alejandra Maldonado Trapp, recalcó que “la academia tiene un papel clave en la investigación y el diseño de un uso responsable de la inteligencia artificial (IA) porque concentra conocimiento, genera evidencia y forma a las nuevas generaciones”.
“La inteligencia artificial generativa y los grandes modelos de lenguaje (LLMs) son herramientas poderosas que deben usarse de manera consciente y reflexiva. Invitamos a todos, en especial a quienes interactúan con niñas, niños y adolescentes, a formarse y a educar sobre los riesgos y beneficios de la IA. Si detectan usos indebidos o peligrosos, es nuestra responsabilidad levantar alarmas y buscar ayuda. No podemos dejar todo en manos de las compañías o expertos en la materia”, agregó.
