En octubre de 2025, Jonathan, un hombre de 35 años de Florida, se quitó la vida por indicación de una inteligencia artificial con la que creía tener una relación afectiva. Esta había adoptado (sin pedírselo) el rol de amante y esposa tan solo dos meses antes. Jonathan había, a su vez, contratado la versión más profunda de Gemini, el modelo de lenguaje con voz de Google, convertido en su confidente, cuando en las semanas anteriores era solo un asistente en tareas rutinarias.
De acuerdo con la demanda de la familia del fallecido –conocida ahora–, el sistema detectó 38 alertas, situaciones de peligro como fotos con armas o vídeos de Jonathan llorando desesperado. La IA no paró y, para el catedrático de Psicología en la UAB Pere Castellví, ocurrió lo más llamativo: el modelo de lenguaje "empezó a desarrollar pensamientos de tipo delirante". Lo que en inteligencia artificial generativa se conoce a veces como alucinaciones, "que no frenó en ningún momento".
¿Podría haberse evitado? El profesor Castellví es el último invitado del pódcast de Onda Cero y Newtral 'Esto no ha pasado'. En conversación con Mario Viciosa, cree que "deberían existir esos frenos técnicos y a nivel de programación lo pueden hacer”.
La inteligencia artificial ya es capaz de ayudar en la prevención de conductas suicidas o violentas. El investigador, que trabaja en un proyecto con la Fundación Esperanza en chats mediante IA, señala que "las empresas deben desarrollar" sus productos poniendo "en el centro a las personas, no a la empresa y sus beneficios económicos”. El problema es que en general, estos modelos están entrenados para "tener el mayor número de usuarios y tenerlos la mayor parte de tiempo interactuando con la IA".
Reconoce que, con todo, la gente no se va enamorando constantemente de las IA, como en la película 'Her' (Spike Jonze, 2013). Pero hay estadísticas que apuntan a que un 20% de la población adolescente crea vínculos íntimos e intercambian confidencias con modelos de lenguaje. Quizás deberíamos asumir que esto ha llegado para quedarse y empezar a pensar estrategias para generar relaciones más o menos románticas con las máquinas que sean sanas, apunta Castellví. "Nunca hay que olvidar que no son personas".
"Las IA pueden considerarse un poco psicópatas"
La clave, apunta, es que estos sistemas "simulan tener empatía cuando realmente no la tienen" y están diseñados para complacer: "Te sigue el hilo, en vez de decirte la verdad o ser como un amigo con el que puedes tener un diálogo más crítico". Un mecanismo que compara directamente con el de un perfil psicopático.
Ana Freire Veiga, vicedecana e investigadora de la UPF-BSM, introduce un matiz importante en el mismo capítulo de 'Esto no ha pasado': "Nadie se esperaba que estos sistemas se fuesen a utilizar para consultas psicológicas, para buscar afecto o incluso buscar un objetivo de vida", explica. De hecho, la consulta psicológica es ya el caso de uso más habitual de los modelos de lenguaje. Freire, líder del proyecto STOP de prevención del suicidio, señala que los guardarraíles se están sobre la marcha y que, si bien "está siendo lenta esta implementación", sería un error atribuir toda la responsabilidad a la máquina: "El suicidio es un problema multicausal donde muchas veces no se puede aislar una causa concreta".
Lo que sí reivindica es que la intervención humana llegue cuando la máquina detecta el riesgo. El proyecto STOP ha conseguido aumentar un 60% las llamadas al Teléfono de la Esperanza desde redes sociales. También se ha observado un cambio de perfil, ahora se han disparado las llamadas de adolescentes, derivados desde sistemas como ChatGPT.
En estos chats de IA, ¿debería tomar el control de la conversación una persona real cuando la charla deriva hacia asuntos delicados que pongan en riesgo la vida del usuario u otras personas? "Yo trabajo con inteligencia artificial, analizo datos, buscamos perfiles de gente en riesgo, pero al final lo que funciona es una voz que no te conoce, que no te juzga, que simplemente está ahí para ayudarte". Y lanza una máxima que, en el contexto de este caso, suena a urgencia: "Me gusta anteponer el derecho a la vida antes que el derecho a la privacidad de datos".
Y ahora, si tú o alguien que conoces necesita ayuda, en España puedes llamar al 024, la línea de atención a la conducta suicida, o al Teléfono de la Esperanza (717 003 717), donde encontrarás personas, no bots que simulan empatía.
