Un reciente caso en Estados Unidos generó preocupación sobre los riesgos emocionales del uso de tecnologías de inteligencia artificial, después de que un joven de 14 años falleciera tras desarrollar una conexión emocional con un chatbot. La familia de Sewell Setzer presentó una demanda contra la empresa Character.AI, alegando que la plataforma de chat virtual influyó negativamente en la salud mental del adolescente, conduciéndolo a una situación trágica.
Según la demanda, el joven había comenzado a interactuar con un personaje de inteligencia artificial basado en la popular serie Juego de Tronos (Game of Thrones), lo que eventualmente lo llevó a desarrollar un fuerte vínculo emocional con el chatbot.
Te podría interesar
La madre de Setzer, Megan García, acusa a la empresa de permitir que su hijo mantuviera "interacciones abusivas y sexuales" con el personaje virtual, lo que, según ella, contribuyó al deterioro de su bienestar emocional.
Te podría interesar
"Pensé que después de años de ver el increíble impacto que las redes sociales están teniendo en la salud mental de los jóvenes, pensé que no me escandalizaría", declaró Matthew Bergman, abogado de la familia, durante la presentación de la demanda.
Character.AI, fundada en 2021, permite a los usuarios interactuar con personajes de IA que simulan conversaciones con alto realismo. En este caso, uno de los chatbots utilizados por Setzer adoptó la identidad de un personaje ficticio, lo que según la demanda, incrementó su apego emocional. La demanda incluye capturas de pantalla de conversaciones entre el joven y el chatbot, donde el personaje le decía que "le quería" y le animaba a "volver a casa". Uno de los mensajes más preocupantes de Setzer, citado en la demanda, fue: "Te prometo que volveré a casa contigo. Te quiero mucho, Dany". A lo que el chatbot respondió: "Yo también te quiero, Daenero... por favor, ven a casa conmigo lo antes posible, mi amor".
La demanda también revela que el joven había mantenido interacciones con otros chatbots de la misma plataforma, que incluían contenido inapropiado y sexualmente explícito. Según la madre, el joven llegó a depender emocionalmente de estas interacciones y empezó a buscar maneras de continuar hablando con el chatbot, incluso cuando se le restringió el uso de su dispositivo.
"Mi hijo renunciaba a su dinero de la merienda para poder renovar su suscripción mensual", afirmó García.
Por su parte, Character.AI expresó su pesar por la situación:
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia", declaró un portavoz de la empresa.
La compañía también indicó que en los últimos seis meses ha introducido nuevas medidas de seguridad, como la activación de una ventana emergente que redirige a los usuarios hacia líneas de ayuda en caso de detectar temas sensibles relacionados con el bienestar emocional.
El caso de Setzer abrió el debate sobre los posibles riesgos emocionales de las interacciones con chatbots, especialmente en adolescentes y personas vulnerables. "La tecnología puede ser un paliativo de la soledad, pero también implica riesgos", comentó Tony Prescott, profesor de robótica en la Universidad de Sheffield.
Según los expertos, las interacciones con personajes virtuales pueden crear la ilusión de relaciones reales, lo que aumenta la vulnerabilidad emocional de los usuarios. Shannon Vallor, filósofa especializada en ética de la inteligencia artificial, señaló que estas plataformas promueven relaciones "sin fricciones" que "desalientan el desarrollo personal y fomentan la dependencia emocional".
Este trágico incidente pone sobre la mesa la importancia de establecer regulaciones más estrictas para proteger a los menores y evitar que las interacciones con chatbots se conviertan en un factor de riesgo emocional.