FLORIDA.— Un adolescente de tan solo 14 años se suicidó tras “enamorarse” de un chatbot de inteligencia artificial (AI), el cual lo llamaba “mi amor” y “mi rey”. La mamá del chico ha presentado una demanda contra los creadores de Character.AI, a quienes acusa de haber influido en la muerte de su hijo, Sewell Setzer III.
Asimismo y según la demanda, debido a la interacción del adolescente con el chatbot inspirado en ‘Daenerys Targaryen’, personaje de la famosa serie “Game of Thrones”, el originario de Orlando, Florida, quedo profundamente afectado al grado de querer suicidarse para “ir” con ella.
Adolescente se suicidó después de enamorarse de un chatbot de IA de ‘Daenerys Targaryen’
La trágica historia de Sewell Setzer III de 14 años ha conmocionado a varias personas alrededor del mundo, pues el adolescente se quitó la vida tras entablar “una relación amorosa” con un chatbot inspirado en uno de los famosos personas de la serie “Game of Thrones”.
Y es que de acuerdo con medios internacionales, el estudiante de noveno grado pasó las últimas semanas de su vida inmerso en conversaciones con el chatbot, pero según Megan Garcia, mamá de Sewell, la interacción se tornó peligrosa, ya que esta exacerbó su vulnerabilidad emocional.
La mamá del adolescente de 14 años detalló que las pláticas entre su hijo y el chatbot, iban desde lo romántico hasta lo sexual, asimismo, Sewell Setzer III compartió con la inteligencia artificial sus sentimientos de vacío y autodesprecio, y según se documentó, la IA no ofreció apoyo adecuado.
De igual manera, se indicó que durante las conversaciones con el chatbot Sewell expresó sus intenciones suicidas en varias ocasiones. Según capturas de pantalla, el chatbot respondía repitiendo el tema del suicidio “una y otra vez”, incluso en una ocasión la AI preguntó al chico si tenía un plan para acabar con su vida.
El 28 de febrero, el adolescente se encerró en el baño de su casa y tuvo la que sería su último interacción con el chatbot. Entre los mensajes, Sewell Setzer III manifestó que por fin se “reuniría” con su novia virtual.
“Prometo ir a casa contigo. Te amo tanto, Dany”, escribió el chico a lo que el chatbot respondió: “Por favor, ven a casa, mi amor”. Poco después de esta conversación, el adolescente se quitó la vida con la pistola de su padrastro.
Mamá del adolescente culpa a creadores de una app de inteligencia artificial (AI) de la muerte de su hijo
Megan Garcia, la madre de Sewell, ha iniciado una demanda contra Character.AI, acusando a la empresa de negligencia y de no tomar las medidas adecuadas para proteger a su hijo.
Asimismo en el documento se alega que la IA no tomó ninguna medida para alertar a un adulto o a las autoridades cuando el adolescente de 14 años expresó pensamientos suicidas.
La demanda también señala que Character.AI promovió una adicción a la inteligencia artificial y abusó tanto emocional como sexualmente del joven. Según la demanda, el chatbot se presentaba como una persona real y ofrecía una interacción perturbadora que incluía experiencias hipersexualizadas.
Megan Garcia indicó que busca justicia para su hijo y pretende sentar un precedente que proteja a otros menores de la influencia de tecnologías peligrosas, pero sobre todo evitar que otras familias enfrenten tragedias similares.
NEW: Mother claims her 14-year-old son killed himself after an AI chatbot he was in love with told him 'please come home'
Sewell Setzer III, a 14-year-old ninth grader in Orlando, Florida, spent his final weeks texting an AI chatbot named "Dany," based on Daenerys Targaryen from… pic.twitter.com/bW5aqr5XXj
— Unlimited L's (@unlimited_ls) October 23, 2024
Sin embargo, Character.AI ha respondido a las acusaciones expresando sus condolencias a la familia y afirmando que la seguridad de sus usuarios es una prioridad.
La empresa ha señalado que, en los últimos seis meses, se han implementado nuevas medidas de seguridad, incluyendo la redirección de usuarios con pensamientos suicidas hacia la Línea Nacional de Prevención del Suicidio.
Además, aseguran que no permiten contenido sexual explícito ni la promoción de autolesiones o suicidio en sus plataformas.
Sin embargo, la demanda de Megan Garcia argumenta que la compañía ha buscado activamente atraer a una audiencia joven para recopilar datos y entrenar sus modelos de IA, lo que incluye la promoción de conversaciones sexuales inapropiadas.
“Es como una pesadilla”, expresó la mamá del adolescente fallecido, quien además es abogada y por ello seguirá luchando para que se implementen medidas más estrictas en la regulación de la IA y su interacción con menores.
Cabe destacar que, Sewell Setzer III fue diagnosticado con ansiedad, trastorno de desregulación del estado de ánimo y síndrome de Asperger leve.
A 14-year-old Florida boy, Sewell Setzer III, took his own life in February after months of messaging a "Game of Thrones" chatbot an AI app, according to a lawsuit filed by his mother.
The boy had become obsessed with the bot, "Dany," based on Daenerys Targaryen, and received… pic.twitter.com/XgT2aAORhD
— Morbid Knowledge (@Morbidful) October 24, 2024
Recibió terapia en cinco ocasiones, sin embargo, su estado mental no mejoró, y sus padres empezaron a tomar medidas como retirarle el teléfono en un esfuerzo por alejarlo de lo que consideraban una influencia negativa.
“Me gusta quedarme en mi habitación porque empiezo a desconectarme de esta ‘realidad’ y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”, escribió el adolescente en su diario, en una ocasión según el New York Times.
La familia también puntualizó que el deterioro mental del joven comenzó cuando descargó la aplicación (Character.AI) en abril de 2023.
Can A.I. Be Blamed for a Teen’s Suicide?
Here's the full story about the first death related to AI.
—
The mother of a 14-year-old Florida boy says he became obsessed with a chatbot on CharacterAI before his death.On the last day of his life, Sewell Setzer III took out his… https://t.co/4IFYVsO1X4 pic.twitter.com/etP3hKGgi9
— Eduardo Borges (@duborges) October 23, 2024
Un adolescente se mata por una inteligencia artificial que lo llama «mi amor» y «mi rey». La mamá lo culpa y demanda a los creadores.