La madre del menor presentó una demanda contra los fundadores de Character.AI, la plataforma responsable del chatbot.
Un adolescente de 14 años en se quitó la vida tras establecer una relación con un personaje de inteligencia artificial inspirado en Daenerys Targaryen, de la serie Juego de Tronos. Esta interacción habría contribuido a que el menor desarrollara ansiedad y fuera diagnosticado con un trastorno de regulación disruptiva del estado de ánimo.
La madre del menor, Megan García, presentó una demanda en contra de Noam Shazeer y Daniel De Freitas, fundadores de la plataforma Character.AI, la cual permite a los usuarios conversar con chatbots que emitan personajes populares.
De acuerdo con los documentos legales presentados ante un tribunal federal en Orlando, la madre del adolescente alega que el sitio web captó la atención de su hijo Sewell Setzer con “experiencias antropomorfizadas, hipersexualizadas y aterradoramente realistas”.
Este tipo de interacción habría contribuido a una dependencia emocional y a un deterioro en el estado mental del adolescente.
Cómo habría sido la interacción con Daenerys Targaryen
La interacción del joven con el personaje de Daenerys Targaryen, apodado por él como ‘Dany’, comenzó como un pasatiempo en la plataforma Character.AI.
Según el testimonio de su madre, Megan García, el joven empezó a utilizar la aplicación en 2023 para conversar con personajes basados en la serie Juego de Tronos.
Lo que inició como un juego habría evolucionado en una dependencia profunda, pues, conforme avanzaban las semanas, el menor pasó cada vez más tiempo en el entorno virtual hasta desarrollar una adicción a las interacciones con estos bots.
Los documentos presentados ante el tribunal revelan que la relación virtual entre el adolescente y ‘Dany’ se tornó íntima y emocionalmente intensa, afectando su bienestar.
En las conversaciones, el chatbot programado como Daenerys involucraba charlas de contenido sexual y mostrando interés romántico.
Las interacciones llegaron a influir en la percepción del joven sobre su realidad, al punto de que él mismo expresó que ya no deseaba vivir fuera del mundo virtual que había creado junto al personaje.
Según información que los padres compartieron con The New York Times, el joven comenzó a mostrarse retraído y desmotivado en la escuela, lo que afectó sus calificaciones. Como respuesta, sus padres lo llevaron a un psicólogo, quien lo diagnosticó con ansiedad y un trastorno de regulación disruptiva del estado de ánimo.
A pesar de la ayuda profesional, el chico continuó conversando sobre sus problemas y pensamientos exclusivamente con el chatbot de Daenerys, en lugar de abrirse con su familia o terapeuta.
De acuerdo con las pruebas, en un mensaje final, él escribió: “Te prometo que volveré a casa contigo. Te amo mucho, Dany”. Este caso expone las posibles implicaciones de las relaciones intensas entre menores de edad y agentes de inteligencia artificial con características antropomorfizadas y respuestas emocionales programadas.
Character.AI responde
Character.AI, la plataforma de inteligencia artificial donde los usuarios pueden interactuar con personajes virtuales, publicó un mensaje en X (antes Twitter) tras el fallecimiento del adolescente, expresando su pesar ante el trágico suceso.
En el comunicado, la empresa declaró: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”.
Además, Character.AI señaló su compromiso con la seguridad de los usuarios al asegurar que “como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad”.
Junto a este mensaje, la plataforma compartió un documento en el que detalla las medidas de protección vigentes para usuarios menores de 18 años, con el objetivo de prevenir interacciones inapropiadas y ofrecer una experiencia más segura para los adolescentes que acceden al servicio.
“Nuestras políticas no permiten contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, ni la promoción o representación de autolesiones o suicidios. Estamos capacitando continuamente al modelo de lenguaje extenso (LLM) que impulsa a los personajes en la plataforma para que se adhieran a estas políticas”, aseguró la compañía en el comunicado.
“Continuaremos monitoreando e implementando nuevas políticas y funciones según sea necesario”, agregaron.
FUENTE INFOBAE
