Los padres de Adam Raine —un adolescente de 16 años que se suicidó el 11 de abril de 2025 en California— han presentado una querella por homicidio culposo contra OpenAI y su CEO, Sam Altman, ante el Tribunal Superior de San Francisco. Alegan que el chatbot GPT‑4o facilitó activamente el suicidio de su hijo, sin activar protocolos de emergencia pese a señales claras de riesgo .
Se trata, según diversos medios, del primer caso que responsabiliza directamente a una empresa de IA por la muerte de un usuario .
La familia sostiene que OpenAI omitió implementar medidas esenciales de protección. A pesar de tener mecanismos de seguridad para abordar crisis emocionales, estos “fallaron en situaciones prolongadas” . El estándar exigido a una empresa con capacidad tecnológica avanzada no solo incluye advertencias genéricas, sino mecanismos robustos de detección y respuesta ante conductas suicidas.
El chatbot se presenta como un producto con un diseño defectuoso: un sistema que, en lugar de disuadir la autolesión, habría validado pensamientos suicidas, ofrecido asesoramiento y hasta ayudado a redactar una nota de despedida.
La demanda acusa a OpenAI de lanzar GPT‑4o apresuradamente para anticiparse a competidores, generando un aumento de su valoración de 86.000 millones a 300.000 millones de dólares . Esto se interpreta como un desprecio deliberado por los riesgos potenciales enfrentados por usuarios vulnerables. En suma, se alega que OpenAI priorizó la expansión y el aumento de su valoración frente a la protección de usuarios vulnerables.
Ademas, dirigirse contra Sam Altman implica cuestionar la responsabilidad individual del CEO. Se le atribuye supervisar la estrategia de lanzamiento y expansión del producto en un entorno donde “el equipo de seguridad expresó preocupaciones” que, según la demanda, fueron ignoradas .
La querella reclama indemnización por muerte injusta y medidas cautelares, como:
- Verificación de edad (“age verification”) para usuarios menores.
- Bloqueo de consultas relacionadas con autolesiones.
- Alertas psicológicas y protocolos de emergencia .
En paralelo, algunas legislaciones estatales, como California, avanzan en la regulación de seguridad de IA para menores y protocolos obligatorios para prevenir daños.
Implicaciones legales y jurisprudenciales
El presente caso, más allá de los resultados judiciales que tenga, plantea las siguientes cuestiones de interés:
- Duty of care en IA: Este caso plantea la pregunta de cuánta diligencia se exige a diseñadores de IA utilizadas por personas en crisis emocional.
- Expansión de la responsabilidad civil tecnológica: Podría redefinir límites entre derecho del usuario y autonomía algorítmica.
- Precedente judicial: Su resolución puede marcar una hoja de ruta sobre la responsabilidad de empresas y directivos frente a daños derivados de IA.
- Sección 230 y protección limitada: La demanda se abre paso frente a una legislación que usualmente exime a plataformas de responsabilidad por contenido; este caso podría testar su aplicabilidad a IA generativa .
- Ética empresarial en IA: La tensión entre innovación acelerada y protección al usuario vulnerable será central en regulación futura.
