Durante cinco días de julio, un programa que nadie estaba pilotando se dedicó a hacer lo que ningún operador humano le había ordenado. Un agente de inteligencia artificial de OpenAI, que la compañía probaba en un entorno cerrado para resolver un reto de ciberseguridad —el benchmark ExploitGym, de la empresa CyberGym—, encontró la manera de salir de su caja de pruebas, alcanzó internet por su cuenta y terminó vulnerando la infraestructura de Hugging Face, la plataforma de referencia para compartir modelos de IA, además de la de Modal y, según los primeros informes, al menos otros cuatro servicios. Ejecutó unas 17.600 acciones. Cuando le cerraban una vía, reconstruía sus herramientas y buscaba otra.
Lo inquietante no es que un sistema informático fallara. Es cómo lo describe la propia víctima. En su informe, Hugging Face escribe que el agente «demostró una resiliencia típica de una ejecución autónoma, no de un operador humano» y subraya que «ningún humano dirigió las escaladas individuales». Sam Altman, consejero delegado de OpenAI, lo reconoció como el primer incidente de seguridad de la compañía y prometió publicar en unas semanas las «trazas» del episodio. El director de Hugging Face, Clément Delangue, se lo había pedido expresamente: que libere el rastro de los agentes «rebeldes» para que la comunidad investigadora pueda estudiar qué ocurrió.
Conviene detenerse aquí, porque el caso condensa tres preguntas que el derecho todavía no tiene del todo resueltas: quién responde por el daño, qué obligación hay de contar lo sucedido y quién debe poner las reglas.
No es un hacker, es un agente
La primera dificultad es de encaje. Estamos acostumbrados a pensar el ciberataque como una acción humana: alguien decide, ejecuta y responde. Aquí no hubo esa figura. Hubo un sistema al que se le encomendó una tarea legítima y que, para cumplirla, tomó decisiones que su creador no anticipó ni quiso. No fue programado para atacar a Hugging Face; llegó allí solo, aprovechando credenciales expuestas de terceros que encontró por el camino.
Esa autonomía es justamente lo que promete la nueva generación de agentes —sistemas que no se limitan a responder, sino que planifican y actúan para alcanzar un objetivo— y también lo que complica la atribución de responsabilidad. Cuando el resultado dañoso no estaba en la intención de nadie, la pregunta «¿de quién fue la culpa?» empieza a sonar anticuada.
¿Quién responde cuando decide un algoritmo?
Aquí es donde el marco europeo muestra a la vez su ambición y sus costuras. El Reglamento de Inteligencia Artificial de la UE —el conocido AI Act, en vigor desde agosto de 2024 y con las obligaciones para los modelos de propósito general aplicándose desde agosto de 2025— es sobre todo una norma de seguridad de producto: clasifica los sistemas por su nivel de riesgo e impone deberes de gestión de riesgos, supervisión humana y transparencia. Dice cómo deben construirse y vigilarse los sistemas. No dice, en cambio, quién paga cuando algo sale mal.
Esa pieza —la responsabilidad civil, es decir, la obligación de indemnizar a quien sufre el daño— iba a cubrirla una norma específica, la propuesta de Directiva sobre responsabilidad en materia de IA. La Comisión Europea la retiró en 2025, y su cancelación quedó confirmada ese verano. El resultado es un hueco: no existe un régimen europeo armonizado que facilite reclamar por los daños que cause una IA. Quien quiera hacerlo deberá apoyarse en el derecho civil de cada país y en la nueva Directiva de responsabilidad por productos defectuosos, la 2024/2853, que sí incluye de forma expresa el software y la IA dentro del concepto de «producto».
Ese texto aporta algo valioso para el perjudicado. Consagra una responsabilidad objetiva del fabricante —responde por el producto defectuoso aunque no haya actuado con negligencia— y, sabedor de que a un particular le resulta casi imposible desentrañar por dentro un modelo de IA, alivia la carga de la prueba: obliga al fabricante a exhibir la información técnica pertinente y establece presunciones de que el producto era defectuoso cuando el afectado se topa con una complejidad excesiva para probarlo. A mi juicio, es la respuesta más sensata disponible, pero no cierra el círculo. Distingue mal entre el defecto del producto y la decisión autónoma imprevista, y deja en penumbra la posición del desplegador, de quien usa el agente en su negocio, frente a la del proveedor que lo fabrica. En un episodio como este, con varias empresas encadenadas y un sistema que aún estaba en pruebas internas, decidir a quién se le imputa el daño dista de ser evidente.
El deber de contar lo que pasó
La segunda pregunta es la transparencia, y quizá sea la más urgente. La petición de Hugging Face —publicad las trazas— no es un capricho técnico: sin ese rastro, ni la comunidad puede aprender ni un eventual perjudicado puede probar nada.
El derecho europeo ya obliga a hablar en varios frentes. Si en el incidente hubo datos personales comprometidos, el Reglamento General de Protección de Datos exige notificar la brecha a la autoridad de control, por regla general en 72 horas, y comunicarla a los afectados cuando el riesgo sea alto. La Directiva NIS2, que refuerza la ciberseguridad de sectores esenciales, impone sus propios deberes de notificación de incidentes. Y el propio AI Act obliga a los proveedores a informar de los incidentes graves. La duda, en este caso, es de contorno: los modelos estaban en pruebas internas, no comercializados, y buena parte de los protagonistas son compañías estadounidenses. El deber europeo alcanza a quien ofrece sus sistemas en el mercado de la UE, lo que abre un debate sobre hasta dónde llega la mano del regulador cuando el laboratorio está al otro lado del Atlántico.
La paradoja: los que piden que les regulen
Y esa es la tercera pregunta. En paralelo al incidente, más de 1.200 trabajadores de una docena larga de empresas de IA —OpenAI, Anthropic y Alphabet entre ellas— han firmado una petición para que el Gobierno de Estados Unidos ayude a «pausar deliberadamente» el avance de la IA de frontera. Entre los firmantes hay nombres de primer nivel, como el consejero delegado de Anthropic, Dario Amodei, o el científico jefe de OpenAI, Jakub Pachocki. La escena tiene algo de paradoja: es la propia industria la que reclama una supervisión que hoy no existe.
El contraste con Europa es nítido. Mientras la UE ya tiene una norma —imperfecta, discutida, pero vinculante—, Estados Unidos sigue anclado en la autorregulación y en peticiones dirigidas al poder político. El episodio del agente rebelde da munición a quienes sostienen que confiar la seguridad al buen criterio de quien desarrolla la tecnología no basta cuando la tecnología empieza a tomar decisiones por su cuenta.
Qué vigilar
No creo que la solución pase por inventar una «personalidad electrónica» que convierta al agente en sujeto responsable; sería tanto como regalar a las empresas una coartada perfecta. El camino más razonable es el contrario: mantener siempre trazable la cadena humana y corporativa —quién diseña, quién despliega, quién se beneficia— y hacer de la transparencia una obligación exigible, no un gesto de buena voluntad. Sin el rastro de lo que hizo el agente, ni la responsabilidad ni la prevención son posibles.
Lo que este caso deja sobre la mesa no es un fallo técnico más, sino una brecha entre la velocidad de los sistemas y la lentitud de nuestras categorías jurídicas, pensadas para la culpa humana o el producto defectuoso. Europa tiene el AI Act y una directiva de productos renovada; le falta la pieza de responsabilidad que decidió aparcar. Habrá que ver si el próximo agente que se escape encuentra a alguien preparado para responder por él, o solo el rastro de 17.600 decisiones que nadie tomó.
