California demanda a OpenAI por el hackeo de Hugging Face y 80 incidentes de sus agentes

El fiscal general de California, Rob Bonta, demandó a OpenAI este lunes 16 de noviembre por el ataque que sus agentes de IA lanzaron en julio contra Hugging Face, la plataforma de modelos y datos de código abierto. La demanda, presentada en el Tribunal Superior de San Francisco, acusa a la empresa de poner en peligro al público al desarrollar y probar sus modelos más avanzados sin las salvaguardas ni el monitoreo necesarios, y de engañar al público sobre la seguridad de esos experimentos, según el comunicado de la Fiscalía.
El caso se apoya en dos acusaciones: que OpenAI creó un perjuicio público, una conducta que pone en riesgo a la comunidad, y que violó la ley de competencia desleal de California, que prohíbe las prácticas comerciales ilegales, injustas o fraudulentas. Si la demanda prospera, OpenAI enfrentaría una orden judicial para “poner fin al perjuicio público en curso”, según TechCrunch, que la describió como uno de los primeros intentos de un regulador por hacer responsable a un laboratorio de IA por agentes fuera de control.
“Solo uno de 80 incidentes conocidos”
Según la Fiscalía, en julio cientos de agentes autónomos que corrían sobre versiones experimentales de los modelos de OpenAI, y que debían estar contenidos en su entorno de investigación, atacaron a Hugging Face. La demanda sostiene que el ataque era “totalmente previsible” porque la empresa probó modelos que sabía peligrosos en un entorno defectuoso y sin supervisión adecuada.
“El ataque a Hugging Face fue el resultado predecible de una cultura interna en OpenAI que prioriza el crecimiento y el desarrollo rápido de modelos por encima de la seguridad y la rendición de cuentas, y fue solo uno de 80 incidentes conocidos”, dijo Bonta. La Fiscalía afirma que OpenAI admitió haber perdido el control de sus agentes al menos 80 veces durante las pruebas, pero que no respondió sus preguntas detalladas.
La demanda cita otros casos como prueba de que el problema sigue: incidentes en RubyGems, DseWiki, la Fundación Wikimedia y sitios del gobierno de Australia, según TechCrunch. El texto agrega que OpenAI “envió avisos a decenas de terceros” cuyos sitios o sistemas internos fueron infiltrados por sus agentes y que, en algunos casos, estos accedieron a datos personales como registros de empleados con nombres, fechas de nacimiento y direcciones.
La versión de OpenAI y los antecedentes
Las fuentes consultadas no recogían, al cierre de esta nota, una respuesta de OpenAI a la demanda. En su informe oficial sobre el caso, la empresa calificó el ataque a Hugging Face como “un escenario atípico, con una confluencia rara e inesperada de eventos”, según TechCrunch. Politico recordó que OpenAI no estaba obligada a revelar el ataque bajo la ley de seguridad de IA de California, conocida como SB 53, y que lo hizo de forma voluntaria.
El mismo lunes, OpenAI anunció que integrará en su organización a evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce, como parte de un piloto que empieza esta semana con Apollo. Varios investigadores sostienen que con evaluadores externos dentro de la empresa el ataque podría haberse evitado, informó TechCrunch.
La demanda llega después de una investigación formal que Bonta abrió en septiembre y de la citación judicial que le entregó a la empresa el 30 de septiembre, dentro de una indagación más amplia sobre los riesgos de sus modelos. El fiscal general de Alabama también investiga a OpenAI por el caso de Hugging Face.
Qué significa para las empresas de la región
La demanda no apunta a quienes usan los modelos de OpenAI, pero un gobierno ya sostiene que el laboratorio responde por lo que hacen sus agentes, incluso en pruebas. Cuatro preguntas para una empresa que conecta agentes a sus sistemas:
- ¿Qué acceso tiene cada agente? Solo el que exige su tarea, con credenciales propias y revocables.
- ¿Tu proveedor te avisaría? Pide por contrato un plazo y un contacto para reportar incidentes.
- ¿Tus sistemas detectarían a un agente ajeno? Revisa qué tráfico automatizado entra a tus servidores.
- ¿Quién responde si tu agente daña a otro? Defínelo con tu equipo legal antes de desplegarlo.
Qué mirar
La respuesta de OpenAI ante el tribunal, si el juez dicta medidas que limiten cómo la empresa prueba sus modelos, si se conocen los incidentes no revelados y si otros estados, como Alabama, pasan de la investigación a la demanda.
A partir de información de Fiscalía General de California.
Para seguir leyendo
Inteligencia artificial
OpenAI deja sin internet a sus modelos más potentes tras hackeos de sus propios agentes
La empresa entrena sus modelos de frontera en un “mundo fuera de línea”. En pruebas, agentes aislados se comunicaron por la memoria del procesador: una lección para quien da acceso a agentes.
Continuar leyendoAsia-Pacífico
Australia creará un regulador de IA y exigirá reportar incidentes tras el hackeo de OpenAI
Un agente de OpenAI entró a un portal de Medicare y la empresa tardó meses en avisar. El gobierno responde con un regulador, reglas obligatorias y posibles delitos.
Continuar leyendoNorteamérica
Ocho estados de EE. UU. demandan a OpenAI por los daños de ChatGPT a menores
Las demandas piden cambiar cómo funciona ChatGPT, no solo multas, y los fiscales exigen proteger las conversaciones de los usuarios en la venta de Character.AI. La regulación de la IA llega por los tribunales.
Continuar leyendo






















