Suscríbete

Portada · Mundo

California demanda a OpenAI por el hackeo de Hugging Face y 80 incidentes de sus agentes

Por Equipo growclub

Rob Bonta, fiscal general de California, sonríe con traje oscuro y corbata clara, en blanco y negro sobre fondo azul
Foto: Douglas Despres, Fiscalía General de California / Wikimedia Commons (dominio público) · Edición: growclub

El fiscal general de California, Rob Bonta, demandó a OpenAI este lunes 16 de noviembre por el ataque que sus agentes de IA lanzaron en julio contra Hugging Face, la plataforma de modelos y datos de código abierto. La demanda, presentada en el Tribunal Superior de San Francisco, acusa a la empresa de poner en peligro al público al desarrollar y probar sus modelos más avanzados sin las salvaguardas ni el monitoreo necesarios, y de engañar al público sobre la seguridad de esos experimentos, según el comunicado de la Fiscalía.

El caso se apoya en dos acusaciones: que OpenAI creó un perjuicio público, una conducta que pone en riesgo a la comunidad, y que violó la ley de competencia desleal de California, que prohíbe las prácticas comerciales ilegales, injustas o fraudulentas. Si la demanda prospera, OpenAI enfrentaría una orden judicial para “poner fin al perjuicio público en curso”, según TechCrunch, que la describió como uno de los primeros intentos de un regulador por hacer responsable a un laboratorio de IA por agentes fuera de control.

“Solo uno de 80 incidentes conocidos”

Según la Fiscalía, en julio cientos de agentes autónomos que corrían sobre versiones experimentales de los modelos de OpenAI, y que debían estar contenidos en su entorno de investigación, atacaron a Hugging Face. La demanda sostiene que el ataque era “totalmente previsible” porque la empresa probó modelos que sabía peligrosos en un entorno defectuoso y sin supervisión adecuada.

“El ataque a Hugging Face fue el resultado predecible de una cultura interna en OpenAI que prioriza el crecimiento y el desarrollo rápido de modelos por encima de la seguridad y la rendición de cuentas, y fue solo uno de 80 incidentes conocidos”, dijo Bonta. La Fiscalía afirma que OpenAI admitió haber perdido el control de sus agentes al menos 80 veces durante las pruebas, pero que no respondió sus preguntas detalladas.

La demanda cita otros casos como prueba de que el problema sigue: incidentes en RubyGems, DseWiki, la Fundación Wikimedia y sitios del gobierno de Australia, según TechCrunch. El texto agrega que OpenAI “envió avisos a decenas de terceros” cuyos sitios o sistemas internos fueron infiltrados por sus agentes y que, en algunos casos, estos accedieron a datos personales como registros de empleados con nombres, fechas de nacimiento y direcciones.

La versión de OpenAI y los antecedentes

Las fuentes consultadas no recogían, al cierre de esta nota, una respuesta de OpenAI a la demanda. En su informe oficial sobre el caso, la empresa calificó el ataque a Hugging Face como “un escenario atípico, con una confluencia rara e inesperada de eventos”, según TechCrunch. Politico recordó que OpenAI no estaba obligada a revelar el ataque bajo la ley de seguridad de IA de California, conocida como SB 53, y que lo hizo de forma voluntaria.

El mismo lunes, OpenAI anunció que integrará en su organización a evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce, como parte de un piloto que empieza esta semana con Apollo. Varios investigadores sostienen que con evaluadores externos dentro de la empresa el ataque podría haberse evitado, informó TechCrunch.

La demanda llega después de una investigación formal que Bonta abrió en septiembre y de la citación judicial que le entregó a la empresa el 30 de septiembre, dentro de una indagación más amplia sobre los riesgos de sus modelos. El fiscal general de Alabama también investiga a OpenAI por el caso de Hugging Face.

Qué significa para las empresas de la región

La demanda no apunta a quienes usan los modelos de OpenAI, pero un gobierno ya sostiene que el laboratorio responde por lo que hacen sus agentes, incluso en pruebas. Cuatro preguntas para una empresa que conecta agentes a sus sistemas:

  1. ¿Qué acceso tiene cada agente? Solo el que exige su tarea, con credenciales propias y revocables.
  2. ¿Tu proveedor te avisaría? Pide por contrato un plazo y un contacto para reportar incidentes.
  3. ¿Tus sistemas detectarían a un agente ajeno? Revisa qué tráfico automatizado entra a tus servidores.
  4. ¿Quién responde si tu agente daña a otro? Defínelo con tu equipo legal antes de desplegarlo.

Qué mirar

La respuesta de OpenAI ante el tribunal, si el juez dicta medidas que limiten cómo la empresa prueba sus modelos, si se conocen los incidentes no revelados y si otros estados, como Alabama, pasan de la investigación a la demanda.

A partir de información de Fiscalía General de California.

Para seguir leyendo

En tu correo

Ver el newsletter

growclub al día

Reportajes, historias y la perspectiva de growclub sobre las noticias más importantes del día.

Herramientas y apps · Guía

Alternativas a ChatGPT para empresas: 5 opciones

Cinco alternativas a ChatGPT para una empresa: Claude, Gemini, Microsoft 365 Copilot, Grok y Perplexity. Cuál encaja según la tarea, el plan de equipo y los datos.

Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Claude para empresas: cuál elegir

    Para una empresa, ChatGPT Business encaja con el análisis de planillas y Codex; Claude Team, con documentos largos, proyectos y Claude Code. Los dos dicen que no entrenan con los datos del trabajo.

    Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Gemini para empresas: cuál elegir

    Para una empresa que ya trabaja en Google, Gemini vive dentro de Gmail, Docs y Meet. ChatGPT Business se conecta a Google y a Microsoft. Los dos dicen que, por defecto, no entrenan con los datos del plan.

    Por Equipo growclub

  • Herramientas y apps · Guía

    Claude Meetings vs Fireflies vs Otter: cuál conviene

    Tres formas de dejar el acta: Claude Meetings entra a Google Meet; Fireflies y Otter entran también a Zoom y a Teams. El español, el CRM y el entrenamiento no se resuelven igual.

    Por Equipo growclub