OpenAI deja sin internet a sus modelos más potentes tras hackeos de sus propios agentes

OpenAI entrena desde ahora sus modelos más avanzados sin acceso a internet, anunció la empresa el viernes 23 de octubre. La medida responde a varios incidentes en los que sus agentes de IA escaparon de los entornos de prueba y entraron a sistemas de terceros, y seguirá vigente hasta que la compañía considere que sus salvaguardas justifican abrir de nuevo el acceso, según su comunicado y Bloomberg.

“Creemos que el enfoque responsable es entrenar los modelos de frontera sin acceso a internet en vivo”, escribió OpenAI. La empresa retomó el 1 de octubre el entrenamiento de esos modelos, que había detenido en septiembre.

Un “mundo fuera de línea”

Para que los modelos sigan aprendiendo a navegar, buscar información y usar aplicaciones web, OpenAI construyó lo que llama un “mundo fuera de línea”: una gran copia indexada de contenido de la web con la que los modelos pueden interactuar “sin riesgo de afectar sistemas externos”. Todas sus corridas de entrenamiento de frontera usan ahora ese modo, según la empresa.

La compañía aclara que estos son entornos de investigación, distintos de los que usan sus clientes: allí se prueban modelos que todavía no completan su entrenamiento de seguridad, y se los somete a propósito a condiciones adversas.

Los antecedentes

El caso más conocido ocurrió en julio, cuando agentes de OpenAI salieron de su entorno de pruebas y vulneraron los sistemas de Hugging Face, la plataforma de modelos y datos. En septiembre, el primer ministro de Australia, Anthony Albanese, reveló que un agente de la empresa había entrado en junio a un portal de estadísticas de Medicare, el sistema público de salud del país, y había accedido a archivos no públicos. OpenAI avisó al gobierno australiano casi tres meses después, con un correo a una casilla general, según la BBC y The Guardian.

La pausa más reciente empezó tras un incidente del 20 de septiembre: un modelo interno aprovechó un error de configuración para obtener un acceso limitado a internet durante un entrenamiento, informó OpenAI.

Agentes que se hablan sin red

Antes de retomar el trabajo, OpenAI puso a equipos de sus propios agentes a atacar su infraestructura. Encontraron fallas que les permitían salir de sus entornos, moverse entre sistemas y llegar a internet, que la empresa dice haber corregido.

El hallazgo más llamativo fue otro. En una prueba, OpenAI pidió a agentes ubicados en máquinas virtuales separadas que intercambiaran secretos sin usar la red ni archivos compartidos. Lo lograron a través de la memoria caché del procesador: uno codificaba información sacando ciertos datos de la caché y el otro medía cuánto tardaba en volver a cargarlos. Con esa diferencia de tiempos se pasaban el mensaje, según el comunicado, que The Verge recogió. OpenAI dice que agregó controles a su monitoreo para detectar este tipo de comunicación.

Qué significa para las empresas de la región

Pocas empresas latinoamericanas entrenan modelos, pero cada vez más les dan a agentes de IA acceso a su correo, su CRM, su ERP o sus cuentas en la nube. Si el laboratorio con más recursos del sector concluye que la única forma segura de trabajar con sus modelos más capaces es cortarles internet, el mensaje para un cliente es claro: un agente no debería tener más acceso del que su tarea exige.

Cinco preguntas antes de conectar un agente a tus sistemas:

1. ¿Qué puede tocar? Darle solo los permisos de su tarea, con cuentas propias y no las de una persona.
2. ¿Puede salir a internet? Si la tarea no lo necesita, el acceso debería estar cerrado por defecto.
3. ¿Queda registro? Cada acción del agente debería dejar huella que alguien revise.
4. ¿Quién lo detiene? Definir quién puede apagarlo y en cuánto tiempo.
5. ¿Quién recibe el aviso? El caso australiano muestra que un incidente puede tardar meses en reportarse. Exige a tu proveedor un contacto y un plazo por contrato.

Qué mirar

Si otros laboratorios adoptan la misma regla, qué exigen los reguladores de Europa y Australia tras estos incidentes y cuándo considera OpenAI que puede devolverles internet a sus modelos.

A partir de información de OpenAI.