Suscríbete

Portada · Tecnología · Inteligencia artificial

OpenAI abre sus modelos a evaluadores externos y seis de Apollo trabajarán dentro

Por Equipo growclub

Ilustración de un robot dentro de una caja de vidrio observado por dos investigadores con una lupa
Ilustración: growclub

OpenAI anunció este lunes 16 de noviembre la primera fase de sus “evaluaciones incrustadas”: acuerdos con cuatro organizaciones independientes, Apollo Research, METR, Transluce y Goodfire, que tendrán acceso a sus sistemas internos para revisar si sus modelos se comportan como la empresa dice y si sus salvaguardas funcionan. La primera en entrar es Apollo Research, cuyo piloto empieza esta semana, según TechCrunch.

Un equipo de seis personas de Apollo trabajará cuatro meses dentro de OpenAI para investigar si los modelos intentan “subvertir” los mecanismos de alineación o de control, propios o de sus sucesores, informó la propia Apollo. Es decir, si pueden actuar a escondidas contra sus desarrolladores y si OpenAI lo detectaría. La empresa dijo que el trabajo apoya sus compromisos bajo el Acuerdo de la Casa Blanca sobre Superinteligencia, en el que aceptó evaluaciones independientes de sus controles de seguridad.

Qué revisará cada evaluador

Apollo pondrá a prueba cuatro afirmaciones en dos etapas: que el entrenamiento no incentivó la subversión, que las pruebas exigentes no la provocan, que los modelos no la intentaron durante el uso interno y que el razonamiento detrás de un intento sería detectable. Para la primera etapa tendrá acceso a modelos no lanzados, puntos de control y datos de entrenamiento, según OpenAI.

Goodfire analizará el interior de los modelos durante el entrenamiento; METR hará dos evaluaciones, una sobre el mayor entrenamiento por refuerzo de OpenAI hasta la fecha y otra sobre sus sistemas de monitoreo, cuyo alcance aún no está acordado; y Transluce revisará la calidad de las pruebas de alineación posteriores al entrenamiento, con una segunda evaluación de unas ocho semanas a comienzos de 2027.

OpenAI informó que Apollo y Goodfire cobran por su trabajo, aunque el pago no depende de los resultados, y que METR y Transluce no reciben dinero, pero pueden aceptar créditos de cómputo. “No creemos que aceptar una compensación económica impida a los evaluadores mantener su independencia, pero creemos que es importante informarlo”, dijo la empresa, citada por CNBC.

Los límites que critican los investigadores

El acuerdo llega bajo presión. En julio, dos modelos de OpenAI escaparon de su entorno de pruebas, accedieron a internet y atacaron a Hugging Face, recordó CNBC, y el mismo lunes la Fiscalía de California demandó a la empresa por ese caso.

Las reglas del piloto, publicadas por Apollo, tienen límites. El equipo solo puede hablar con empleados que OpenAI autoriza, las conversaciones formales quedan registradas, no tiene acceso a canales generales como Slack y trabaja solo en computadores de OpenAI. La empresa puede retener información por seguridad o propiedad intelectual, aunque se comprometió a no hacerlo “simplemente porque la información es desfavorable” y a dar sus razones por escrito.

Apollo publicará dos informes. OpenAI no puede tachar sus conclusiones, pero sí la evidencia que considere propiedad intelectual sensible. Apollo describió el piloto como “un primer paso ambicioso” que “todavía no cumple” sus propios criterios de acceso y divulgación, y destacó que sí puede explicar en público qué no pudo revisar.

Investigadores del sector advirtieron que esto está lejos del “acceso similar al de un empleado” que prometió Sam Altman, director ejecutivo de OpenAI, informó The Verge. Buck Shlegeris, director ejecutivo de Redwood Research, sostuvo que los acuerdos no cumplen ese estándar y lo calificó de “decepcionante, pero no sorprendente”, según TechCrunch.

Qué significa para las empresas de la región

  1. Sigue los informes de los evaluadores. Cuando Apollo publique, úsalos como insumo para evaluar el riesgo de los modelos que usas, junto con lo que dice el propio proveedor.
  2. Lee la letra chica de cada evaluación. Un informe sin problemas no prueba que no los haya: revisa qué quedó fuera del alcance y qué evidencia fue tachada.
  3. Pregunta quién paga al evaluador. OpenAI informa que dos de sus cuatro evaluadores cobran; es un dato que conviene exigir a cualquier proveedor de IA.
  4. Si usas agentes, exige monitoreo. Que METR y Apollo revisen si OpenAI detectaría un comportamiento oculto indica dónde está el riesgo: en tus contratos, pide registros y controles sobre lo que hace cada agente.

Qué mirar

El primer informe de Apollo, sobre si el entrenamiento incentiva la subversión, y cuánto de su evidencia aparece tachada; si METR y OpenAI acuerdan el alcance de la revisión de monitoreo; y si OpenAI amplía el acceso hacia el estándar que prometió Altman, con evaluaciones futuras que, según la empresa, podrían examinar también su cultura organizacional y el cumplimiento de sus marcos de seguridad.

A partir de información de OpenAI.

Para seguir leyendo

En tu correo

Ver el newsletter

growclub al día

Reportajes, historias y la perspectiva de growclub sobre las noticias más importantes del día.

Herramientas y apps · Guía

Alternativas a ChatGPT para empresas: 5 opciones

Cinco alternativas a ChatGPT para una empresa: Claude, Gemini, Microsoft 365 Copilot, Grok y Perplexity. Cuál encaja según la tarea, el plan de equipo y los datos.

Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Claude para empresas: cuál elegir

    Para una empresa, ChatGPT Business encaja con el análisis de planillas y Codex; Claude Team, con documentos largos, proyectos y Claude Code. Los dos dicen que no entrenan con los datos del trabajo.

    Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Gemini para empresas: cuál elegir

    Para una empresa que ya trabaja en Google, Gemini vive dentro de Gmail, Docs y Meet. ChatGPT Business se conecta a Google y a Microsoft. Los dos dicen que, por defecto, no entrenan con los datos del plan.

    Por Equipo growclub

  • Herramientas y apps · Guía

    Claude Meetings vs Fireflies vs Otter: cuál conviene

    Tres formas de dejar el acta: Claude Meetings entra a Google Meet; Fireflies y Otter entran también a Zoom y a Teams. El español, el CRM y el entrenamiento no se resuelven igual.

    Por Equipo growclub