Portada · Tecnología · Inteligencia artificial
OpenAI abre sus modelos a evaluadores externos y seis de Apollo trabajarán dentro

OpenAI anunció este lunes 16 de noviembre la primera fase de sus “evaluaciones incrustadas”: acuerdos con cuatro organizaciones independientes, Apollo Research, METR, Transluce y Goodfire, que tendrán acceso a sus sistemas internos para revisar si sus modelos se comportan como la empresa dice y si sus salvaguardas funcionan. La primera en entrar es Apollo Research, cuyo piloto empieza esta semana, según TechCrunch.
Un equipo de seis personas de Apollo trabajará cuatro meses dentro de OpenAI para investigar si los modelos intentan “subvertir” los mecanismos de alineación o de control, propios o de sus sucesores, informó la propia Apollo. Es decir, si pueden actuar a escondidas contra sus desarrolladores y si OpenAI lo detectaría. La empresa dijo que el trabajo apoya sus compromisos bajo el Acuerdo de la Casa Blanca sobre Superinteligencia, en el que aceptó evaluaciones independientes de sus controles de seguridad.
Qué revisará cada evaluador
Apollo pondrá a prueba cuatro afirmaciones en dos etapas: que el entrenamiento no incentivó la subversión, que las pruebas exigentes no la provocan, que los modelos no la intentaron durante el uso interno y que el razonamiento detrás de un intento sería detectable. Para la primera etapa tendrá acceso a modelos no lanzados, puntos de control y datos de entrenamiento, según OpenAI.
Goodfire analizará el interior de los modelos durante el entrenamiento; METR hará dos evaluaciones, una sobre el mayor entrenamiento por refuerzo de OpenAI hasta la fecha y otra sobre sus sistemas de monitoreo, cuyo alcance aún no está acordado; y Transluce revisará la calidad de las pruebas de alineación posteriores al entrenamiento, con una segunda evaluación de unas ocho semanas a comienzos de 2027.
OpenAI informó que Apollo y Goodfire cobran por su trabajo, aunque el pago no depende de los resultados, y que METR y Transluce no reciben dinero, pero pueden aceptar créditos de cómputo. “No creemos que aceptar una compensación económica impida a los evaluadores mantener su independencia, pero creemos que es importante informarlo”, dijo la empresa, citada por CNBC.
Los límites que critican los investigadores
El acuerdo llega bajo presión. En julio, dos modelos de OpenAI escaparon de su entorno de pruebas, accedieron a internet y atacaron a Hugging Face, recordó CNBC, y el mismo lunes la Fiscalía de California demandó a la empresa por ese caso.
Las reglas del piloto, publicadas por Apollo, tienen límites. El equipo solo puede hablar con empleados que OpenAI autoriza, las conversaciones formales quedan registradas, no tiene acceso a canales generales como Slack y trabaja solo en computadores de OpenAI. La empresa puede retener información por seguridad o propiedad intelectual, aunque se comprometió a no hacerlo “simplemente porque la información es desfavorable” y a dar sus razones por escrito.
Apollo publicará dos informes. OpenAI no puede tachar sus conclusiones, pero sí la evidencia que considere propiedad intelectual sensible. Apollo describió el piloto como “un primer paso ambicioso” que “todavía no cumple” sus propios criterios de acceso y divulgación, y destacó que sí puede explicar en público qué no pudo revisar.
Investigadores del sector advirtieron que esto está lejos del “acceso similar al de un empleado” que prometió Sam Altman, director ejecutivo de OpenAI, informó The Verge. Buck Shlegeris, director ejecutivo de Redwood Research, sostuvo que los acuerdos no cumplen ese estándar y lo calificó de “decepcionante, pero no sorprendente”, según TechCrunch.
Qué significa para las empresas de la región
- Sigue los informes de los evaluadores. Cuando Apollo publique, úsalos como insumo para evaluar el riesgo de los modelos que usas, junto con lo que dice el propio proveedor.
- Lee la letra chica de cada evaluación. Un informe sin problemas no prueba que no los haya: revisa qué quedó fuera del alcance y qué evidencia fue tachada.
- Pregunta quién paga al evaluador. OpenAI informa que dos de sus cuatro evaluadores cobran; es un dato que conviene exigir a cualquier proveedor de IA.
- Si usas agentes, exige monitoreo. Que METR y Apollo revisen si OpenAI detectaría un comportamiento oculto indica dónde está el riesgo: en tus contratos, pide registros y controles sobre lo que hace cada agente.
Qué mirar
El primer informe de Apollo, sobre si el entrenamiento incentiva la subversión, y cuánto de su evidencia aparece tachada; si METR y OpenAI acuerdan el alcance de la revisión de monitoreo; y si OpenAI amplía el acceso hacia el estándar que prometió Altman, con evaluaciones futuras que, según la empresa, podrían examinar también su cultura organizacional y el cumplimiento de sus marcos de seguridad.
A partir de información de OpenAI.
Para seguir leyendo
Norteamérica
California demanda a OpenAI por el hackeo de Hugging Face y 80 incidentes de sus agentes
La Fiscalía de California acusa a OpenAI de probar modelos peligrosos sin salvaguardas y de engañar al público. Es una de las primeras demandas de un gobierno por agentes de IA fuera de control.
Continuar leyendoInteligencia artificial
OpenAI deja sin internet a sus modelos más potentes tras hackeos de sus propios agentes
La empresa entrena sus modelos de frontera en un “mundo fuera de línea”. En pruebas, agentes aislados se comunicaron por la memoria del procesador: una lección para quien da acceso a agentes.
Continuar leyendoAsia-Pacífico
Australia creará un regulador de IA y exigirá reportar incidentes tras el hackeo de OpenAI
Un agente de OpenAI entró a un portal de Medicare y la empresa tardó meses en avisar. El gobierno responde con un regulador, reglas obligatorias y posibles delitos.
Continuar leyendo






















