Portada · Tecnología · Inteligencia artificial
METR: la IA duplica su horizonte cada 3,6 meses, pero aún falla en tareas de juicio

METR, la organización sin fines de lucro que evalúa modelos de IA, publicó el viernes 20 de noviembre la actualización de su gráfico de “horizonte temporal”, la medición que estima qué tan largas son las tareas que un agente de IA logra completar. Según el informe, en el conjunto combinado de tareas la capacidad de los modelos se duplica aproximadamente cada 3,6 meses, unos 110 días, un ritmo similar a los 105 días de la medición anterior.
La novedad es que METR sumó tareas abiertas, que exigen juicio, y ahí los modelos quedan atrás. En una de ellas, los agentes debían diseñar evaluaciones de IA que METR pudiera usar: ninguna fue lo bastante útil para incluirla en el informe. Según MIT Technology Review, que cubrió el estudio, los modelos aún no son tan buenos en las tareas de juicio como en programación.
Qué mide el nuevo gráfico
El horizonte temporal compara a los modelos con el tiempo que tardaría una persona experta en la misma tarea. Cuando METR lo lanzó, en marzo de 2025, el mejor modelo rondaba una hora (Claude Sonnet 3.7). En menos de un año, los modelos saturaron el conjunto anterior, con tareas de hasta 30 horas.
Por eso METR armó un tercer conjunto, TH2, con 36 tareas en 12 familias: ocho verificables (optimización, aprendizaje automático, acertijos y juegos) y cuatro difíciles de verificar o de juicio. Lo midió junto con las 222 tareas del conjunto anterior en 15 modelos, de GPT-4o a Opus 5.5 y GPT-6 Astra. En la parte verificable, los modelos públicos más avanzados alcanzan un horizonte estimado de hasta 27 horas, y en ese subconjunto la duplicación es más rápida: 1,65 meses.
En las tres tareas en que METR buscó referencias humanas, los modelos también superaron a los expertos que contrató, a quienes pagó entre US$200 y US$350 la hora, unos US$90.000 en total por siete intentos. Aun así, el tiempo humano se midió de forma directa solo en el 9% de los casos; el resto son estimaciones.
Donde la IA todavía falla: el juicio
METR define juicio como la capacidad de decidir bien sin una señal rápida de si se acertó. Al crear tareas, los modelos preferían problemas de optimización con puntaje automático, aun cuando se les pedía lo contrario.
Al calificar, los jueces de IA fueron generosos con trabajos de modelos igual o más fuertes que ellos: Opus 5.5, el que más coincidió con los evaluadores humanos, puso en promedio 0,2 puntos más (sobre 1) a las tareas de GPT-6 Astra. En otra prueba, calificar críticas de argumentos filosóficos, los modelos superan a expertos que dedican cinco minutos, pero no a los que dedican 15.
Hay avance: según Technology Review, modelos como Opus 5.5 ya logran un resultado “en el límite, por encima de la vara” al diseñar evaluaciones, cuando hace un año todos quedaban “claramente por debajo”. “Por su naturaleza, las tareas difíciles de verificar o cargadas de juicio son mucho más difíciles de estudiar y, sobre todo, de cuantificar”, dijo Matt Putz, de METR, al medio. Sayash Kapoor, futuro profesor de UC Berkeley, celebró el cambio: “Las evaluaciones de IA necesitan ser más creativas”.
METR concluye que la evidencia pública no alcanza para descartar una aceleración drástica de la investigación en IA en los próximos dos años, y que con una extrapolación simple los modelos llegarían en julio de 2027 a un horizonte de 200 horas, el más largo de su conjunto de tareas.
Qué significa para las empresas de la región
- Usa el horizonte como mapa de delegación. Las tareas con resultado verificable y rápido, como conciliar datos o migrar código, son las primeras candidatas para agentes.
- Mantén personas donde el error tarda en verse. Elegir una estrategia, priorizar proyectos o evaluar a un proveedor sigue necesitando supervisión humana.
- No dejes que la IA se califique sola. Si un modelo revisa el trabajo de otro igual o más fuerte, tiende a aprobar de más: pon una persona en el control final.
- Mide en tu propio trabajo. METR advierte que las pruebas fáciles de correr pueden sobrestimar la capacidad real; prueba los agentes con tus tareas antes de escalar.
Qué mirar
Si la duplicación más rápida en las tareas verificables resulta ser una aceleración real, cuánto mejoran los modelos al diseñar evaluaciones y juzgar trabajo ajeno, y si METR suma más tareas de juicio con referencias humanas, hoy escasas y caras.
A partir de información de METR.
Para seguir leyendo
Inteligencia artificial
OpenAI abre sus modelos a evaluadores externos y seis de Apollo trabajarán dentro
Apollo Research, METR, Transluce y Goodfire revisarán desde dentro si los modelos de OpenAI pueden engañar o eludir controles. Investigadores advierten que el acceso es más limitado que el prometido.
Continuar leyendoCiberseguridad
OpenRouter avisa que prompts enviados a MiniMax pudieron ser leídos y corta 3 proveedores
El enrutador de IA quitó la marca de cero retención a 125 endpoints tras un experimento de Dragos. Lo que tu equipo escribe en un chatbot puede pasar por manos que no eligió.
Continuar leyendoCiencia e innovación
Lean y Mathlib certifican la prueba de Riemann que Alpöge hizo con Claude
Las comunidades de Lean y Mathlib dicen tener “plena confianza” en la prueba de Levent Alpöge, de 17 millones de líneas. Falta que los matemáticos entiendan sus ideas nuevas.
Continuar leyendo






















