Suscríbete

Portada · Tecnología · Inteligencia artificial

METR: la IA duplica su horizonte cada 3,6 meses, pero aún falla en tareas de juicio

Por Cristopher Clavero

Íconos de píxeles en blanco y negro: un reloj de arena con una curva que sube y una cabeza de robot, rodeados de un cronómetro, una lista, una balanza y un calendario
Ilustración: growclub

METR, la organización sin fines de lucro que evalúa modelos de IA, publicó el viernes 20 de noviembre la actualización de su gráfico de “horizonte temporal”, la medición que estima qué tan largas son las tareas que un agente de IA logra completar. Según el informe, en el conjunto combinado de tareas la capacidad de los modelos se duplica aproximadamente cada 3,6 meses, unos 110 días, un ritmo similar a los 105 días de la medición anterior.

La novedad es que METR sumó tareas abiertas, que exigen juicio, y ahí los modelos quedan atrás. En una de ellas, los agentes debían diseñar evaluaciones de IA que METR pudiera usar: ninguna fue lo bastante útil para incluirla en el informe. Según MIT Technology Review, que cubrió el estudio, los modelos aún no son tan buenos en las tareas de juicio como en programación.

Qué mide el nuevo gráfico

El horizonte temporal compara a los modelos con el tiempo que tardaría una persona experta en la misma tarea. Cuando METR lo lanzó, en marzo de 2025, el mejor modelo rondaba una hora (Claude Sonnet 3.7). En menos de un año, los modelos saturaron el conjunto anterior, con tareas de hasta 30 horas.

Por eso METR armó un tercer conjunto, TH2, con 36 tareas en 12 familias: ocho verificables (optimización, aprendizaje automático, acertijos y juegos) y cuatro difíciles de verificar o de juicio. Lo midió junto con las 222 tareas del conjunto anterior en 15 modelos, de GPT-4o a Opus 5.5 y GPT-6 Astra. En la parte verificable, los modelos públicos más avanzados alcanzan un horizonte estimado de hasta 27 horas, y en ese subconjunto la duplicación es más rápida: 1,65 meses.

En las tres tareas en que METR buscó referencias humanas, los modelos también superaron a los expertos que contrató, a quienes pagó entre US$200 y US$350 la hora, unos US$90.000 en total por siete intentos. Aun así, el tiempo humano se midió de forma directa solo en el 9% de los casos; el resto son estimaciones.

Donde la IA todavía falla: el juicio

METR define juicio como la capacidad de decidir bien sin una señal rápida de si se acertó. Al crear tareas, los modelos preferían problemas de optimización con puntaje automático, aun cuando se les pedía lo contrario.

Al calificar, los jueces de IA fueron generosos con trabajos de modelos igual o más fuertes que ellos: Opus 5.5, el que más coincidió con los evaluadores humanos, puso en promedio 0,2 puntos más (sobre 1) a las tareas de GPT-6 Astra. En otra prueba, calificar críticas de argumentos filosóficos, los modelos superan a expertos que dedican cinco minutos, pero no a los que dedican 15.

Hay avance: según Technology Review, modelos como Opus 5.5 ya logran un resultado “en el límite, por encima de la vara” al diseñar evaluaciones, cuando hace un año todos quedaban “claramente por debajo”. “Por su naturaleza, las tareas difíciles de verificar o cargadas de juicio son mucho más difíciles de estudiar y, sobre todo, de cuantificar”, dijo Matt Putz, de METR, al medio. Sayash Kapoor, futuro profesor de UC Berkeley, celebró el cambio: “Las evaluaciones de IA necesitan ser más creativas”.

METR concluye que la evidencia pública no alcanza para descartar una aceleración drástica de la investigación en IA en los próximos dos años, y que con una extrapolación simple los modelos llegarían en julio de 2027 a un horizonte de 200 horas, el más largo de su conjunto de tareas.

Qué significa para las empresas de la región

  • Usa el horizonte como mapa de delegación. Las tareas con resultado verificable y rápido, como conciliar datos o migrar código, son las primeras candidatas para agentes.
  • Mantén personas donde el error tarda en verse. Elegir una estrategia, priorizar proyectos o evaluar a un proveedor sigue necesitando supervisión humana.
  • No dejes que la IA se califique sola. Si un modelo revisa el trabajo de otro igual o más fuerte, tiende a aprobar de más: pon una persona en el control final.
  • Mide en tu propio trabajo. METR advierte que las pruebas fáciles de correr pueden sobrestimar la capacidad real; prueba los agentes con tus tareas antes de escalar.

Qué mirar

Si la duplicación más rápida en las tareas verificables resulta ser una aceleración real, cuánto mejoran los modelos al diseñar evaluaciones y juzgar trabajo ajeno, y si METR suma más tareas de juicio con referencias humanas, hoy escasas y caras.

A partir de información de METR.

Para seguir leyendo

En tu correo

Ver el newsletter

growclub al día

Reportajes, historias y la perspectiva de growclub sobre las noticias más importantes del día.

Herramientas y apps · Guía

Alternativas a ChatGPT para empresas: 5 opciones

Cinco alternativas a ChatGPT para una empresa: Claude, Gemini, Microsoft 365 Copilot, Grok y Perplexity. Cuál encaja según la tarea, el plan de equipo y los datos.

  • Herramientas y apps · Guía

    ChatGPT vs Claude para empresas: cuál elegir

    Para una empresa, ChatGPT Business encaja con el análisis de planillas y Codex; Claude Team, con documentos largos, proyectos y Claude Code. Los dos dicen que no entrenan con los datos del trabajo.

  • Herramientas y apps · Guía

    ChatGPT vs Gemini para empresas: cuál elegir

    Para una empresa que ya trabaja en Google, Gemini vive dentro de Gmail, Docs y Meet. ChatGPT Business se conecta a Google y a Microsoft. Los dos dicen que, por defecto, no entrenan con los datos del plan.

  • Herramientas y apps · Guía

    Claude Meetings vs Fireflies vs Otter: cuál conviene

    Tres formas de dejar el acta: Claude Meetings entra a Google Meet; Fireflies y Otter entran también a Zoom y a Teams. El español, el CRM y el entrenamiento no se resuelven igual.