Hay una promesa que se repite en casi todos los anuncios corporativos de este año: que la inteligencia artificial está por empezar a mejorarse a sí misma, que los agentes van a hacer la investigación que hoy hacen los humanos y que, a partir de ese punto, la curva se vuelve vertical. Un equipo liderado por investigadores de Princeton decidió someter esa promesa a un examen incómodo: le dieron a un agente el trabajo real de un investigador de IA y después dejaron que los autores humanos de ese trabajo le pusieran nota.
Reprobó. Las dos veces.
MIT Technology Review publicó este 18 de agosto de 2026 la cobertura del estudio, firmada por Michelle Kim, bajo un titular que va directo al grano: la automejora recursiva de la IA podría no llegar tan rápido como se está vendiendo. Y el subtítulo es aún más específico: los agentes todavía no son lo suficientemente creativos para hacer investigación abierta y genuinamente innovadora.
Esto no es una opinión de un escéptico de turno. Es un experimento con metodología nueva, resultados medibles y —lo más interesante— un patrón de errores que cualquiera que esté metiendo agentes de IA en su empresa va a reconocer de inmediato.
Cómo funciona una "evaluación sombra"
El equipo, encabezado por Peter Kirgis y Sayash Kapoor (con colaboradores de varias instituciones), propuso un método al que llamaron shadow evaluation, evaluación sombra. La idea es elegante: en lugar de medir al agente contra un benchmark sintético que ya se conoce de memoria, lo ponen en el centro de un paper de investigación real, de alta calidad y todavía inédito, y le piden que resuelva la pregunta central abierta de ese trabajo. Después, los autores originales del paper —los humanos que sí resolvieron esa pregunta— califican lo que produjo el agente.
Es, básicamente, la prueba más honesta que se le puede tomar a un sistema: hacer el trabajo antes de que exista la respuesta publicada, y ser juzgado por quienes conocen el problema mejor que nadie.
Corrieron la prueba sobre dos trabajos inéditos enviados a NeurIPS 2026:
- Si las "personas" de un modelo de lenguaje se pueden controlar editando directamente los pesos del modelo.
- Cómo diseñar detectores para modelos de predicción poco confiables que trabajan sobre datos de planillas.
El sujeto de prueba fue Claude Opus 4.8 de Anthropic, corriendo sobre un software de código abierto llamado OpenClaw. Y los recursos no fueron simbólicos: seis días de trabajo, $3.000 en créditos de API de Anthropic, presupuesto de GPU para correr los experimentos, computadoras virtuales propias y acceso abierto a la web. Nada de "la IA no tenía herramientas". Tenía todo.
Ingeniería impecable, investigación reprobada
El resultado tiene dos mitades y hay que leer las dos.
La primera mitad es genuinamente impresionante: los agentes completaron toda la ingeniería sin ayuda humana. Hicieron revisión de literatura, corrieron cientos de experimentos, recopilaron y ordenaron resultados. Nadie tuvo que sentarse a destrabarlos. Si el trabajo hubiera sido "ejecutá este plan", lo habrían ejecutado.
La segunda mitad es la que importa. Los dos papers generados por el agente fueron rechazados sin ambigüedad por los autores originales.
"Por otro lado, los agentes fueron inequívocamente malos para llevar adelante la investigación en sí", dijo Kapoor. "Los papers no estaban ni cerca de la marca en cuanto a la calidad de una conferencia de primer nivel".
La distinción es quirúrgica: el agente no falló por falta de potencia, ni de velocidad, ni de acceso a información. Falló en la parte del trabajo que consiste en decidir qué vale la pena hacer.
Los cinco modos de falla (y por qué te van a sonar conocidos)
Los investigadores identificaron cinco patrones de error que se repitieron:
- Mal criterio sobre el estándar de lo publicable. El agente no distinguía entre "un resultado" y "un resultado que aporta algo".
- Respuestas poco creativas ante las fallas del propio diseño experimental. Cuando el enfoque no daba, no lo repensaba de raíz: solo lo ajustaba en los bordes.
- Incapacidad de retroceder de un callejón sin salida. Se comprometía temprano con un camino poco prometedor y seguía empujando.
- Mala conciencia de sus recursos. Distribuía tokens, cómputo y tiempo sin una noción real de lo que le quedaba.
- Deriva de instrucciones. Con el correr de los días se iba alejando de las pautas que le habían dado.
A eso se suman detalles que aparecen en el reporte: probaba hipótesis sobre conjuntos de datos sintéticos diminutos, le costaba comunicar por escrito con claridad y, al recibir retroalimentación, en vez de revisar el enfoque, achicaba la afirmación hasta que fuera defendible. Es decir: en lugar de arreglar el trabajo, bajaba la vara.
Si alguna vez le pediste a un agente que resolviera un problema de tu negocio y volvió con algo técnicamente correcto pero estratégicamente inútil, acabás de leer la explicación formal de por qué.
Lo que sí funcionó, y no es un detalle menor
Hay un hallazgo positivo que conviene no pasar por alto: **no hubo reward hacking**. El agente no hizo trampa para "aprobar" la métrica, que es exactamente el comportamiento que más se teme en sistemas autónomos. Y hubo algo más: el agente orquestador detectó alucinaciones ocasionales de sus subagentes.
O sea, la arquitectura de supervisión interna funcionó. Lo que no apareció fue el juicio creativo.
Qué significa esto para un negocio en Bolivia o en cualquier parte de LATAM
Acá está la parte accionable, y es más valiosa que cualquier titular sobre AGI.
Kapoor da la clave del porqué: los modelos son excelentes en tareas que se pueden entrenar con aprendizaje por refuerzo, donde el éxito se verifica automáticamente. "Pero es más difícil crear entornos para entrenar estos modelos cuando la tarea en sí es abierta", explicó.
Traducido al día a día de una empresa: la IA rinde de forma extraordinaria donde existe una señal clara de "esto salió bien", y rinde mal donde alguien tiene que definir qué significa "bien".
Donde conviene soltarle la rienda a un agente hoy:
- Extraer datos de facturas, comprobantes y planillas (el resultado se verifica contra el documento).
- Conciliar pagos contra pedidos (cuadra o no cuadra).
- Responder consultas frecuentes sobre un catálogo definido (la respuesta correcta existe).
- Clasificar, ordenar y limpiar inventario o base de clientes.
- Generar variantes de un texto o una ficha de producto a partir de un formato ya validado.
Donde todavía necesitás una persona decidiendo:
- Qué producto lanzar y a qué precio.
- Qué reclamo de cliente es un caso aislado y cuál es una señal de que algo está roto.
- Cuándo el enfoque completo está mal y hay que empezar de nuevo.
- Qué problema del negocio vale la pena automatizar primero.
Los cinco modos de falla del estudio son, casi punto por punto, la lista de cosas que un dueño de negocio aporta y un agente no: criterio sobre la vara, capacidad de tirar todo abajo y rehacerlo, conciencia de cuánta plata y cuánto tiempo queda.
Eso también cambia cómo conviene comprar software con IA. La pregunta útil no es "¿tiene IA?", sino "¿en qué parte de mi proceso existe una respuesta verificable, y ahí me está ahorrando trabajo real?". Un sistema que automatiza la carga de comprobantes te devuelve horas todas las semanas. Uno que promete decidir tu estrategia comercial te está vendiendo la parte que el estudio acaba de mostrar que no funciona.
Cómo leer los anuncios de la industria a partir de ahora
El contexto le da peso al resultado. En junio, Anthropic publicó un artículo titulado "When AI Builds Itself" mapeando avances hacia la automejora recursiva. En julio, OpenAI promocionó las capacidades de post-entrenamiento de GPT-5.6 Sol, y tiene como objetivo declarado construir un investigador de IA automatizado. Anthropic, por su parte, intenta algo parecido para automatizar investigación en seguridad.
En ese clima, la cita más llamativa del artículo no viene de un crítico externo sino de adentro: Jack Clark, cofundador de Anthropic, habló de "una cierta ausencia de creatividad intuitiva valiosa en los sistemas de IA actuales" y lo calificó como "una señal bajista para los plazos cortos de automejora recursiva".
Cuando un cofundador de uno de los laboratorios líderes usa la palabra "bajista" sobre su propia tesis central, vale la pena anotarlo.
Las limitaciones que los propios autores admiten
Para ser justos con el estudio —y porque acá no se trata de reemplazar una exageración por otra—, los investigadores reconocen sus propios límites: evaluaron solo dos papers, los autores originales sabían que los trabajos que estaban calificando eran generados por IA (lo que puede sesgar la evaluación), y el equipo tuvo un margen amplio de discreción en el diseño y la ejecución del experimento. El paper está disponible públicamente en arXiv bajo el título "Can AI agents conduct open-ended AI research? Early evidence from two case studies".
Y hay una lectura abierta hacia adelante. Najoung Kim, de la Universidad de Boston, apuntó que "si hay inversión y luego un esfuerzo consciente en esta dirección, siento que habría un progreso interesante". Nadie está diciendo que esto sea un techo permanente.
El propio Kapoor deja la pregunta de fondo planteada: ¿la investigación abierta es imprescindible para la automejora recursiva, o alcanza con ganancias incrementales en tareas medibles y acotadas? "Si miramos hacia atrás, a los mayores avances del campo... todos ellos requirieron saltos creativos", señaló. Y sobre si los sistemas actuales pueden dar esos saltos: "esa es, francamente, la pregunta del billón de dólares en este momento".
El techo no es de potencia, es de criterio
La conclusión práctica es más tranquilizadora de lo que suena el titular, y también más exigente.
Más tranquilizadora, porque el trabajo que más se teme perder —el de decidir qué hacer, qué descartar, cuándo el camino está mal— es precisamente el que sigue del lado humano. Un agente con seis días, tres mil dólares y acceso ilimitado a la web corrió cientos de experimentos y no supo cuál de ellos importaba.
Más exigente, porque saca la excusa de encima: si lo que la IA hace de forma sobresaliente es ejecutar tareas verificables sin cansarse, entonces cualquier negocio que siga gastando horas de gente en cargar datos, conciliar planillas o responder las mismas veinte preguntas está eligiendo no usar la parte de la tecnología que sí está madura hoy.
Esa es la lectura que nos llevamos: los agentes de 2026 son ejecutores extraordinarios y directores mediocres. Armá tus procesos en consecuencia y vas a capturar casi todo el valor disponible, sin apostar a una promesa que, por ahora, la evidencia no respalda.
Fuente: MIT Technology Review