El radar
Ai2 publicó un benchmark que separa el seguimiento de estado en cuatro niveles de dificultad y muestra dónde se rompen transformers, modelos híbridos y frontera como GPT-6 o Claude Opus 5.5.
StateBench evalúa qué tan bien un modelo de lenguaje mantiene actualizada la información sobre entidades a medida que un documento largo las modifica. No es un problema abstracto: aparece cada vez que lees código con variables que se reasignan, o una novela donde un personaje cambia de ubicación o un objeto pasa de mano en mano. Si un texto dice que John le dio el cuchillo a Mary justo antes de un asesinato, el modelo necesita saber que el estado de ambos personajes cambió, no solo recordar la frase literal. Ai2 construyó este benchmark porque los tests existentes de seguimiento de estado tienden a concentrarse en los casos más difíciles, y eso deja un punto ciego: no queda claro qué arquitecturas fallan en los casos simples versus los complejos, ni en qué punto exacto se rompen a medida que crece el contexto. StateBench busca llenar ese hueco con una escala de dificultad explícita en vez de un único nivel de exigencia.
El benchmark define cuatro niveles de complejidad, pensados como tipos de asignación de variables. En el nivel r-trivial, una variable se fija una vez y nunca cambia, como en let x = 4 o como una fecha de nacimiento: el modelo solo necesita recuperar el primer valor que vio. En el nivel aperiódico se permite reasignar por valor, como x = 4 seguido más tarde de x = 2, similar a un termostato donde solo importa el último ajuste; aquí el modelo debe encontrar la actualización más reciente e ignorar las anteriores. El nivel soluble agrega actualizaciones autorreferenciales, donde cada cambio se construye sobre el valor anterior, como x = x + 5 o el puntaje acumulado de un juego: el modelo ya no puede saltarse pasos, tiene que arrastrar el cambio hacia adelante. El nivel más difícil, general finito, agrega asignación por referencia, donde una variable puede tomar el valor de otra, como x = y o el intercambio de dos variables, al estilo de un mago que esconde una bola bajo uno de cinco vasos y los va intercambiando: para encontrar la bola hay que seguir cada intercambio sin perder ninguno.
Esta jerarquía de cuatro niveles no es arbitraria: está anclada en la teoría de Krohn-Rhodes, una rama del álgebra que describe cómo los problemas de seguimiento de estado pueden entenderse como problemas de palabras sobre monoides finitos y descomponerse en primitivas atómicas. Cada nivel de StateBench corresponde a una clase de problemas que se construye con un conjunto distinto de esas primitivas. Esto conecta con límites teóricos ya documentados sobre los transformers: bajo supuestos estándar, se espera que manejen bien el nivel r-trivial, con cierto margen en soluble y aperiódico, pero que fallen en el nivel general finito por las cadenas de dependencia largas que ese nivel introduce. En contraste, arquitecturas como Gated DeltaNet, que mantienen una memoria recurrente que se actualiza paso a paso, deberían en principio poder resolver los cuatro niveles. StateBench fue diseñado para poner esa predicción a prueba de forma controlada: toma una secuencia general finita y deriva de ahí las tres versiones más simples, usando el mismo número de variables, los mismos valores y los mismos puntos de actualización, de modo que lo único que cambia entre los cuatro problemas es el tipo de asignación.
Ai2 probó modelos abiertos cuyo entrenamiento y longitud de contexto están completamente documentados: Olmo 3 (transformer), Olmo Hybrid (que suma capas de Gated DeltaNet), y versiones más chicas de 275 millones y 2.7 mil millones de parámetros. Ninguno había visto contextos de más de 64,000 tokens durante el entrenamiento, y los evaluaron en entradas que superaban esa longitud. Casi todos los modelos resolvieron bien el nivel r-trivial, perdieron precisión en el nivel aperiódico conforme crecían las entradas, y se quedaron en el nivel del azar en el nivel general finito, confirmando la predicción teórica para los transformers puros. Pero apareció un hallazgo adicional importante: el formato del problema afecta el resultado. Los modelos híbridos y Gated DeltaNet de 275 millones de parámetros rindieron casi al tope en problemas r-trivial presentados al estilo RULER, pero cayeron al nivel del azar cuando el mismo problema se presentaba como ediciones de una hoja de cálculo. Por eso StateBench prueba el mismo problema subyacente en varios formatos distintos.
Ai2 también evaluó cuatro modelos de frontera —Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna— pidiéndoles leer una secuencia de asignaciones de variables y generar el valor final de cada una. Los cuatro resolvieron bien los niveles r-trivial y aperiódico, sin importar demasiado la longitud de la entrada. Pero en los niveles soluble y general finito, la precisión cayó con fuerza a medida que crecían los documentos, llegando a 13% o menos en los problemas general finito más largos, un resultado cercano al azar. Una explicación que proponen es la sensibilidad: en estos niveles más difíciles, muchos más pasos intermedios pueden afectar la respuesta final, así que un modelo tiene mucho menos margen para saltarse una sola actualización sin que el resultado completo quede mal.
Para saber si el problema está en la arquitectura o en que el preentrenamiento simplemente nunca enseña esta habilidad, Ai2 entrenó desde cero seis modelos de 275 millones de parámetros directamente sobre StateBench: dos transformers, dos híbridos y dos variantes de Gated DeltaNet con distintas restricciones en su actualización de memoria. Entrenaron con secuencias de hasta 256 asignaciones y evaluaron con secuencias de hasta 64,000, 250 veces más largas que lo visto en entrenamiento. Los resultados divergieron claramente por arquitectura: Gated DeltaNet y los híbridos generalizaron casi perfecto en los niveles r-trivial, aperiódico y soluble incluso en las secuencias más largas probadas, del orden de decenas de miles de asignaciones. Los transformers aprendieron los niveles fáciles pero se degradaron con secuencias largas, y nunca lograron aprender el nivel general finito, ni siquiera entrenados directamente sobre él. La variante de Gated DeltaNet con actualización de memoria más flexible fue la que generalizó más lejos en el nivel más difícil, manteniéndose casi perfecta hasta aproximadamente diez veces la longitud máxima vista en entrenamiento. Esto indica que la brecha de los modelos recurrentes e híbridos pretrained venía de los datos de entrenamiento, no de un límite de la arquitectura; en cambio, para los transformers el límite parece estructural.
Quedan preguntas sin resolver. Ai2 presenta una prueba nueva que muestra que la variante de Gated DeltaNet con memoria más restringida (autovalores no negativos) puede resolver todas las tareas aperiódicas y ciertas tareas periódicas, como detectar si una entrada repetida ocurrió un número par o impar de veces, bajo aritmética de precisión fija con redondeo. Pero su posición exacta dentro de la jerarquía sigue abierta: no está claro si puede resolver todas las tareas soluble, ni cómo afecta la precisión numérica o la combinación con capas de atención. Además, StateBench asume un número fijo de variables, mientras que en tareas reales las entidades suelen aparecer sobre la marcha, como personas u objetos nuevos que entran en una conversación larga; ese escenario todavía no está cubierto por el framework actual.
StateBench divide el seguimiento de estado en cuatro niveles —r-trivial, aperiódico, soluble y general finito— basados en teoría algebraica, no en intuición.
Los transformers, incluidos los de frontera (Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y Luna), caen a precisión cercana al azar en el nivel más difícil cuando las entradas crecen.
Gated DeltaNet e híbridos entrenados directamente en la tarea generalizan a secuencias hasta 250 veces más largas que las vistas en entrenamiento; los transformers nunca aprenden el nivel más difícil ni entrenados a propósito.
El formato del problema importa tanto como la arquitectura: el mismo problema presentado como hoja de cálculo en vez de estilo RULER puede hacer que un modelo pase de casi perfecto a nivel azar.
El benchmark todavía no cubre escenarios donde aparecen entidades nuevas sobre la marcha, algo común en conversaciones largas reales.
Este resumen lo escribimos a partir de las notas oficiales del anuncio. Lo que no estaba ahí, no está aquí.
Tu pedido
Si varias personas la piden, entra al programa como un video animado de 5 a 8 minutos. No hace falta dejar correo ni nombre.
Más del radar
Ya hay claseMIT Technology ReviewSage
Tau Robotics envía robots humanoides a limpiar casas en San Francisco, pero detrás de cada tarea hay un humano operándolos a distancia. Así es la distancia entre la demo y la autonomía real.
Solo en textoGoogleSage
Google lanzó Gemini Omni 1.2 Flash con generación nativa de video de hasta 15 segundos, edición conversacional y mejor consistencia visual, a un 30% menos de costo. Sirve para quien produce anuncios, contenido de producto o escenas narrativas a escala.
En cola para una claseNVIDIASage
NVIDIA detalla cómo fabricantes de equipos y software de semiconductores usan cómputo acelerado, modelos de física y agentes para recortar tiempos de simulación y decisión en la manufactura de chips.