Transformers 5.20.1: entra Beam y se corrigen roturas en torch
Este parche suma el modelo Beam de Reflection AI a la librería y corrige una regresión que impedía cargar modelos en versiones antiguas de torch, además de varios fixes puntuales en generación batched y entrenamiento distribuido.
Beam, un modelo nuevo pensado para self-hosting
La nota de release describe a Beam, de Reflection AI, como un modelo frontier-scale orientado a coding y casos de uso agéntico, con énfasis en ser token-eficiente. A diferencia de los modelos que solo consumes vía API, Beam está pensado para que lo corras en tu propio hardware, infraestructura o nube, y lo personalices según tus necesidades. Esto importa si trabajas en un equipo que no puede o no quiere mandar código y contexto de agentes a un servicio externo, o que necesita ajustar el modelo a un dominio específico. Las notas no detallan arquitectura, tamaño de parámetros ni benchmarks, así que si eso te importa para decidir si lo adoptas, vas a tener que revisar la documentación del modelo directamente antes de integrarlo en producción.
Qué significa que sea token-eficiente para coding y agentes
El release pone el foco en coding y uso agéntico, dos escenarios donde el consumo de tokens se dispara rápido: un agente que itera sobre un problema, llama herramientas y revisa su propio output genera contexto largo en cada paso. Un modelo descrito como token-eficiente apunta a mantener la calidad de respuesta gastando menos contexto por interacción, lo que se traduce en menor costo de cómputo cuando lo corres localmente y en loops de agentes más baratos de sostener. Las notas no incluyen cifras de eficiencia ni comparaciones con otros modelos, así que esto queda como la intención declarada del lanzamiento más que como un dato verificable desde el changelog. Si tu caso de uso es justamente automatizar tareas de código con agentes, Beam es la pieza nueva que vale la pena evaluar primero.
La regresión que rompía la carga en torch viejo
El release admite directamente que una versión anterior rompió la carga de modelos en versiones antiguas de torch, algo que ya está corregido en este parche. Este tipo de regresión suele aparecer cuando se introduce código que depende de una API nueva de torch sin resguardar compatibilidad hacia atrás, y el efecto práctico es que from_pretrained o la inicialización del modelo fallan en entornos que no pueden actualizar torch de inmediato, por ejemplo clusters con versiones fijadas por infraestructura compartida. Si venías posponiendo la actualización a 5.20 por errores de carga, este parche es la razón para probarla de nuevo. No se especifica cuál era la versión mínima afectada ni el rango exacto, así que si tenías errores puntuales conviene confirmar que corresponden a este bug antes de asumir que ya están resueltos.
Compatibilidad de torch en checkpointing distribuido
Dentro de los fixes hay dos cambios relacionados con torch en el training distribuido que conviene leer juntos. Por un lado, se corrigió from_pretrained para exigir torch>=2.8 cuando se usa distributed checkpointing en torch 2.7, en vez de fallar de forma confusa. Por otro, se hizo que DtensorShardOperation funcione en torch 2.6 y 2.7, que es un camino de código distinto. En la práctica, esto significa que si tu pipeline de entrenamiento distribuido usa checkpointing vía DTensor, necesitas revisar qué ruta de código estás tocando y qué versión de torch tienes instalada, porque el requisito mínimo no es uniforme entre funcionalidades. Vale la pena fijar explícitamente la versión de torch en tu entorno de entrenamiento en vez de asumir que cualquier 2.x reciente te sirve.
Fix en DeepGEMM Mega MoE con expert parallelism
Se corrigió un bug en DeepGEMM Mega MoE cuando se usa bajo expert parallelism, el esquema donde distribuyes los distintos expertos de un modelo Mixture-of-Experts entre dispositivos para escalar inferencia o entrenamiento. Este tipo de bug suele manifestarse como resultados incorrectos o crashes silenciosos cuando los experts se reparten entre procesos, porque la lógica de kernels como DeepGEMM asume cierto layout de memoria que puede romperse al paralelizar. Si estás sirviendo o entrenando un modelo MoE con expert parallelism sobre Transformers, este fix es relevante para ti aunque las notas no detallan el síntoma exacto ni el escenario de reproducción.
Generación batched corregida en HunYuan-VL
Otro fix puntual corrige la asignación de imágenes durante generación batched en HunYuan-VL, un modelo de visión y lenguaje. El bug sugiere que al procesar varios ejemplos con imágenes en el mismo batch, las imágenes podían quedar mal asociadas a su secuencia de texto correspondiente, lo que da resultados incorrectos sin que necesariamente arroje un error visible. Si usas HunYuan-VL con batch size mayor a uno para servir inferencia, este fix es el que tienes que aplicar antes de confiar en los resultados de generación en producción.
Corrección menor en auto mappings
El release incluye también un fix pequeño en los auto mappings, la capa que permite que clases como AutoModel o AutoConfig resuelvan automáticamente qué arquitectura concreta instanciar según el checkpoint. Las notas no detallan el síntoma del bug ni qué modelos lo gatillaban, así que si no tuviste problemas al usar las clases Auto* con la versión anterior, es probable que este fix no te afecte directamente. Aun así, es parte del parche y vale tenerlo presente si trabajas cerca de esa capa de resolución automática.
Qué te llevas
Beam, de Reflection AI, llega como modelo self-hostable orientado a coding y agentes, sin detalles de arquitectura en el changelog.
Si tenías errores de carga de modelos en torch antiguo con la versión previa, actualiza a 5.20.1: esa regresión está corregida.
El checkpointing distribuido vía DTensor tiene requisitos de torch distintos según la ruta de código: revisa tu versión antes de asumir compatibilidad.
Hay fixes concretos para MoE con expert parallelism y para generación batched en HunYuan-VL que valen la pena si usas esos escenarios.
No hay ejemplos de código ni API nueva documentada en estas notas: para integrar Beam necesitas revisar la documentación del modelo aparte.
¿Quieres una clase de esto?
Si varias personas lo piden, entra al programa. No hace falta dejar mail ni nombre.