vLLM 0.29: Model Runner V2 pasa a ser el default
El release cierra la migración a Model Runner V2 para todos los modelos y marca a la versión anterior como deprecada. También trae nuevos defaults que cambian comportamiento sin que hagas nada.
Model Runner V2 ya es el default
Con esta versión, Model Runner V2 (MRV2) se activa por defecto para todos los modelos, completando un rollout que había empezado con los modelos de pooling. Sumó profiling de memoria en CUDA graphs para el auto-sizing del KV cache, sampling con sharding por batch que reduce en 1/TP la memoria de logits por paso, soporte de prompt embeds, y otras optimizaciones para decodificación uniforme bajo speculative decoding. MRV1 sigue activo solo para algunos modelos en ROCm y para funciones que MRV2 todavía no cubre.
MRV1 queda deprecado
El proyecto ya no acepta mejoras específicas para Model Runner V1 y apunta a removerlo en la v0.32. Si usás sequence parallelism, dual-batch overlap, elastic expert parallelism, logits processors personalizados o ciertos métodos de speculative decoding, vLLM va a seguir cayendo a MRV1 automáticamente hasta que esas funciones se porten a MRV2, algo que el equipo estima para las próximas 2-3 semanas.
Nuevos defaults que te pueden afectar
FlashInfer all-reduce ahora viene activado por defecto para grupos TP en CUDA; si te da problemas, lo desactivás con la variable de entorno. También cambió el hash de prefix-cache a uno determinista, así que si usabas KV cache distribuido ya no necesitás fijar PYTHONHASHSEED. Además se agregaron flags de admisión para controlar cuántas requests o tokens quedan en cola.
VLLM_ALLREDUCE_USE_FLASHINFER=0Breaking changes a revisar
Se removieron diez arquitecturas de modelos deprecadas, y FlexOlmo, Olmo3 y Hunyuan V1/VL migraron al backend de modeling de Transformers. También se sacó el decoder de video PyAV, y python -m vllm.entrypoints.openai.api_server quedó deprecado a favor de vllm serve. Si tenías scripts o configuraciones apuntando a alguna de estas piezas, vas a tener que actualizarlos antes de subir a esta versión.
Qué te llevas
Si no tocás nada, tu instalación pasa a correr sobre Model Runner V2 automáticamente.
Revisá si dependés de sequence parallelism, dual-batch overlap o logits processors custom: todavía necesitan MRV1.
FlashInfer all-reduce y el hash determinista de prefix-cache cambian de comportamiento por defecto, no solo de versión.
Si usás alguna de las diez arquitecturas removidas o el entrypoint viejo del servidor, este release te rompe algo.
¿Quieres una clase de esto?
Si varias personas lo piden, entra al programa. No hace falta dejar mail ni nombre.