vLLM 0.30.0: recarga rápida, watermarking y KV en host
El release trae un caché de pesos persistente entre reinicios, marcado de agua para texto generado y una capa de memoria host para KV cache disperso. Sirve si operás servidores de inferencia a escala.
Fast Start: no recargues pesos desde disco
Un daemon persistente por GPU mantiene en memoria los pesos ya cuantizados y particionados por tensor parallel. Al reiniciar el engine, esos pesos se mapean vía CUDA IPC con --load-format ipc_cache en lugar de leerse de nuevo desde disco. La cobertura ahora incluye checkpoints FP4 y configuraciones de TP multi-nodo.
Watermarking: marcar y detectar texto generado
Se agrega generación y detección con Gumbel-max watermarking usando una PRF con clave, con opt-out por request y un endpoint de ejemplo para detección. La variante dual-key hace que el watermarking sea compatible con speculative decoding. El frontend en Rust ya reenvía estos controles por request.
HiSparse: KV cache disperso en memoria host
Esta capa mueve páginas de KV cache a memoria pinned del host cuando hay presión sobre la GPU, y sirve los misses de top-k desde un buffer caliente por request en GPU. Se habilita con HiSparseConnector, expone contadores Prometheus y ahora comparte el cache de host entre distintos ranks de TP.
Model Runner V2: menos tiempo de arranque
Congelar el garbage collector durante la captura de CUDA graphs bajó ese paso de 12 a 2 segundos, y la inicialización completa del engine de 28.9 a 8.2 segundos en H200. También se agregó dual-batch overlap en modo eager y con graphs completos, y --return-sampling-mask compactado en GPU corrige una regresión de aproximadamente 2x en tiempo de paso para entrenamiento RL.
Cambios que rompen compatibilidad
Los endpoints de scale-out pasan a ser opt-in con --enable-scale-out, reemplazando la variable de entorno anterior. Se eliminó el ordenamiento de activaciones de GPTQ (g_idx), se sacaron las variables deprecadas desde 0.29 y el modo all de cache Mamba quedó deprecado. YaRN además se alineó con Transformers, así que los alias de proveedores ya no re-escalan max_model_len como antes.
What you get
Si tu servicio reinicia engines seguido, el weight-cache con IPC evita recargar pesos desde disco.
Tenés watermarking nativo compatible con speculative decoding, con opt-out por request.
Model Runner V2 recorta tiempos de arranque de forma medible: hasta 3.5x más rápido en H200 según los números publicados.
Si venís de 0.29, revisá los breaking changes antes de actualizar: variables de entorno removidas, GPTQ g_idx fuera, y el comportamiento de YaRN cambió.
Want a class on this?
If enough people ask for it, it goes on the schedule. No email, no name needed.