Nemotron 3.5 Transcribe: un modelo, cuatro tareas de audio
NVIDIA liberó un modelo de transcripción que también diariza, traduce y responde preguntas sobre audio con prompts en lenguaje natural, más el dataset Granary v2 y recetas para ajustarlo a tu dominio.
Un checkpoint para cuatro tareas distintas
Nemotron 3.5 Transcribe es un modelo de pesos abiertos que toma audio grabado y produce transcripción, atribución de hablantes (diarización), traducción y respuestas a preguntas sobre el contenido, todo desde el mismo checkpoint. Transcribe 40 idiomas, traduce 31 de o hacia inglés, y diariza en 13. Soporta grabaciones de hasta una hora y etiqueta hasta ocho hablantes distintos. Antes de esto, cada una de estas tareas normalmente requería un modelo separado: uno para ASR, otro para diarización, otro para traducción, encadenados en un pipeline. Tener todo en un solo modelo simplifica el stack si tu aplicación necesita más de una de estas funciones sobre la misma grabación, por ejemplo una llamada de soporte multilingüe donde necesitas saber quién habló y además traducir.
Controlar la salida con instrucciones en texto
El modelo es promptable: en vez de tener flags o parámetros fijos, le das una instrucción en lenguaje natural que define cómo quieres el resultado. Esto importa para vocabulario de dominio, donde el riesgo típico de un ASR genérico es transcribir mal términos técnicos o nombres propios que no vio en entrenamiento. Las notas dan un ejemplo concreto: en un contexto médico, puedes decirle al modelo qué términos esperar y cómo escribirlos, antes de pensar en reentrenar nada. El model card trae presets recomendados, incluyendo razonamiento para preguntas sobre audio, una guía completa de prompts y una matriz de qué tarea soporta qué idioma (el soporte de idiomas no es uniforme entre tareas, y la respuesta de preguntas solo está entrenada en inglés). También soporta timestamps a nivel de palabra, útil para sincronizar transcripción con reproducción de video o audio.
Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.Cómo integra la diarización al transcribir
La atribución de hablantes no corre como un paso separado después de transcribir: las señales de un componente llamado Sortformer llegan al modelo de lenguaje junto con las características acústicas, así que el modelo etiqueta cada turno de habla mientras genera el texto, en vez de intentar pegar hablantes a palabras ya transcritas en una segunda pasada. Esto es relevante en diálogo superpuesto o con cambios rápidos de turno, donde los enfoques en dos etapas suelen perder precisión. Por debajo, el modelo combina un encoder de audio con un modelo de lenguaje híbrido Mamba-Transformer de mezcla de expertos: de 30B de parámetros totales, solo activa unos 4B por token. Eso explica por qué compite en precisión con modelos bastante más grandes sin pagar el costo de cómputo completo de esos 30B en cada inferencia.
Resultados en los leaderboards
En el Hugging Face Open ASR Leaderboard (inglés), Transcribe queda primero entre modelos de pesos abiertos con 5.33% de WER promedio, excluyendo modelos vía API. En Artificial Analysis empata en primer lugar entre modelos abiertos con 2.8% de AA-WER, pero con cerca de 4B de parámetros activos contra 24B del modelo con el que empata, y queda en la frontera de Pareto de precisión versus parámetros activos. En el subconjunto AA-AgentTalk, orientado a agentes de voz, saca 1.8% de WER contra 2.3% del siguiente mejor modelo abierto. En diarización, lidera el leaderboard de 21 idiomas de David AI con 18.26% de tasa de error de diarización (apenas delante del modelo dedicado Nemotron 3 Diarization, con 18.38%) y también el comparativo de 14 sistemas de VoiceArena, con la menor tasa de palabras eliminadas de todo el grupo.
Dónde corre y qué no es
El modelo corre en una sola GPU NVIDIA, desde Jetson AGX Thor y DGX Spark hasta GPUs Blackwell de centro de datos. En una RTX PRO 6000 Blackwell Server Edition con precisión NVFP4, procesa 100 horas de audio en menos de tres minutos, medido sobre clips de 30 segundos con alta concurrencia. Puedes servirlo con vLLM o correrlo localmente con NeMo-Speech.cpp. Es importante tener claro el límite: está construido para audio grabado, no para streaming en vivo, así que si tu caso de uso es transcripción en tiempo real durante una llamada, este no es el modelo indicado tal como está planteado en las notas.
Adaptarlo a tu dominio con Granary v2
Junto con el modelo, NVIDIA liberó Granary v2, un dataset multilingüe y un pipeline de curación de datos reutilizable, junto con herramientas de fine-tuning de NeMo Speech. La idea es llevar el control que das por prompt a nivel de entrenamiento: en vez de describir el vocabulario que esperas en cada llamada, ajustas el modelo para que lo reconozca de forma nativa. Un caso de estudio médico documentado en las notas muestra el impacto: hacer fine-tuning redujo el WER en hablantes no vistos durante entrenamiento en 45.8% relativo, comparado contra el mejor prompt posible sobre el mismo modelo base. Esto importa para quien trabaja con vocabulario muy específico y repetido (medicina, legal, jerga técnica de una industria) donde el prompteo tiene un techo y el ajuste fino lo supera con margen.
Qué te llevas
Un solo checkpoint reemplaza el pipeline típico de ASR + diarización + traducción separados.
El control es por prompt en lenguaje natural, incluyendo vocabulario de dominio y formato de salida.
Lidera leaderboards abiertos de transcripción y de diarización, con solo ~4B de parámetros activos de 30B totales.
Corre en una sola GPU, de Jetson a Blackwell, pero está pensado para audio grabado, no streaming en vivo.
Granary v2 más fine-tuning con NeMo Speech permite bajar el WER más allá de lo que logra el mejor prompt, con un 45.8% de mejora relativa en el caso médico documentado.
¿Quieres una clase de esto?
Si varias personas lo piden, entra al programa. No hace falta dejar mail ni nombre.