NVIDIA 发布开源语音模型 Nemotron 3.5 Transcribe 及 Granary v2 数据管线

一个开放模型，支持多语言转录、说话人归属、翻译和音频问答，在多个排行榜上名列前茅，并附带开放的 Granary v2 数据流水线和微调配方，便于进行适配。

一份转录文稿可以捕捉到每一个说出的词，但用户或应用仍然可能不知道谁说了什么、如何翻译，或如何格式化领域专有术语。多语言通话、节奏快速的会议和医疗听写各自需要不同的输出：翻译、说话人标签，或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，能将录制的语音转换为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转录、说话人归属（分离）、翻译和音频问答整合到一个检查点中：可转录 40 种语言，将其中 31 种语言与英语互译，并对 13 种语言进行说话人归属。它可处理长达一小时的录音，并最多标记 8 位说话人。开发者可以用自然语言引导输出、选择音频处理的位置，并将识别适配到领域词汇和口音。

Transcribe 在 Hugging Face Open ASR 排行榜的开放权重模型中英语排名第一，并位于 Artificial Analysis 的精度–活跃参数前沿。在说话人归属方面，它在 David AI 的 21 种语言说话人分离排行榜上错误率最低，并在 VoiceArena 的 14 系统对比中排名第一。它可在单块 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据筛选流水线，加上 NeMo Speech 微调工具，将提示级控制扩展到了训练中：开发者可以定义所需的书写形式，并让模型适配其应用所遇到的语音。在一项医疗案例研究中，微调使保留说话人上的词错误率（WER）相对最佳提示降低了 45.8%。

用自然语言引导转录与分析

同一个检查点可以根据指令将一份会议录音转换为不同的输出：

“转录这段录音并标注每位说话人。”
“将这段音频翻译成英语。”
“这次会议做出了哪些决定？”

请在下面的视频中体验该模型的实际表现，它处理了 1940 年神经喜剧 His Girl Friday（《小报妙冤家》）中的一个经典场景——这部电影以其快速且大量重叠的对话而闻名。

Nemotron 3.5 Transcribe 为 His Girl Friday (1940) 中的一个场景生成字幕并标注说话人，包括重叠对话。

对于不熟悉的术语，先尝试利用上下文，而不是直接训练。例如在医疗环境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡中包含推荐的预设，包括针对音频问题的推理设置，以及完整的提示指南和任务-语言矩阵：语言支持因任务而异，音频问答仅以英语训练。也支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人切换和回答。

从实时课堂到持久的课程。 Agora 是一家为应用中的实时对话提供实时语音与视频平台的公司，其在一个课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将一节录播课转换为文字记录，并与回放一同显示，学生可以看到说了什么、何时说的。Agora 的博客详细介绍了他们的构建过程。

从转写到说话人归属的排行榜冠军

在开源权重模型中，Transcribe 在“说了什么”方面领先；在“谁说的”方面，它在两项说话人归属基准上直接登顶。

Hugging Face Open ASR 排行榜。 该排行榜在公开测试集上以词错误率（WER）衡量转写准确率，分为三个赛道：

英语：以 5.33% 的平均 WER 位列开源权重模型第一（图 1）。
多语言：七种语言的平均 WER 为 4.62%，是模型卡中 Open ASR 对比里被评估的开源权重模型中最低的。
长音频：平均 WER 为 10.98%，也是该对比中最低的。

图 1. Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 排行榜（英语）上以 5.33% 的平均 WER 位列开源权重模型第一（不含 API 模型）。WER 越低表示转写错误越少。

Artificial Analysis 语音转文本排行榜。 Artificial Analysis 独立地按 AA-WER（其词错误率指数）对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开源权重模型中并列第一，其活跃参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk（占 AA-WER 指数 50% 的留出语音智能体语音测试集）上，Transcribe 的 WER 为 1.8%，而次优的开源权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型相结合，因此其 30B 参数中每个 token 只有约 4B 处于活跃状态。这使其跻身 Artificial Analysis 的准确率对活跃参数的开源权重 Pareto 前沿。在 AA 的全模型图表上，它的排名领先于多个广泛使用的专有语音 API。

图 2. 以约六分之一的活跃参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 的活跃参数实现了 2.80% 的 AA-WER。

跨语言与重叠语音的说话人归属。 Sortformer 的说话人线索与声学特征一同送达语言模型，因此 Transcribe 可以在生成过程中为每段对话标注说话人，而不是仅依赖后续步骤将说话人附加到文字上。

David AI DAI-ASR-I18N 排行榜。 在 David AI 的 DAI-ASR-I18N 转写与说话人归属综合赛道上，Transcribe 在被评估的开源权重模型中排名第一，总体排名第二。在该基准的说话人分轨（diarization）赛道（评估 21 种语言中谁在何时发言）上，它是 14 个受测系统中说话人分轨错误率最低的，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

图 3. NVIDIA 模型包揽 David AI 多语言说话人分轨排行榜的前两名：Nemotron 3.5 Transcribe 取得最低的整体说话人分轨错误率（DER），在 21 种语言上为 18.26%，其次是 Nemotron 3 Diarization 的 18.38%。DER 衡量说话人时间上的错误，越低越好。

VoiceArena Diarization-Bench。在 VoiceArena 的英语整段会话基准测试中，Transcribe 在 14 个系统里取得了最低的拼接最小置换词错率（cpWER），并在面对面和在线两种场景下均排名第一。它的漏词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

$VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%$

图 4. NVIDIA 模型在 VoiceArena 的 14 系统对比中包揽前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，其次是结合 Nemotron 3 Diarization 的 NVIDIA Multitalker Parakeet，为 34.2%。Diarization-Bench v1 涵盖英语整段会话、重叠语音以及 2–8 名说话人。cpWER 在匹配说话人标签后统计词错误；数值越低越好。

更多评测。Ocular AI 的 Converse-STT 评测将 Transcribe 评为最佳开源模型。Josh Talks 的 Voice of India 排行榜则报告了 Transcribe 在印度诸语言上的成绩。

从边缘到数据中心的运行。Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU 均可。在配备 NVFP4 精度的一块 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它能在不到三分钟内处理 100 小时音频（在高并发下以 30 秒片段测得）。

立即通过 vLLM 部署该检查点，或使用 NeMo-Speech.cpp 在本地运行。Transcribe 为录音音频打造，不支持实时流式处理。

专业领域的录音可能仍需要针对领域词汇和转录规范进行适配。Granary v2 和 NeMo Speech 微调可以解决这一问题，起点便是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开源数据整理流水线

可提示的语音模型需要带有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音合集的一部分。它由 NVIDIA NeMo Curator 构建，其可复用流水线整理了 Nemotron 3.5 Transcribe 训练中所用的多语言语音，生成了对齐的转录变体、任务标签以及可检查的质量元数据。公开清单涵盖 48 种语言、16 个来源语料库、共 463,062 小时，相比 Granary v1 的 25 种语言有所扩展。这些数字描述的是数据集发布内容，而非 Transcribe 完整的训练混合数据或其采样权重。

Granary v2 为每条录音生成三种转录形式（表 1），也就是开发者可以通过提示词向 Transcribe 请求的逐字和净稿两种风格。除了转录之外，该流水线还能生成简短音频描述、外来词的语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及附带自动质量评分的翻译。

训练目标	示例转录
文本规范化、逐字	I paid, uh, twenty-five euros.
逆文本规范化，含不流畅成分	I paid, uh, €25.
逆文本规范化，不含不流畅成分	I paid €25.

表 1. Granary v2 针对同一语句的训练目标。

该流水线由四个可复用阶段组成：

1. 音频准备（元数据）：切分原始或长格式音频，在整个录音中跟踪说话人，并标注声学事件和语言。Granary v2 的来源数据已经完成切分，因此本次发布跳过了这一阶段。
2. 转写（ASR）：将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时进行回退。人工参考转写文本有助于保留可信的拼写，同时添加口语形式和不流畅表达。
3. 任务标签生成（文本）：派生转写变体，然后检查字符速率、幻觉模式以及模型或人工参考的一致性。只有通过审核的记录才会获得上下文 ASR 术语和翻译。
4. 高保真（HiFi）：过滤掉有噪声、被截断或包含多个说话人的片段，保留一小部分高质量录音用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 354k 小时缩减为 22 种欧洲语言下的 111k 小时。

图 6. Granary v2 数据策展流水线，跟踪一个样本从原始音频经过 Metadata、ASR 和 Text 阶段直到生成训练示例的全过程。

开发者可以使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流水线，处理自己的录音或已获授权的公开语料库，或者在 Granary v2 公开清单的基础上进行构建。这些清单包含 tn_raw、itn_raw 和 itn_clean 三种转写形式、上述标签、实体提示、派生的指令对、来源信息以及每条记录的质量标志。请根据每个语料库的原始许可证单独下载源音频，并遵守该版本发布时公布的条款。

让识别适应真正重要的词汇

首先使用一个指定了语言、文字系统和转写格式的开发集提示词。在下面的案例研究中，在提示词中指明英语和拉丁字母后，整个基准测试的 WER 从 30.8% 降至 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流会将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的公开基准上演示了这一渐进过程，该基准由印度医生和医学生的录音组成，包含 3,619 个片段，没有指定的训练集划分。该研究从生成的医疗文本和公开的药品目录构建适配数据，然后组合了约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语，以及来自 MultiMed 的 63 小时医疗录音。

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示词将 WER 从 30.8% 降至 23.8%，微调后进一步降至 11.8%，与开箱即用的模型相比，转写错误减少了约 62%。完整集合包含用于挑选提示词和检查点的 855 个调优片段；下方的留出集结果是更干净的测试。

合成生成将书面目标与其口语发音分离：“HbA1c”是标签，而“H B A one C”被发送给合成器。多个 TTS 音色丰富了音频的多样性；真实录音则增加了口音和录音条件。训练文本经过过滤，只保留与基准参考完全匹配或共享八词序列的内容。

与 Granary v2 的显式目标一样，训练样本在数字、单位间距、公司名称展开和品牌名连字符上有所变化，并由指令规定所需遵循的书写规范。部分提示包含带有近似干扰项的术语列表，使模型学会仅在音频支持时才使用某个拼写。最终系统只使用一个固定的规范提示和一次模型推理，不涉及检索或转录后处理。

该方案训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次训练使用不同的数据配比；在适配器合并后，选定的检查点被均匀平均为一个最终模型。检查点选择依据解码后的开发集结果，而非仅依据训练损失。整个适配流程（从文本生成到评估）在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

在留出说话人上测得的领域增益

该研究将基准按说话人划分为 855 条调优片段（用于选择提示和检查点）和 2,764 条留出片段（每个最终系统仅解码一次）。使用 Eka Care 的 KARMA 评分流程，微调将留出集 WER 从最佳提示基线的 22.44% 降至 12.17%，相对下降 45.8%，这是增益能泛化到新说话人的最有力证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配后模型 12.17% 的 WER 优于一个开源医疗专用模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语方面，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升至 1.69%。在品牌药品和诊断名称的精确匹配上，医疗专用模型仍然领先；该研究指出，下一步应收集临床医生说出品牌名的真实录音。对于你自己的领域，请至少保留 100 条真实的已标注片段用于检查点选择，并在评估通用语音保持能力的同时，评估你的应用所依赖的实体类型。

该案例研究包含可复现每一步的命令。微调教程涵盖配方、资源需求以及用于训练、导出和评估的工具，包括新语言和中英混说 ASR。随附的智能体技能可让编码智能体运行整个工作流，从基线选择和数据检查，到训练验证、适配器合并和评估。

ModelScope 还支持开发者通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 上试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并按照 vLLM 部署指南进行部署。

如需跳过自托管，可使用 Baseten、DeepInfra 或 Simplismart 提供的托管端点。

要将其适配到你的领域，可从 Hugging Face 或 ModelScope 上的 Granary v2 清单文件和医疗 ASR 案例研究入手，或利用微调智能体技能让编码智能体驱动整个工作流。

模型与数据集

模型检查点：NVIDIA Nemotron 3.5 Transcribe 现已登陆 Hugging Face、ModelScope | 交互式演示见 Hugging Face、ModelScope
托管端点：Baseten、DeepInfra、Simplismart \
数据集清单：Granary v2 清单见 Hugging Face, ModelScope
高保真子集：清单见 Hugging Face, ModelScope | Hugging Face Space