Nvidia 开源 Nemotron 3.5 Transcribe 语音识别模型，集成转写、翻译与说话人识别

英伟达发布了一款可接收文本指令的开源语音识别模型，公司称其在多项基准测试中领先。此次发布还包括一个大型训练数据集以及用于将模型适配到专业领域的工具。

单纯的转写文本无法告诉你谁在什么时候说了什么，也无法翻译内容或正确拼出技术术语。Nemotron 3.5 Transcribe 旨在用一个模型搞定这一切，它还能回答关于录音内容的问题。英伟达表示，该模型可转写 40 种语言，将其中 31 种与英语互译，并能识别 13 种语言的说话人。它可处理长达一小时的录音，录音中最多可包含八位说话人。

用户通过简单的指令来控制模型。根据提示词的不同，同一段会议录音可以变成带说话人标签的转写文本、英文翻译，或者所做决策的摘要。用户还可以传递诸如药品名称之类的技术术语作为提示。该模型只应在这些术语确实出现在录音中时才使用它们。

Streudiagramm von Artificial Analysis, das die Wortfehlerrate offener Spracherkennungsmodelle gegen ihre aktiven Parameter auf logarithmischer Skala aufträgt. Nemotron 3.5 Transcribe liegt bei rund vier Milliarden Parametern und knapp 3 Prozent Fehlerrate auf der Pareto-Linie, nur Voxtral Small mit rund 24 Milliarden Parametern erreicht einen ähnlich niedrigen Wert. — 在 Artificial Analysis 的对比中，Nemotron 3.5 Transcribe 的错误率仅略高于 Mistral 体积大得多的 Voxtral Small，而使用的算力却只是其一小部分。 | 图片来源：Artificial Analysis

单块 GPU 上的接近顶尖准确率

该模型拥有 300 亿参数，但每个处理步骤仅激活约 40 亿参数。因此，它可以在单块英伟达 GPU 上运行，覆盖从紧凑的 DGX Spark 到数据中心硬件的各种设备。英伟达称，该模型在 NVFP4 精度下，用一块 RTX PRO 6000 Blackwell Server Edition 在三分钟内即可处理 100 小时的音频。

在 Hugging Face 的英文 Open ASR 排行榜上，Transcribe 以平均 5.33% 的词错误率在开源权重模型中排名第一。在 Artificial Analysis 的对比中，它的成绩为 2.81%。这接近于最佳开源模型 Voxtral Small 的 2.77%，但 Transcribe 使用的激活参数仅约为后者的六分之一。据英伟达称，几个广泛使用的商业语音服务都落后于它。

Ausschnitt aus dem Open ASR Leaderboard auf Hugging Face mit den zehn bestplatzierten Modellen. Nemotron 3.5 Transcribe führt mit einer durchschnittlichen Wortfehlerrate von 5,33 vor Qwen3-ASR-1.7B mit 5,4 und IBM Granite Speech mit 5,68. — 在 Hugging Face 的 Open ASR 排行榜上，Nemotron 3.5 Transcribe 略胜阿里巴巴和 IBM 的开源模型。 | 图片来源：Hugging Face

领先优势最大的是说话人识别。VoiceArena 在说话人有时会相互重叠说话的对话上测试了 14 个系统，Transcribe 拿下了第一名。它漏掉的单词也最少，仅漏掉 8.32%，而中位数约为 31%。在衡量 21 种语言说话人归因的 David AI 基准测试上，它取得了最低的错误率，仅略微领先于英伟达自己专攻该任务的模型。

Balkendiagramm von VoiceArena zum Diarization-Bench v1 mit englischen Gesprächsaufnahmen inklusive überlappender Sprache. Nemotron 3.5 Transcribe erreicht mit 32,4 Prozent die niedrigste cpWER, gefolgt von Nvidias Multitalker Parakeet mit 34,2 Prozent und MOSS Transcribe Diarize mit 34,7 Prozent, Deepgram Nova-3 liegt mit 71,9 Prozent am Ende. — 在 VoiceArena 的对比中，Nemotron 3.5 Transcribe 是在说话人相互打断的英语对话中判断谁说了什么的最强者。数值越低越好。 | 图片来源：VoiceArena

Balkendiagramm des Benchmarks DAI-ASR-I18N von David AI zur Diarisierungsfehlerrate. Nemotron 3.5 Transcribe liegt mit 18,26 auf Platz eins knapp vor Nemotron 3 Diarization mit 18,38, dahinter folgen MAI-Transcribe-2, Scribe v2 und weitere Modelle bis gpt-4o-transcribe-diarize mit 37,55. — 在 David AI 的基准测试中，Nemotron 3.5 Transcribe 在跨 21 种语言识别当前说话人方面最为可靠。数值越低越好。 | 图片来源：David AI

开放数据集让开发者可以针对自己的领域进行训练

除模型外，Nvidia 还发布了 Granary v2 数据集。它包含 48 种语言、约 844,000 小时的语音，比上一版本的 25 种语言、约 643,000 小时有所增加。每条录音都有多种转录风格。一种是逐字转录，包含“呃”之类的填充词和拼写的数字。另一种则经过清理，不含填充词，并用数字代替文字。Nvidia 还分享了构建该数据集所用的工具，开发者可以在自己的录音上运行。不过公司表示，该数据集与模型的训练数据并不完全一致。

Nvidia 在印度医生和医学生的录音上测试了针对性微调。在完整基准测试中，一个更精确的提示词将错误率从 30.8% 降至 23.8%。微调后，错误率进一步降至 11.8%。训练数据大部分为合成语音。对于模型之前未接触过的说话人，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对提升了 45.8%。这使得调整后的模型超越了一个得分为 13.79% 的开源医学语音模型。Nvidia 表示，整个流程在一块 Nvidia GB300 上大约耗费了 14 个 GPU 小时。

这种专业化是有代价的。模型在通用英语语音上的错误率略有上升，而医学模型在品牌药名上仍保持更高的准确率。Nvidia 建议在构建定制版本时，至少预留 100 条经人工核验的真实录音用于测试。

基础模型也有局限。功能因语言而异，Nvidia 表示音频问答功能仅以英语训练。该模型也只适用于已录制的音频。Nvidia 提醒用户应抽查人名、说话人切换和答案。

该模型和数据集已发布在 Hugging Face 上。还有一个演示可以试用。针对微调，Nvidia 提供了指南和一个扩展，可让 AI 编程助手运行训练流程。

Nvidia 直到今年 9 月才刚推出 Nemotron 3 Diarization，一个专门的说话人识别模型。它能区分多达八位说话人，即使在实时对话中也可以，但实际转录仍需借助 Nvidia Parakeet 等独立模型。Nemotron 3.5 Transcribe 则将两项工作合二为一，并增加了翻译和音频理解能力，不过它不支持实时处理。Nvidia 此前已在其多模态模型 Nemotron 3 Nano Omni 中使用过 Granary 数据集。

竞争对手们则有不同的侧重点。Mistral 的 Voxtral 系列同样兼具转录和音频理解能力。通过最近发布的 Voxtral 3，该公司正专注于实时语音智能体。

AI News Without the Hype – Curated by Humans

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家 "AI Radar" 前沿报告、完整档案访问权限以及评论区访问权限。