Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

思考

总结

Voxtral 3 推出了尖端的语音智能体 SDK 和最先进的语音模型，专为跨 50 多种语言的实时多轮对话而设计。它结合了精准的转录、具有情感适应性的自然语音合成，以及深度工具集成，实现无缝的工作流自动化。可通过 Mistral 的欧盟托管 API 获取或自行部署，在确保数据主权的同时，为联络中心、虚拟助理和免提副驾驶提供低延迟、类人交互体验。

语音转录和语音生成已经取得了长足进步，但构建能够倾听、推理、交互并处理复杂工作流的端到端语音智能体仍然困难重重。 

一个可靠的语音智能体需要同时出色地做好四件事： 

1. 精准倾听，跨越语言、口音、说话人和打断，

2. 深度推理，理解用户在特定语境中的真实含义，

3. 自然表达，带有情感和表现力，以及 

4. 采取行动，通过互联系统执行多个步骤。 

让这四项能力在实时场景下可靠地协同工作，仍然是一个挑战。 

为此，我们推出 Voxtral 3：一系列最先进的语音转文本和文本转语音模型，以及一个语音智能体 SDK，将倾听、思考、工具调用和说话整合到单一的实时流式处理管线中。

Voxtral 3 旨在打造自然的对话体验，应用场景涵盖联络中心客服和服务台，到虚拟助理和免提副驾驶。凭借对数十种语言的支持、富有表现力的语音、复杂的推理能力，以及与您自己的工具和数据的深度集成，使用 Voxtral 构建的智能体能够解读细微的意图，推理处理复杂的请求，并跨互联系统执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为主权部署而设计。现可通过 Mistral 的欧盟托管 API 获取，或部署在您自己的基础设施上，让组织能够掌控音频的处理位置、数据的管理方式，以及对话是否被保留。

亮点

1. 跨 50 多种语言的精准转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于最先进水平，能够识别谁在说什么（说话人分离），并利用关键词提升准确性（上下文偏置）。它还能检测对方何时结束说话，使智能体可以毫无延迟地作出响应（回合结束检测）。

2. 能适应对话的自然语音。文本转语音模型 Voxtral Mini TTS 3 推出了全新的语音，可根据对话语境调整情感、语速和重音，支持 35 种以上语言和 50 种以上方言。

3. 听凭您（口头）指挥的类人智能。全新的语音智能体 SDK 将倾听、推理、工具调用和说话整合为实时体验。智能体可以在通过电话或网页进行的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice，实现精准独特的声音适配。对于基础语音克隆无法满足的专业用例，Voxtral 的 Pro Voice 适配仅需 30 分钟音频，就能跨语言再现说话人独特的个性、情感范围和说话风格。 

5. 你的语音 AI，部署在你的基础设施上。可使用 Mistral 的欧盟托管 API，或在你自己的基础设施上部署 Voxtral 3。将敏感对话保留在你的环境内，并自主控制是否保留任何音频。 

立即试用 Voxtral  | 了解更多

它能听懂 50 多种语言，并具备最先进的准确率。

Voxtral Transcribe 3 在转录、说话人分离（谁在何时说话）和上下文偏置能力方面都是一个重要的里程碑。支持的语言列表扩展至 50 种，包括 24 种欧盟官方语言以及许多低资源的亚洲和印度语言。

Small 版本在说话人分离和多语言转录（包括英语、法语和西班牙语）方面均达到最先进的结果。它超越了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体为 4B 参数，能以 $0.0035/分钟的价格实现快速而准确的转录。

两款模型均支持上下文偏置，即提供关键术语和自由文本对转录进行偏置，从而提高对技术术语的召回率。这使它们无需微调即可在生产环境中使用领域专用词汇。

Voxtral Realtime Transcribe 3 是一款为智能体使用场景构建的实时转录模型。它能以低于 500 毫秒的延迟对超过 35 种语言实现高质量转录，并支持说话人分离与上下文偏置。

端点预测为原生支持，结合声学与语义信息，准确预测用户何时说完。这使低延迟语音智能体应用成为可能，同时将用户被过早打断的错误切断率降至最低。

它以合适的情感作答，使用你或你的客户品牌的专属音色和当地方言。

Voxtral Mini TTS 3.0 提供批量和实时两种模式，在 35 种以上语言和 50 种以上方言上实现了最先进的表现力和指令遵循能力。Voxtral Speech 3 的价格为每 100 万字符 13 美元，运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类模型。

该语音模型能更好地隐式理解上下文的语义，在多样化的情感和语言范围内生成自然的语音。新增和改进的功能包括基于 30 分钟以上采样音频的音色克隆、自定义提示词指令遵循（IF）、上下文 TTS 以及词汇库，所有这些都旨在保障语音在部署中的可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示词

我们把这场争论终结于此：它读作 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖于情感，情感决定了语音的韵律、节奏、快慢、重音和过渡。Voxtral TTS 原生解释提示词的文本上下文以确定情感和语音风格，使模型天生更擅长自然语音，而无需额外的指令或音色提示。

展示 Voxtral 在表现力上的迭代提升、数字和独特名称。

提示词

感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。可以确认一下您的电子邮箱地址吗？我这里是 [email protected]，对吗？

Voxtral 1

Voxtral 3

语音在 35 种语言和 50 多种方言中听起来都很地道。

Voxtral TTS 支持 35 种语言及地区方言。我们的多语言评测遵循方言在发音、正式与非正式语域、拼写、冗长度和本地惯例（时间、日期、温度、地址、货币）上的差异。

Voxtral 3 多语言库

语音预设提供 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音智能体掌控整个对话。

Voxtral 3 推出语音智能体 SDK，基于 LiveKit 构建，将语音输入、推理和语音输出作为一个流式管线运行。Voxtral Mini Transcribe Realtime 3 负责监听并检测来电者何时说完，一个通用模型——比如 Mistral Small——进行推理并调用工具，而 Voxtral Speech 3 则根据迄今的对话语气进行回复。没有任何阶段需要等待前一阶段，因此每轮对话在一秒内即可完成，当来电者插话时智能体会停止说话。

在通话过程中，智能体可以通过函数调用、网页搜索以及对您自有系统的检索，来验证来电者身份、查询账单或预约。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并能连接您已有的电话、IVR 和呼叫中心软件。

每个阶段都是独立的模型，因此您可以更换 LLM、声音或语言而无需重写智能体，并在欧洲的 Mistral API 上或您自己的基础设施上运行整个技术栈。

开始使用。

Voxtral 3 即日起可通过 Mistral API 使用，托管于我们的欧洲、美国和全球端点。

您可以在 Studio 演练场中测试语音智能体、音频转录、语音生成和语音克隆。 

如需在本地或私有云中运行完整技术栈，请联系我们的团队。