跳到正文
The Decoder· Maximilian Schreiner·· 4 小时前AI 评分67

ElevenLabs 发布 Scribe v3 与 Scribe v3 Live 语音识别模型

ElevenLabs Scribe v3 Live uses conversational context to stop voice agents from cutting off callers mid-sentence

AI 导读

ElevenLabs 发布 Scribe v3 和 Scribe v3 Live 两个语音转文本模型,分别面向预录音频和低延迟实时场景,已通过 ElevenAPI 和 ElevenAgents 平台提供。

正文 · AI 翻译

Elevenlabs 更新了其用于录音对话和实时场景的语音识别。独立基准测试证实了其高准确率,但也显示出速度方面的不足。

Elevenlabs 发布了两款新的语音转文本模型:Scribe v3 和 Scribe v3 Live,专为混乱场景打造,例如会议中人们同时说话,或带有背景噪声的电话通话。

Scribe v3 面向预先录制的音频文件,而 Scribe v3 Live 则针对低延迟实时应用。两款模型现已通过ElevenAPI 开发者接口和ElevenAgents 平台提供。

据 Elevenlabs 称,与上一代相比,Scribe v3 在 102 种语言中将词错误率降低了约 25%,公司还表示其德语准确度显著提升。公司称,说话人分离在较大的多人对话中也能更可靠地工作,而且 Scribe v3 Live 首次实现了实时说话人分离。

Scribe v3 准确率领先,但比竞品更慢、更贵

来自Artificial Analysis 的独立基准测试证实,Scribe v3 是市面上最准确的转录模型之一。它超越了微软、Mistral、xAI、Google 和 OpenAI 的竞品,仅落后于阿里巴巴的一个预览版模型。

Scribe v3 是 Artificial Analysis 测试中最准确的模型,但在速度上稍显落后。其基准测试价格为每 1,000 分钟 3.33 美元(图中未显示)。

不过,想要快速且低成本地处理大量音频的用户,选择其他提供商更合适。Elevenlabs 在速度和价格上都处于中游。微软和 xAI 的模型运行速度快数倍,错误率仅略高,而成本约为其一半。

然而,该基准测试只衡量录音文件的词错误率,并未涵盖 Elevenlabs 所宣传的说话人分离、小众语言以及 Scribe v3 Live 实时行为方面的改进。

Scribe v3 Live 旨在防止语音智能体打断来电者

在语音智能体领域,Scribe v3 Live 旨在修复当前系统的一个缺陷:现有系统通常依赖僵硬的停顿计时器,当来电者短暂停下来思考或缓慢读出一串数字时,就会在句中被切断。新的实时模型除了分析音频信号外,还会分析对话上下文,从而判断说话人是否真的已经说完。

Elevenlabs 还为开发者提供了对最终转录结果的更多控制。模型可以预载数千个专业术语(如品牌名或药品名),以避免听错领域特定词汇。开发者可以用自然语言为数字或日期设置格式化规则,而多语言模式可以处理句子中途的语言切换。企业客户可获得欧盟的隔离服务器,以及旨在每次请求后立即删除数据的零保留模式。

ElevenLabs 还在借助新模型拓展企业业务。根据与 Nvidia 扩大的合作协议,该公司正在将开源的 Nemotron 3.5 Super VL 语言模型集成到 ElevenAgents 中,获得运行于 Nvidia 之上的额外算力,为机器人开发本地语音控制,并为波兰的公共医疗系统运行一个电话智能体。该公司还宣布与咨询公司麦肯锡达成结盟,为系统集成商推出更广泛的合作伙伴计划,并上线自己的市场,Salesforce、IBM 和 Zendesk 等公司在其中提供现成的语音智能体。

无 hype 的 AI 新闻 – 由人工精选

订阅 THE DECODER,即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家 "AI Radar" 前沿报告、完整档案访问权限,以及评论区访问权限。

来源: The Decoder · the-decoder.com