埃及和尼日利亚英语口音加入 Open ASR Leaderboard
Egyptian and Nigerian English join the Open ASR Leaderboard
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增两个私有数据集:埃及英语(1.34 小时)和尼日利亚英语(1.55 小时)会话语音,标注含标点、大小写和不流畅处。
几个月前,我们为 Open ASR Leaderboard 添加了私有数据:来自 Appen 和 DataOceanAI 的 11 个数据分片,涵盖五种口音的朗读式和会话式语音(博客)。社区反响热烈,许多人强调了留出测试集对于可信评估的重要性。此后,我们又通过 Voice Arena 添加了一个印度口音英语的私有分片(博客)。
我们很高兴地宣布与 Liva AI 达成新合作,将添加更多私有数据,涵盖两种新口音:埃及口音 🇪🇬 和尼日利亚口音 🇳🇬。
| 数据集 | 口音 | 时长 [小时] | 风格 | 转写 |
|---|---|---|---|---|
| Liva AI Conversational EG | 埃及口音 | 1.34 | 会话式、自发 | 带标点、区分大小写、含不流畅之处。 |
| Liva AI Conversational NG | 尼日利亚口音 | 1.55 | 会话式、自发 | 带标点、区分大小写、含不流畅之处。 |
这是我们持续提升 ASR 评估代表性(更多口音和更多语言)并增强可信度(用新的私有数据尽量减少刷榜行为,以及引入新的数据提供方)的努力的一部分。我们很高兴看到社区继续推动面向全世界的 ASR 性能提升 🤗
Private 标签页中更丰富的口音细分
借助这些新口音,我们现在可以基于 Kachru 的三大同心圈呈现更丰富的口音细分(感谢 Hume AI 在其 排行榜中提出的这一创意)。Open ASR Leaderboard 现在将报告:
- 美国 vs. 非美国(英国、澳大利亚、加拿大、印度、尼日利亚、埃及)
- 内圈(美国、英国、澳大利亚、加拿大)vs. 外圈与扩展圈(印度、尼日利亚、埃及)
随着更多口音的加入,我们将进一步细分外圈和扩展圈。
关于 Liva AI
Liva AI 通过真实用户使用的消费级产品收集多模态交互数据。由于 Liva 同时拥有数据收集环境和分发渠道,它能够围绕跨领域、跨行业、跨语言、跨模态和跨交互类型的具体模型缺口来设计产品。这使其能够获取通过真实产品使用自然产生的、高上下文的行为数据,而非人为诱发或基于任务的交互。
来源: Hugging Face Blog · huggingface.co