Hugging Face Blog·· 16 天前精选AI 评分64
Hugging Face 发布 tokenizers v1 候选版，单线程编码最快提升至 v0.23 的 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 上单线程编码比 v0.23 快 3 到 30 倍，八线程扩展达线性的 76%，且输出 token ID 完全一致。
推荐理由
官方详述 tokenizers v1 的性能优化手段和可复现基准，读者可以据此评估升级对训练与推理数据供给的实际收益。
来源：Hugging Face Blog · huggingface.co