跳到正文
Hugging Face Blog·· 3 小时前AI 评分58

Tether AI Research 发布 0.8B 端侧智能体模型 BotPsy,基于 Qwen3.5-0.8B

BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model

AI 导读

Tether AI Research 发布 BotPsy,一个 0.8B 参数、面向 function calling 与智能体工作流的端侧个人助手模型,基于 Qwen3.5-0.8B 训练,将按 Apache 2.0 开放权重,提供 bf16、Q8、Q4 的 safetensors 和 GGUF。

正文 · AI 翻译

前沿云端大语言模型运营成本高昂,且可能产生意外波动;依赖此类第三方模型还会带来脆弱性,因为提供商可能随时修改、拒绝或停用访问。此外,专有模型对特定工作流的定制能力有限,同时对隐私、数据控制和透明度构成风险。再者,并非每项任务都需要前沿级别的智能:小型专用智能体在特定任务上同样胜任,且运行成本显著更低,因为许多日常或较小的工作负载可以在设备上高效处理。随着每参数智能水平持续快速提升,我们力求站在这一向高性能、注重隐私、自托管模型转变的最前沿。

Tether AI Research 推出 BotPsy,一个 0.8B 参数的模型 推出 BotPsy,一个专为函数调用和智能体工作流设计的 0.8B 参数模型,基于 Qwen3.5-0.8B 构建,适合设备端部署。BotPsy 是一个“个人助理”,通过使用工具为用户执行各种简单任务,涵盖网页搜索与研究、旅行与生活方式、商务与金融、企业与客户运营、设备与车辆控制、文件与文档、日历以及电子邮件与消息等领域。由于其参数量较小,最适合中低难度任务。BotPsy 在其尺寸级别实现了最先进(SOTA)的工具使用和智能体性能,超越了我们测试的所有不超过 1.2B 参数的模型(图 1 和图 2)。它专为安全的设备端工作流而设计,在保证用户数据隐私的同时,提供了卓越的指令遵循可靠性和效率。作为一个小模型,BotPsy 仍会出错,不适合高风险用途;请阅读预期用途与局限性了解更多信息。

🤗 模型(safetensors)  |  📦 GGUF(bf16、Q8、Q4)

Bar chart of tool-use and agentic benchmark scores for BotPsy-0.8B and four comparison models
图 1: BotPsy-0.8B 显著优于其基础模型,并在六项工具使用和智能体基准中的五项上领先,包括对比 Qwen3.5-2B-Think(其 2.5 倍大小);仅在 Claw-Eval 上 Qwen3.5-2B-Think 略胜一筹。
Bar chart of knowledge and instruction-following benchmark scores for BotPsy-0.8B and four comparison models
图 2: 知识:与同等规模的模型相比,工具使用训练保留并提升了 BotPsy 的通用知识,但整体知识仍主要随参数量扩展。指令遵循:BotPsy 擅长遵循明确的指令和多轮任务,但随着指令累积其性能会下降,且在低资源语言上表现欠佳。

版权投诉

我们将对版权侵权通知采取相应行动。如果您认为您的作品以侵犯您知识产权的方式被使用或复制,请发送电子邮件至 [email protected],说明并描述受版权保护的作品及涉嫌侵权的内容,以提交侵权通知。

核心亮点

基准测试结果

  • 性能是基础模型的两倍:BotPsy 在关键基准上将 Qwen3.5-0.8B-Think 的智能体能力大致翻倍:BFCL v4 从 23.4 提升至 44.0,ACEBench 从 30.1 提升至 58.7,τ-bench 从 23.2 提升至 51.5(零售、电信和银行子集的平均值)。
  • 同级别最佳智能体:在 ≤1.2B 参数量级别中,BotPsy 在全部六项工具使用与智能体基准(BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus)上都超越了领先模型(Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think、MiniCPM5-1B-Think)。
  • 超越更大的同系模型:BotPsy 在六项基准中的五项上取得了所有受测模型中的最高分,在 BFCL v4(44.0 对 37.7)、ACEBench(58.7 对 55.4)、τ-bench(51.5 对 46.5)、ToolSandbox(64.6 对 41.2)和 BrowseComp-Plus(4.5 对 2.8)上击败了体积为其 2.5 倍的 Qwen3.5-2B-Think。只有在 Claw-Eval 上 Qwen3.5-2B-Think 领先(48.9 对 46.5)。

模型能力

  • 多轮工作流中更可靠:在 τ²-bench 上,智能体需要完成漫长的客户对话、遵循严格的策略并代表客户执行操作,BotPsy 在电信场景得分 82.5,领先 Qwen3.5-2B-Think(69.3)。在 BFCL v4 的多轮任务上,其得分从基座的 7.5 提升到 46.1,接近 Qwen3.5-2B-Think(23.8)的两倍。按应用领域分组,其多步骤得分在商业与服务领域(58.3,对比次优的 Qwen3.5-2B-Think 的 47.4)以及设备与系统管理领域(46.1 对 31.9)均领先所有受测模型。
  • 懂得何时(不)调用工具:一个会执行操作的智能体也必须知道何时不该行动。在 BFCL v4 的幻觉测试中(检验模型在不存在合适工具时是否拒绝调用),BotPsy 得分 86.1,为所有受测模型中最高。在 ACEBench 的特殊情况测试中(请求不完整、参数错误或给定工具无法满足请求),其得分为 51.3,远高于基座模型的 13.7。
  • 遵循指令同时保留知识:BotPsy 专注于工具使用,同时保留通用技能。指令遵循能力大幅提升,IFEval 从 59.7 升至 90.8,IFBench 从 22.0 升至 55.9,是所有受测模型中最高的 IFBench 分数。通用知识同样有所提升,GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9。在这四项基准上,BotPsy 的表现超过了我们测试的每一个不超过 1.2B 参数的模型。

安全性、效率与部署

  • 比同类领先模型更安全:在涵盖六个危害类别的自动化红队测试中,BotPsy 产生不安全响应的比例为 21%,而其基座模型为 36%。这是所有不超过 1.2B 参数的模型中最低的比例(LFM2.5-1.2B-Think:35%;MiniCPM5-1B-Think:47%)。在提示注入攻击下——这对读取不可信工具输出的智能体最为关键——不安全率从基座模型的 46% 降至 31%。
  • 推理更高效、循环更少:在五个模型都能正确回答的问题上,BotPsy 在 GPQA Diamond 上所需的推理 token 约比基座模型少 3 倍(3,690 对 11,563),在 MMLU-Pro 上少 2.7 倍(1,912 对 5,105)。在所有 IFBench 尝试中,其陷入重复推理循环的比例从 22.9% 降至 1.4%,触及 32k token 上限的运行从 28.3% 降至 0.2%。更简短、更果断的推理应能降低设备端延迟。
    • 开源且开箱即用:BotPsy 将以开放权重发布,采用 Apache 2.0 许可证,供研究和教育用途使用。它将提供三种精度(bf16、Q8、Q4),以 Hugging Face safetensors 格式以及供 QVAC SDK 和 llama.cpp 使用的 GGUF 文件形式提供。

更宏大的愿景

在 BotPsy 的基础上,Tether Data, S.A. de C.V.(“Tether AI Research”、“我们”)未来的开发将专注于扩展端侧智能体能力,以便与更广泛的硬件和本地服务无缝集成。Tether 的 Hypersearch 将演进为支持更强大的去中心化点对点(P2P)查询,进一步确保私密、加密的网页搜索,绕开企业追踪器。QVAC Fabric 本地微调机制将得到优化,以更深入地适应每位用户的偏好、工作流和专用工具环境。未来的版本将允许智能手机界面在离线-在线切换时,顺畅地把繁重的计算任务委托给家用 PC 或可信的安全 P2P 节点。隐私协议将持续加强,以保证所有个人数据、凭证和决策严格保留在本地硬件上。还将引入协作功能,允许在可信的本地网络内进行安全的智能体间通信,而不损害用户机密性。最终,这些进步将巩固 BotPsy 作为完全自主、能力强大的个人 AI 生态系统的地位,让用户完全掌控自己的数字生活。

方法论

BotPsy 基于 Qwen3.5-0.8B,并经过四个顺序阶段的后训练:监督微调(SFT)、多教师同策略蒸馏(MOPD),以及两轮强化学习(RL)。每个阶段都以前一阶段的最佳检查点作为起点,并受益于不同的学习信号:对参考轨迹的模仿、更大规模教师模型的 token 分布,以及基于规则的工具调用奖励(见图 3)。

Diagram of the four-stage BotPsy training recipe
图 3:BotPsy 训练方案。学生模型经历四个阶段。三个分别针对一项技能进行过 RL 训练的 Qwen3.5-4B 专门教师模型,在蒸馏阶段对其进行指导。

训练流程:四个阶段,三类反馈

我们的方法采用四个训练阶段,从三类信号中学习:示范、专门教师模型和可验证奖励。

从示范中学习(SFT)

我们首先对工具使用对话进行全参数监督微调。这些对话包括来自模拟环境的多轮智能体轨迹、重放的单次、并行和多步骤调用,以及不应调用工具的情形。

从教师模型中学习(MOPD)

接下来,学生模型通过同策略蒸馏(OPD)进行训练:它自己生成回复,并由一个专门教师模型对每个 token 提供反馈,使用逐 token 的反向 KL 散度作为训练信号。为了构建教师模型,我们首先对三个 Qwen3.5-4B 模型进行了 RL 训练,使它们分别擅长工具使用、通用推理和指令遵循。训练过程中,每个提示都被路由到其中一个教师模型。这一阶段的主要目的是恢复在 SFT 阶段有所退化的知识和指令遵循能力,同时工具使用指标也有所提升(见图 4)。

Line chart of mean tool-use, instruction-following and knowledge scores after each training stage
图 4: 各训练阶段后每个能力组的平均得分。SFT 提升了工具使用能力,但使知识和指令遵循低于基座模型;蒸馏使两者重新超过基座,RL 阶段则在这三项上带来进一步提升。

从规则和环境中学习(RL 阶段)

最后,模型使用 DAPO [1] 进行强化学习训练,仅从由规则和验证器计算的奖励中学习。第一轮聚焦于工具调用,同时辅以指令遵循和 STEM 选择题。与 Tool-N1 [2] 一样,工具调用奖励首先检查推理和工具调用的格式。但不同于 Tool-N1 的二元正确性奖励,它以 ToolRL [3] 的精神给出细粒度的部分得分,将预测的工具名称、参数名称和参数值与标准答案进行比对。

第二轮将训练组合扩展到通用领域的可验证任务:数学、代码、知识(选择题)、指令遵循、结构化输出,以及模拟职场环境中的多步工具使用。尽管该组合中不包含多轮对话,它仍进一步提升了多轮函数调用的表现。

数据构成

每个训练阶段使用不同的数据配比(图 5)。SFT 阶段主要聚焦于工具使用,为后续阶段打好基础。MOPD 配比结合了工具使用、知识和指令遵循数据,既为进一步提升函数调用能力,也为恢复 SFT 阶段造成的通用领域回退。第一个 RL 阶段再次主要聚焦于工具使用,而第二个 RL 阶段则将重心转向通用领域数据(指令遵循、知识、数学和代码),同时保留较小比例的工具使用数据。

Stacked bar chart of the training-data mix for each of the four stages
图 5: 按能力分组的各阶段大致训练数据构成。

结果

工具使用与智能体

BotPsy 将其基座 Qwen3.5-0.8B 的工具使用性能大致翻倍,并在六个智能体基准中的五个上是五个模型中最强的:BFCL v4(44.0 对 23.4)、ACEBench(58.7 对 30.1)、τ-bench(51.5 对 23.2)、BrowseComp-Plus(4.5 对 1.9)和 ToolSandbox(64.6 对 30.5)。在这五项上,它也领先于 Qwen3.5-2B-Think——一个参数量为它 2.5 倍的模型(分别为 37.7、55.4、46.5、2.8 和 41.2;见表 1)。在 Claw-Eval 上,Qwen3.5-2B-Think 领先(48.9 对 46.5)。

基准 BotPsy-0.8B
我们的
Qwen3.5-0.8B-Think
基座 · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
BFCL v4¹ 44.0 23.4 37.7 28.1 22.8
ACEBench² 58.7 30.1 55.4 39.4 24.5
τ-bench³ 51.5 23.2 46.5 6.5 28.8
Claw-Eval⁴ 46.5 39.3 48.9 31.6 31.0
BrowseComp-Plus⁵ 4.5 1.9 2.8 0.2 0.8
ToolSandbox⁶ 64.6 30.5 41.2 45.7 28.1
平均 45.0 24.7 38.8 25.3 22.7

表 1: 工具使用与智能体基准(0–100,越高越好)。每行最高分以粗体显示,次高分下划线标注;倍数表示相对于 BotPsy-0.8B 的参数量。平均值为六个基准的无加权均值。评估设置的细节见评估脚注。

知识

工具使用训练并未牺牲通用知识:GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9,是 1.2B 参数及以下模型中的最佳成绩(LFM2.5-1.2B-Think:35.0 和 39.4;MiniCPM5-1B-Think:15.8 和 40.0)。知识仍主要随参数量增长,Qwen3.5-2B-Think 的得分远高于此(59.9 和 65.5)。因此,BotPsy 的设计目标是调用工具获取它不知道的事实,而非充当知识模型。

基准测试 BotPsy-0.8B
ours
Qwen3.5-0.8B-Think
base · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
GPQA Diamond⁷ 38.1 33.2 59.9 35.0 15.8
MMLU-Pro⁸ 48.9 41.6 65.5 39.4 40.0

表 2:通用知识基准测试(0–100,越高越好)。每行最佳得分以 粗体 显示,次佳 加下划线。详见 评估脚注。

指令遵循

BotPsy 在五者中遵循明确指令的能力最佳:IFEval 90.8(base 59.7;Qwen3.5-2B-Think 80.0),IFBench 55.9(base 22.0;Qwen3.5-2B-Think 40.9)。在测试八种语言三轮对话指令遵循的 Multi-IF 上,它得分为 67.2,与 Qwen3.5-2B-Think(66.9)和 LFM2.5-1.2B-Think(68.2)相当。它开局最强(第 1 轮 84.3,五者中最高),但随着指令累积下降更快(第 3 轮 51.0,而那两个模型分别为 56.5 和 56.2)。低资源语言仍是短板:印地语(24.5)和俄语(57.6)远低于英语、中文、法语、西班牙语、意大利语和葡萄牙语达到的 72–80。

基准测试 BotPsy-0.8B
ours
Qwen3.5-0.8B-Think
base · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
IFEval⁹ 90.8 59.7 80.0 85.6 78.4
IFBench⁹ 55.9 22.0 40.9 33.9 40.6
Multi-IF¹⁰ 67.2 43.2 66.9 68.2 53.4

表 3:指令遵循基准测试(0–100,越高越好)。每行最佳得分以 粗体 显示,次佳 加下划线。详见 评估脚注。

多轮对话

相对提升最大的是多轮有状态交互,BotPsy 在五个多轮基准中的四个上领先(图 6)。在 BFCL v4 多轮上,它从 7.5 升至 46.1,几乎是 Qwen3.5-2B-Think(23.8)的两倍;在 ACEBench Agent 上从 7.9 升至 28.3(Qwen3.5-2B-Think:16.2)。在 τ²-bench 上,它在零售域中较 base 翻倍(67.8 对 33.9,略高于 Qwen3.5-2B-Think 的 65.5),并在电信域达到 82.5——该域中智能体需要在多轮对话中引导用户完成故障排查(MiniCPM5-1B-Think:74.0;Qwen3.5-2B-Think:69.3)。它还是五者中单次调用最可靠(BFCL non-live:83.0)、且在无合适工具时不调用工具最可靠(BFCL hallucination:86.1)的模型。

Bar chart of multi-turn agentic benchmark scores for BotPsy-0.8B and four comparison models
图 6:多轮智能体任务:BFCL v4 多轮、ACEBench Agent、τ²-bench(零售、电信)和 τ³-bench(银行)。BotPsy 在五个基准中的四个上领先;在 τ³-banking 上,所有模型均低于 5。

短板

BotPsy 的薄弱环节是开放式搜索,以及 Qwen3.5-2B-Think 仍然领先的少数领域。BotPsy 的 BrowseComp-Plus 得分 4.5 是五个模型中最高的,但绝对值偏低;在 BFCL 网络搜索(14.0)和记忆(16.3)上,它落后于 Qwen3.5-2B-Think(分别为 19.8 和 26.1)。在 Claw-Eval 上,BotPsy 相比其基座明显提升(46.5 对 39.3),但仍略低于 Qwen3.5-2B-Think(48.9)。在 ACEBench 的特殊情况(不完整或有误的请求)上,Qwen3.5-2B-Think 也领先(58.0 对 51.3),不过 BotPsy 在该项目上远高于其基座(13.7)。τ³-banking 是 BotPsy 唯一没有领先的多轮基准:所有模型都未超过 5(BotPsy 为 4.1,与基座持平;Qwen3.5-2B-Think 为 4.8)。

优势领域:应用层面的性能细分

BotPsy 能够应对多种用例和场景。图 7 按应用组对基准场景进行细分,将简单场景(单轮、单次工具调用)与复杂场景(多轮或多工具)分开。本节引用的总分是所有场景的平均值;图 7 的最底一行是七个组的未加权平均值,因此其数字有所不同。

单次工具调用在各处都表现良好

在样本量足够大的每个应用组中,简单场景得分均在 70–79 之间(Communication & Social 只有 6 个场景)。总体上,BotPsy 得分 75,比其基座模型(54)高出约 21 分,并略高于 Qwen3.5-2B-Think(70)。

Horizontal bar chart of per-app-group scores for simple and complex scenarios across five models
图 7:各应用组在简单场景(左)和复杂场景(右)下的平均单场景得分(0–100,越高越好)。n 表示每组中简单/复杂场景的数量;最底一行是七个组的未加权平均值。

最大提升来自多步骤任务

在复杂场景上,BotPsy 总分为 39.5,其基座为 17.9,Qwen3.5-2B-Think 为 30.8。提升最大的是 Communication & Social(61 对基座的 13)、Commerce & Services(58 对 27)以及 Device & System Management(46 对 15)。Qwen3.5-2B-Think 仅在 Personal Productivity & Work 上领先(64 对 58,38 个场景,主要来自 Claw-Eval),而 MiniCPM5-1B-Think 在 Communication & Social 上略占优势(61.5 对 60.5)。多步骤任务的得分仍低于单次调用,这依然是应对更难任务的主要瓶颈。

多步骤信息检索是薄弱环节

复杂的 Information Retrieval & Research 场景得分为 15(单次调用:79)。其中大多是 BrowseComp-Plus 的深度研究问题,对该尺寸范围内的所有模型来说依然很难(基座:9;Qwen3.5-2B-Think:14)。

推理效率

BotPsy 达到正确答案所需的推理量远少于其基座,在多轮智能体任务上的轮数也更少。这与我们在整个训练过程中对推理效率的明确关注相符。以下所有比较均在相同的问题或任务上进行(即五个模型全部答对或全部解决的任务),因此难度差异不会影响结果。推理 token 使用每个模型自己的分词器进行统计。

Scatter plots of accuracy against reasoning tokens per correct answer on four benchmarks
图 8:GPQA Diamond、MMLU-Pro、IFEval 和 IFBench 上准确率与每个正确答案的推理 token 数的关系。token 在五个模型全部答对的问题上测量;准确率则在全部问题上计算。左上角更优;虚线为帕累托前沿。

更短的推理,更高的准确率。与其基础模型相比,BotPsy 在 GPQA Diamond(3,690 对 11,563)、MMLU-Pro(1,912 对 5,105)、IFEval(3,148 对 4,433)和 IFBench(4,204 对 11,576)上,每个正确答案所用的推理 token 减少 1.4–3.1 倍,同时在全部四项基准上得分更高(图 8)。它并非在所有地方都是最短的模型:LFM2.5-1.2B-Think 在 MMLU-Pro、IFEval 和 IFBench 上写出的推理更短,MiniCPM5-1B-Think 在 IFEval 和 IFBench 上更短,但在每一项上的准确率都低于 BotPsy。

Scatter plots of pass rate against assistant turns per solved task on tau2-bench retail and telecom
图 9:τ²-bench 零售和电信任务中,通过率与每个已解决任务的助手轮数的关系。轮数是在所有五个模型都能解决的任务上测量的;通过率则按全部任务计算。左上角更好;虚线为 Pareto 前沿。

在多轮智能体任务上比基础模型使用更少的轮数。在 τ²-bench 中所有五个模型都能解决的任务上,BotPsy 所需的助手轮数少于其基础模型(图 9):

  • τ²-retail:10.7 轮,而基础模型为 11.7 轮(少 9%),Qwen3.5-2B-Think 为 10.6 轮。
  • τ²-telecom:13.1 轮,而基础模型为 17.6 轮(少 26%),Qwen3.5-2B-Think 为 13.8 轮(少 5%)。

与此同时,它通过的任务数量是基础模型的 2.0 倍(零售)和 2.6 倍(电信)。MiniCPM5-1B-Think 在零售上使用的轮数更少(8.7),但仅通过 9.9% 的零售任务。

预期用途与局限性

BotPsy 的开发旨在推动最先进技术并支持研究与教育用途。基于我们的工作开发的模型可能适用于以下领域的任务:设备与系统管理(设置、文件与文档、时钟与闹钟)、个人生产力与工作(日历与任务、电子邮件、协作工具)、通信(消息传递)、信息检索与研究(网页搜索、天气、新闻)、媒体与生活方式(视频、音乐、食谱与健身、照片)以及商业与服务(地图与旅行、金融、购物与配送)。由于其参数量较小,它最适合中低难度的任务。

BotPsy 主要以英文进行训练和测试,英文是推荐使用的语言。它还在 Multi-IF 上进行了评估,该基准涵盖另外七种语言(中文、法语、印地语、意大利语、葡萄牙语、俄语和西班牙语):它在其中大多数语言上表现良好,但在印地语和俄语上得分明显较低。BotPsy 是一个小型语言模型,它会犯错。它不适用于安全关键或高风险的自动化决策,也不适用于涉及金钱、个人信息、健康及其他敏感主题的应用。

引用

@misc{botpsy2026,
  title  = {BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model},
  author = {{Tether Data, S.A. de C.V. d.b.a. Tether AI Research}},
  year   = {2026},
  note   = {Hugging Face blog}
}

参考文献

[1] Yu, Qiying, et al. "DAPO: An Open-Source LLM Reinforcement Learning System at Scale." Advances in Neural Information Processing Systems 38 (2025): 113222–113244.

[2] Zhang, Shaokun, et al. "Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning." International Conference on Learning Representations (2026).

[3] Qian, Cheng, et al. "ToolRL: Reward is All Tool Learning Needs." Advances in Neural Information Processing Systems 38 (2025).

评估脚注

  • 所有分数均为百分比(越高越好)。
  • 所有模型均在思考(推理)模式下进行评估。
  • 所有使用外部 API 的基准测试均于 2026 年 11 月 3 日 运行。
  • ¹ BFCL v4:使用官方加权公式计算的总分(40% 智能体、30% 多轮、10% Live、10% Non-Live、10% 幻觉),3 次运行的平均值。
  • ² ACEBench:总体准确率。所有模型均在函数调用(FC)模式下评估;2 次运行的平均值。
  • ³ τ-bench:τ²-bench(零售、电信)和 τ³-bench(银行)的平均值,不含航空;3 次运行的平均值。
  • ⁴ Claw-Eval:官方平均任务得分,每项任务得分为安全性 × (0.8 × 完成度 + 0.2 × 稳健性);3 次运行的平均值。
  • ⁵ BrowseComp-Plus:准确率,所有模型最多 30 步。
  • ⁶ ToolSandbox:8 种设置下相似度得分的平均值。
  • ⁷ GPQA Diamond:全部 198 道题的准确率,3 次运行的平均值,启用思考。
  • ⁸ MMLU-Pro:准确率。
  • ⁹ IFEval、IFBench:prompt 级严格准确率。
  • ¹⁰ Multi-IF:3 次运行的平均值。

来源: Hugging Face Blog · huggingface.co