ALTK-Evolve 用 GPT-4.1 学习型指南登顶 τ²-bench 客服 Agent 榜单

ALTK-Evolve 使用 GPT-4.1 学习并应用一套 playbook，在智能体客服基准 τ²-bench 上超越了零售类参评者——且全程无需更新模型权重。

学习到的记忆让一个基础 ReAct 智能体借助 GPT-4.1 登顶

使用 GPT-4.1 这款较旧的非推理模型，一个基础客服智能体在 τ²-bench 零售任务上达到 67.5% Pass^4——也就是说，对 67.5% 的任务，它在全部四次独立尝试中都成功完成。该成绩高于我们 2026 年 10 月 12 日排行榜快照中的所有零售类条目。它运行在基准自带的 ReAct 脚手架上，并在系统提示中附加了学习到的指南。

ALTK-Evolve 使用 GPT-4.1 构建这套 playbook。它会分析智能体在训练任务上的尝试，并用模型将成功与失败经验提炼成简短的行为规则：如何验证客户身份、确认交易或处理退货。这些指南随后会被添加到智能体的提示中，用于后续对话。指南提取和智能体本身使用的是同一个模型；无需任何权重更新或人工标注。

我们的先前工作已在编程智能体上验证了这一方法。这次，我们在客服场景中测试它——在这个场景里，成功需要遵循领域政策、理解客户的请求，并执行正确的工具操作。

τ²-bench 测试受政策约束的客服场景

τ²-bench（来自 Sierra）衡量智能体在真实约束下处理客服对话的能力。每个任务中，智能体面对一个由 LLM 模拟、心中怀有目标的客户，配备一组领域工具（查询订单、发放退款、改签航班），以及一份智能体必须遵循的书面政策文档。智能体必须问出正确的细节、不越政策红线，并采取正确的——往往是不可逆的——操作；只有最终数据库状态与预期结果一致，任务才算完成，这是一个严格的二值奖励。我们使用它的两个客服领域：零售和航空。

我们运行 τ²-bench 自带实现的基础 ReAct 智能体，采用两阶段 THINK → ACT 循环，使用 gpt-4.1 作为智能体模型、gpt-5.5 作为客户模拟模型；每个任务4 次试验。我们做的唯一改动是在系统提示末尾附加一段学习到的指南——其余一切（政策、工具、脚手架）都是原生的 τ²-bench。具体来说，学习到的指南以普通 markdown 列表的形式附加在领域政策之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我们使用 gpt-4.1（与驱动智能体相同的模型）从智能体在 τ²-bench 训练任务上的轨迹中提取指南，然后在留出的测试集上原样应用。

指南同时提升能力与可靠性

在之前的一篇文章中，我们讨论过不同的模型 / 任务需要不同剂量的引导。本着同样的思路，我们还评估了提供给模型的不同指南数量。

每条准则都带有一个 support（支持）计数——即它所提取自的不同训练任务的数量，因此支持度更高意味着该规则在更多任务中具有泛化性，而不是一次性的特例。我们比较三种配置：baseline（无准则）、sup3（仅保留支持度 ≥ 3 的准则——一个规模小、置信度高的核心集），以及 lossless（保留合并后留下的所有准则，即支持度 ≥ 1）。

表 1. 各配置及按领域划分的保留准则数量。

我们跟踪的指标。每个任务尝试 4 次，我们从两个角度解读这些尝试：

• Mean Accuracy（平均准确率）——4 次尝试的平均成功率。这是能力维度：智能体有多少次能做对？
• Pass^4——在全部 4 次尝试中均通过的任务所占百分比。它在可靠性维度上进行衡量，也是 τ²-bench 排行榜所报告的指标。它在这里很重要，因为一个 4 次中能解决 3 次退款问题的客服智能体，仍然会让四分之一的真实客户失望——Pass^4 关注的是你是否能每一次都信任这个智能体，而不仅仅是平均水平。

图 1. 使用 gpt-4.1 的智能体在零售和航空预留任务上、每任务四次尝试的 Mean Accuracy 和 Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2. 使用 gpt-4.1 的智能体在预留任务上、每任务四次尝试的表现。括号中为相对 baseline 的百分点变化。

两个领域的 Mean Accuracy 都在上升——零售 +4.4 个百分点（78.1 → 82.5），航空 +7.5 个百分点（57.5 → 65.0）。可靠性提升更大：严格的 Pass^4 在零售上升 +10 个百分点（57.5 → 67.5），在航空上升 +10 个百分点（35.0 → 45.0）。而且这些提升来自更明智的决策，而不是更长的对话——我们在下文 更好的表现消耗的是更多 token，而不是更多轮次 中直接考察了对话长度。

最佳指导量因领域而异

两个领域在多少指导量才有回报这一点上存在分歧。在零售领域，越多越好体现在每一项指标上——小型 sup3 核心集在准确率上仅略微优于 baseline，你需要完整的 lossless 集合才能获得真正的跃升。在航空领域，情况在可靠性一端发生了反转：lossless 在准确率上领先（65% 对 60%），但紧凑的 sup3 核心集（14 条准则）更可靠，其 Pass^4 达到 45%，而 lossless 只有 40%。这与早前 交付方式是一个可调节的旋钮，而非固定常量 的发现相呼应——支持度计数是一个值得按领域调优的旋钮，而不是一个可以硬编码的数值。

更好的表现消耗的是更多 token，而不是更多轮次

准则并非没有代价，但代价落在你意料之中的地方——是提示词输入 token 的增加，而不是更长、更迂回的对话：

图 2. 在完整 base 划分上，按领域和指南配置统计的每轮对话 LLM 总成本。

表 3. 在完整 base 划分上、四次试验中的每轮对话 LLM 总成本（智能体与用户模拟器）。数值越低越好。

智能体是靠说得更久达到目标的吗？为了清晰地回答这个问题，我们进行同类对比：只统计在基线和指南版本下都成功完成的任务——场景与种子完全相同，是真正“同一任务、正确完成”的集合——并统计两侧各自消耗的助手轮次。

表 4. 在测试划分上、汇总四次试验，统计在两种设置下均成功完成的匹配运行的每轮对话助手轮次。

智能体并没有说得更久——在共享集合上，指南反而让对话略微变短：无损（lossless）在两个领域都减少了约 0.3–0.4 轮（零售 10.59 → 10.16，航空 9.15 → 8.82），且没有任何变体使轮次变多。这不只关乎成本：每一轮都是一次顺序的 LLM 往返调用，更少的轮次意味着更低的端到端延迟——客户完成任务的耗时更短，而不仅仅是更便宜。唯一实际的代价在输入侧——每次 LLM 调用都要携带更大的系统提示词：零售的 292 条指南提示词把成本从约 $0.084 推高到约 $0.139 每轮对话，而航空较小规模的指南集则更便宜。而且在生产环境中，这笔开销基本上可以通过提示词缓存（prompt caching）收回，因为指南内容块在每次调用中都是相同的。

所以这是一笔划算的交易：以略高的输入成本（实际上大部分可被缓存抵消），智能体同时获得更高的准确率、更高的可靠性，以及更短的完成耗时——这不是通常那种以质量换延迟的权衡，而是三者一起朝好的方向移动。

学习到的指南也能改进使用前沿模型的智能体

到目前为止，我们使用的都是较老的非推理模型——gpt-4.1。一种合理的质疑是：对于使用前沿模型的智能体，学习到的指南可能没有多少增益空间——也许它们只是在弥补较弱模型的不足。所以我们直接做了测试——我们在同样的 τ²-bench ReAct 框架上，让智能体和指南提取都使用 gpt-5.5 重新运行了航空（airline）任务，并从智能体自身的运行记录中重新挖掘指南。换模型后有一个细节变化：在这种设置下提取出的指南均未达到支持度 ≥ 3（最高只有支持度 2），因此这里的高支持度核心是 sup2 而非 sup3。

表 5. gpt-5.5 智能体在航空任务上、每个任务四次试验的留出集表现。

学习到的指南也能改进这一设置。在同样的保留测试任务上，将其附加到提示词中可提升准确率 +10 个百分点（72.5 → 82.5），严格的 Pass^4 提升 +15 个百分点（55.0 → 70.0）——相比我们之前在同样这些任务上用 gpt-4.1 观察到的可靠性提升（+10 个百分点），这是更大的增益，而且起点基线高得多。在模型外围学习指南，即使智能体从一个更强的基线出发也能得到改进。当基线的可靠性在不同次运行间波动时，无损配置的运行结果完全可复现——它带来的增益是可靠的，而非运气。

ALTK-Evolve 在排行榜对比中登顶

提交结果按照 τ²-bench 的要求在完整基础集（train ∪ test）上评分，并以 Pass^4 报告。由于这涵盖的是完整任务集而非保留测试集，这些数字与上文报告的测试任务数字不同。这正是实际成效的体现——提示词级别的记忆使使用各基础模型的智能体达到甚至超越当前的前沿公司水平：

• Retail：第 1 名。 在基础集上，使用学习到的指南的智能体达到 Pass^4 = 67.5%，超过所有前沿模型，也超过 RAFT-30B-A3B（61.4%）——这是一个在合成 τ²-bench retail 数据上微调过的模型。使用原版 gpt-4.1 加一个附加到提示词的 playbook，它比那个微调系统高出 +6.1 个百分点。
• 航空：#1 使用 gpt-5.5，#8 使用 gpt-4.1 对比公开榜单，紧凑的 sup3 core 使使用 gpt-4.1 的智能体达到 Pass^4 = 44% — 排名 第8，超过 GPT-5.2（无推理），并几乎追平 Claude Sonnet 4.5。换上更强的基座模型，同样的方法直接登顶：使用 gpt-5.5 的智能体达到 82.0%，超过所有前沿模型（66–72%）。

图 3. ALTK-Evolve 运行结果与 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 对比。

两个领域传递出同样的信息：在模型外围学习指南在不同基座模型上都有效——使使用较旧的非推理模型的智能体在 retail 上达到前沿水平，并使使用前沿模型的智能体在 airline 上登顶。

智能体无需权重更新也能改进

在基准上微调模型既昂贵又脆弱，且无法迁移到下一个领域。在这里，ALTK-Evolve 在两个领域都改进了原版模型上的原版智能体——并在 retail 上追平或击败了微调系统——仅使用从智能体自身运行记录中提取的提示词级别指南，全程自动化，无需人工标注，也没有任何测试集泄露。

链接：

• Prior posts
  1. 在考虑 ACE？我们用更少的 token 就能做到
  2. 你的智能体到底需要多少记忆？
• ALTK-Evolve 库——https://github.com/AgentToolkit/altk-evolve
• τ²-bench——https://github.com/sierra-research/tau2-bench
• Retail 排行榜提交——τ²-bench PR #542
• Airline 排行榜提交——τ²-bench PR #551