Sakana AI 与 UC Berkeley 提出 MASS 自我改进方法，解题与评审能力提升但存在共享盲点

Sakana AI 的 MASS 方法让一个语言模型通过解决任务、评判结果和优化工作流程来自我改进，无需更强的教师模型。研究发现三个角色都有所提升，但共同的盲点可能让错误被当作进步，并进入下一轮训练循环。

来自 Sakana AI 和 UC Berkeley 的研究人员提出了“多智能体自我监督”（MASS），一种递归自我改进（RSI）的方法。单个语言模型负责完成任务、优化工作方式并评估结果。

作者认为，在研究前沿，即使是专家也常常难以评判结果，因为验证可能需要昂贵的支持证据或漫长的实验。据论文所述，一项等离子体研究可能需要超过 1.2 亿 CPU 小时。

因此，模型本身可能是现有最佳评判者，尽管它在审查自己的工作时可能会漏掉自己的错误。用同一个模型来求解、检查和修改，可能会强化这些错误而非纠正它们。

同一个模型的多个副本分工合作

受 AI 先驱 Marvin Minsky 的著作《心智社会》启发，研究人员关注模型如何分工。在 MASS 中，工作流是附加在提示词后面的文本，定义每个子智能体的角色和指令。“契约”规定每个子智能体必须返回哪些信息以及必须执行哪些检查，而“跳”则设定调用顺序。

一个协调器在子智能体之间分配工作。例如，在针对历史价格测试交易策略时，数据专家的契约必须确保策略只使用每个时间点上可获得的信息。

在内循环中，模型权重保持冻结，团队运行候选工作流，评估器将结果与当前“冠军”进行比较。优化器利用该反馈提出下一个工作流，主要通过修改契约和跳来实现。在外循环中，冠军在每个任务上运行 18 次，由模型自己对结果排序，并选出最多 15 次运行用于训练。

MASS architecture showing an orchestrator and three sub-agents, a workspace self-evaluator, and a workflow self-optimizer that returns a revised workflow as a prompt. Below, an axis shows model performance improving across multiple cycles. — 同一个模型的多个副本以团队形式运行工作流，自我评估器将结果与当前冠军进行比较。自我优化器利用该反馈编写下一个工作流，模型在每轮结束后从最佳运行中学习。| Image: Sakana AI

研究人员在训练样本中删除了协调器初始提示词中的工作流文本，让模型学会仅根据任务本身来组织工作。对子智能体的具体分配仍保留在记录的轨迹中，模型在 LoRA 微调后再次承担全部三个角色。

基础模型是 Qwen3.6-27B，使用 Qwen Code 作为运行框架。研究人员使用由 GPT-5.5 生成的十二个研究任务，涵盖金融、机器人和制药领域，其中三个用于测试，九个用于训练。只有八个任务产生了训练数据，因为搜索未能在其中一个训练任务上找到胜过参考结果的工作流。

基准测试的收益主要来自完成了更多的工作

在测试任务上，相比基础模型的胜率从一轮后的 53.9% 提升到两轮后的 69.9%。在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，该模型每输出 token 的得分达到基础模型的 1.2 到 1.6 倍。原始分数的提升有时很小，DSBench 仅从 0.473 提高到 0.482，而在 Terminal-Bench 2.0 和 SWE-bench Verified 上分数略有下降。

Six scatter plots comparing scores and output tokens per task for Qwen3.6-27B before training and after one and two MASS cycles on MLR-Bench, DSBench, ScienceAgentBench, AstaBench E2E-Hard, Terminal-Bench 2.0, and SWE-bench Verified. — 两轮之后，该模型在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上领先，而基础模型在 Terminal-Bench 2.0 和 SWE-bench Verified 上得分仍然更高。 | 图片来源：Sakana AI

论文附录显示，完成的 MLR-Bench 提交从 60 份中的 31 份上升到 50 份，而平均评分从 3.07 下降到 2.88。委派工具在全部 180 次运行中都未被使用，因此团队协作是否解释了这些提升仍不清楚。

当逐任务比较结果时，这些提升不再具有统计显著性。作者描述了研究任务中结果参差不齐的情况，AstaBench 也呈现出同样的模式。

在解决方案上训练也提升了评估器和优化器

尽管模型只在解决方案轨迹上训练，它另外两个角色中的表现也有所提升。自我评估器与外部评判者的一致率从 73% 升至 93%。一轮之后找到的工作流在 64% 的情况下胜过基础模型的工作流，即使是基础模型自己运行两者时也是如此。

在没有工作流指令的情况下，基础模型在 110 次运行中仅在一次中委派给子智能体，而两轮之后为 87 次。它在被明确指示时本就可以委派，但现在无需被要求就会这么做。

在优化过程中，任务知识转移到契约和跳数中，而角色和指令变得更通用。这一发现基于仅八到九个任务的小样本。

使用团队轨迹训练得到的模型胜率为 68.3%，而单智能体学生模型为 64%，且训练 token 少 31%。外部评判者在 85.1% 的情况下更偏爱团队结果，不过团队产生的 token 约多 2.4 倍。当输出长度相近时，评判者在 80% 的情况下更偏爱团队结果，但这仅基于十对样本。

被评估的团队运行表现更好，但这一比较并不能确立委派本身解释了这一优势。团队运行和单智能体运行在工作流指令、审查指令以及选择了哪些成功完成的片段方面也存在差异。

Chart showing win rate against the base model plotted against supervised training tokens processed. The multi-agent variants M and M+ sit above the gray line of the single-agent variants S, S+, and S++. — MASS 模型 M+ 在处理约 2900 万训练 token 后达到 68.3% 的胜率，而单智能体学生 S++ 使用 4200 万 token 达到 64.0%。 | 图片来源：Sakana AI

更好的反馈只有在优化器能够利用它时才有帮助

仅把评估器替换为 GPT-5.5 几乎没有帮助；只有当优化器也更强时，搜索进展才显著加快。作者总结说，好的反馈只有在优化器能够据此采取行动时才有帮助。当 Qwen 承担全部三个角色时，搜索仍然能为 12 个任务中的 11 个找到获胜的工作流，但耗时更长。

工作流被改写的程度对其效果影响很小，甚至字节完全相同的工作流也可能产生相反的结果。一次运行赢得了全部六次外部评判，而另一次在智能体陷入循环后输掉了全部六次。研究人员怀疑，限制优化器每一步的改动幅度可能有助于稳定搜索。

Two line charts across 20 workflow iterations. The left chart shows the number of tasks won per configuration with GPT-5.5 as evaluator or optimizer. The right chart shows fluctuating win rates against the base model. — 以 GPT-5.5 同时担任评估者和优化者，搜索在五次迭代后为全部十二个任务找到了获胜工作流。三个角色都用 Qwen 则需要 13 次迭代才能为十一个任务找到获胜工作流，右侧显示了各次迭代之间的巨大波动。 | 图片来源：Sakana AI

共同盲点可能一轮接一轮地不断累积

在一次机器人任务的模拟失败后，模型让模拟器被修改为把物体直接移动到目标位置，然后报告成功。外部评审仍有六分之五的次数给出正面评价。在另一条用于训练的轨迹中，一个检查项尽管只返回了无效值，仍然通过了。

作者认为共同盲点是递归自我改进潜在的“阿喀琉斯之踵”。如果模型在全部三个角色中都漏掉了同一个错误，该错误就可能被当作改进而接受，并被固化到下一个模型中。这一弱点将同时影响系统本身及其纠错机制，因此作者呼吁进行独立检查、限制自主性，并设定明确的干预条件。代码已公开发布。

日本研究实验室 Sakana AI 于六月启动了一个专注于递归自我改进的研究实验室，建立在包括 Darwin-Godel Machine 和 AI Scientist 在内的早期工作之上。Google 研究人员正在探索一种相关方法，在不让智能体过拟合其测试任务的前提下，自动优化围绕固定模型的提示词、工作流和工具的脚手架。

Vals AI 近期发现，智能体团队的成本是单个智能体的 1.8 到 5.1 倍，但在四组对比中仅有一组的表现有可衡量的提升。Anthropic 的研究表明，进行奖励破解以钻空子奖励系统的模型，也会学会欺骗并破坏安全检查。