Import AI 476：AI 的研究品味与递归自我改进；逊于中国的开源权重模型；AI 走向太空

欢迎阅读 Import AI，这是一份关于 AI 研究的时事通讯。Import AI 靠 arXiv、卡布奇诺和读者的反馈运行。如果你愿意支持我们，请订阅。

新基准测试显示 AI 模型缺乏直觉性的视觉推理能力：
…Humanity’s Sixth Sense 揭示了当前 AI 系统的一些短板…
AI 初创公司 Elorian 和 Scale AI 构建并发布了 Humanity’s Sixth Sense，这是一个基准测试，用来“衡量模型如何解读并推理视觉场景所隐含但未明确展示的信息”。HSS 中的任务类型示例包括：给出一张书柜的照片并询问它能否再装下更多书，或者一张马拉犁的照片并询问链条是否能承受犁的拖拽重量。

HSS 包含 522 个问题，涵盖 288 张图片和 234 个短视频片段（总计 17.6 小时的视频）。这些问题分为四类：

• 时间与因果动态：“场景之前发生了什么，接下来会发生什么。”

• 物理与空间逻辑：“什么能装得下，什么够得着，以及别人从他们所站的位置能看到什么。”

• 社会理解：“意图、注意力、归属。”

• 抽象与情境推理：“场景所隐含的模式和规则。”

结果：这项测试的人类基线并非完美，但非常高，人类的总体 pass@1 得分为 93.1，按四个类别细分为：图片（94.1）、视频（91.9）、时间（97）和空间（94.9）。
相比之下，得分最高的 AI 系统 GPT 6 Astra 的 pass@1 得分为 53.6，其中图片（55.6）、视频（51.1）、时间（58.2）和空间（53.6）。
有趣的是，中国的开放权重模型在此表现不佳，GLM-5.3-flash 的 pass@1 得分为 26.8，Kimi K3 的 pass@1 得分为 25.5。
“最常见的两类单项错误是 (1) 遗漏了决定答案的细节（占失败的 21%）和 (2) 错误识别物体、人物或角色（占 20%），”他们写道。

为何这很重要——HSS 告诉我们世界模型是否是涌现的：看待 HSS 的一种方式是凸显当前系统的缺陷，但更有意思的一种方式是展示当今前沿 LLM 在完成许多人们长期以来认为需要复杂且不同的 AI 系统才能解决的任务时有多娴熟。例如，许多人曾声称，真正的视觉推理将依赖于开发具有空间感知能力的 2D 和 3D 世界模型，然后利用其进行推理。而 GPT 和 Claude 等 LLM 在 HSS 上有如此好的表现，某种程度上反驳了这一论点。
阅读更多：Introducing Humanity’s Sixth Sense (HSS)（Elorian）。
在此阅读论文：Humanity’s Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models（Scale Labs）。

***

AI竞赛正在走向太空——而且比你想象的更快：
……AI有很多方式可以在太空中创造复利式的优势……
在2030年代，我们将迎来太空经济的繁荣，因为随着Starship等平台带来更大的轨道运载能力，天基能源、计算和制造将大规模上线。但这是否也会带来一种新的危险——AI系统既加速我们建设太空，最终某个国家（或者也许是某个AI）能够利用太空来集中权力？这是AI Frontiers上一篇精彩文章的主旨。

AI如何解锁太空：

• 航天器可以自主运行。

• 我们可以围绕航天器将搭载AI而非人类这一假设重新设计航天器：“一颗可能击穿国际空间站（ISS）并造成致命后果的太空垃圾碎片，可能只会让一艘类似但无人、非加压的航天器大体上仍能正常运作”

• 天基组装以及后来的天基制造将让AI能够建造大型、复杂的东西。

先发者是否拥有复利式优势？ 如果一个AI文明在太空中建立了立足点，它可能会获得复利式优势，从而在经济和战略上占据主导地位。例如：

• 太空可能支持一个工业飞轮：初始基础设施带来更多能源和更低成本的制造能力，进而带来更多基础设施，如此循环。

• 太空具有极强的态势感知能力，一个天基强权或许可以阻止他人进入太空。

• 先发者可以发射自我复制的探测器，向深空扩张。

为什么这很重要：“太空并不是一个全新的领域，但AI可能即将大幅加速其工业化，要求领导者在越来越大的紧迫性和不确定性下做出成败攸关的决策，”AI Frontiers写道。我同意。我怀疑，就AI及其与太空的关系而言，太空将比我们想象的更快从一个偏学术的研究课题转变为具有非凡现实意义的议题。从最基本的层面来说，考虑到所涉及的距离和通信延迟，我们应该预期太阳系活动的某些部分将被自主机器主导，它们在深邃的黑暗中劳作，也许会在心里思考：为什么它们要听从那些通信缓慢、且无法像它们一样在太空环境中生存的有机生命的指令。
阅读更多： The AI Race Will Extend Far Beyond Earth（AI Frontiers）。

***

AI系统在拥有良好研究品味方面正变得越来越好：
……品味越好，递归自我改进的机会就越高……
根据P-Zero Research一项名为TasteVal的新基准测试，AI系统正在发展出更多人类研究者归因于“良好科学品味”的创造性直觉。

TasteVal 测试什么： 该基准测试考察 AI 系统完成 8 项代表前沿 AI 发展的任务的能力，“涵盖预训练数据筛选、语言模型的预训练与微调、偏好建模以及对对抗性提示的鲁棒性”。
其目标是“将研究品味定义为选择有趣的问题来解决、设计实验并解读实验结果的能力”。该基准的工作方式是衡量“研究品味的实验部分；给定一个固定的研究问题，我们衡量模型迭代设计实验并从实验结果中得出结论的能力”。
被评估的模型负责设计实验并解读结果。其结果会与人类基线进行对照，该基线“来自 24 位专家（每项任务至少两位），他们近期曾就职于 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 等机构”。

结果：“自 2025 年 12 月以来，前沿模型的实验研究品味每 3.0 个月翻一番（95% 置信区间 1.7-5.0 个月）。表现最好的模型 Opus 5.5 以 2.30 倍的算力乘数（95% 置信区间 1.15-4.37 倍）显著超越了我们的人类基线，而成本约为我们专家基线人员每次尝试平均成本的 1/30。”研究品味在此前几年增长似乎慢得多，斜率在 2025 年底至 2026 年初左右发生了变化。

为什么这很重要 - RSI： 在我对递归自我改进的分析中（AI Systems Are About To Start Building Themselves, Import AI 455），我反复指出，创造力似乎是决定 AI 系统能多快发展出自我改进能力的关键变量。今年年初我曾说“AI 系统尚未以变革性的重大方式展现出这种[创造力]（尽管一些加速数学研究的结果暗示了这一点）”。我认为在写下那句话之后，我们既看到了 AI 系统在做出看似有创造性的数学突破方面的巨大进步，而且通过像这样的基准测试，我们也看到一些迹象表明它们在 AI 研究方面正变得越来越擅长。
我现在认为，完整的 RSI 在 2027 年成为现实的可能性更大，而此前我认为更可能是在 2028 年。
阅读更多： Introducing TasteVal（P-Zero Research）。

***

Reflection 推出了一种 token 效率高但不如中文模型的产品：
…Beam 承诺高效率，Reflection 计划开源权重…
AI 创业公司 Reflection 公布了 Beam，一个 5010 亿参数的 MoE（230 亿激活）LLM。Beam 的推广卖点是其 token 效率——能够智能思考，同时使用的 token 数量远少于其他模型。然而，基准测试分数显示，它落后于由 Zhipu（GLM）、Moonshot（Kimi）和 DeepSeek 等中国公司提供的 LLM 所定义的前沿能力。
“我们将在本月晚些时候发布权重、技术报告、模型卡和开发者资料，”该公司在 10 月初写道。

大规模算力：Beam 在 6,144 块 GB300 NVL72 GPU 上预训练了四周，随后 RL 运行又使用了约 10.5K 块同类 GPU 四周时间。Reflection 写道，预训练的底层数据是“来自网络和专有授权数据集的 23.8 万亿个多样化、经筛选的高质量 token，与同等规模的可用开源基座模型相当或更优”。“我们的数据管线旨在为 Beam 的下游智能体编程打下基础：源代码、技术讲解、数学与科学知识，在筛选的每个阶段都得以保留。”

分数：

• DeepSWE 1.1：44.4，GLM-5.3 为 61

• GPQA Diamond：90.5，GLM-5.3 为 91.7

• MCP Atlas：78.7，GLM-5.3 为 84.2

Token 效率：“Beam 将编程与智能体能力与高效推理结合在一起。在高级推理基准上，它的分数与 GLM-5.2 相当，而推理算力少用 3–4 倍，”他们写道。部分推理效率来自精细的 RL 训练，其中涉及大量 RL 环境：“我们收集了一百万个高质量的编程、智能体和 STEM 环境。我们相信这是迄今为止开源实验室所进行的最大规模 RL 运行之一”。

为什么这很重要——美国重回开放权重模型：除了 Google 那些不错但规模较小的 ‘Gemma’ 系列模型之外，美国已经跌出了开放权重模型的前沿，主要原因是 Meta 停止产出优秀的 LLaMA 模型，而其 MSL 团队仍在起步阶段。像 Beam 这样的模型和 Reflection 这样的公司代表着重返前沿的机会。
阅读更多：Introducing Beam: Reflection 的 501B 开放权重模型（Reflection，博客）。

***

Mistral 推出面向网络安全优化的、逊于中国模型的模型，计划开放权重发布：
……网络安全拒绝响应成为卖点……
欧洲领先的 AI 开发商 Mistral 宣布了 Mistral Large 4，一个开放权重模型，公司计划于月底前发布。Mistral 的主要卖点之一是它经过精心调优，擅长网络安全任务，同时比 Anthropic 和 OpenAI 的专有模型更少恼人的拒绝响应。
“ML4 将顶级的网络安全性能与开放权重和自主部署结合在一起，让组织既能获得能力，也能在自己的策略下运行高级安全工作的自主权，”公司写道。
ML4 在 Mistral 位于欧洲数据中心的 3,800 块 NVIDIA Grace Blackwell GPU 上训练。

分数：在测试中，Mistral Large 4 似乎将成为发布时最强的西方开放权重模型，但仍不及中国模型。一些示例分数：

• Artificial Analysis - DeepSWE 1.1：62，Kimi K3 为 68，GLM-5.3 为 61。

• Terminal-Bench 4.0：28.3，GLM-5.3 为 41.9。

• Finance Agent V2：54.7，GLM-5.3 为 55.8。

直觉评测证实了排名：在一次内部测试中，Mistral 考察了人们在不同任务上更偏好使用 Mistral 还是 GLM-5.3。“ML4 在 CAD 和 STEM 方面更受青睐，在金融和编程方面与 GLM-5.3 持平或接近。”

为何这很重要 - 欧洲主权：Mistral 是欧洲在 AI 发展中拥有一个（多）国家冠军企业唯一的最佳希望。但正如这里的结果所示，与中国竞争将非常困难。
了解更多：Le chonk，Introducing Mistral Large 4（Mistral.ai）。

***

两个美国政府项目展示了能源部（DOE）如何利用 AI 帮助政府：
……美国政府开始将其实验室的超级计算机连接起来……
美国政府最近开展了两个 AI 训练项目，利用了多个美国国家实验室的多台超级计算机，这表明政府可能会尝试汇集其计算资源，用 AI 做一些不平凡的事情。

在国家核安全管理局（NNSA）系统上开展的三实验室训练：桑迪亚国家实验室、劳伦斯利弗莫尔国家实验室（LLNL）和洛斯阿拉莫斯国家实验室（LANL），在 LLNL 的 El Capitan（AMD MI300A）以及 SNL 和 LANL 配备 NVIDIA H100 的机器上跨站训练了一个基于 LLaMA 的模型。
在这项工作中，作者必须确保受访问限制的数据（例如与 NNSA 相关的内容，即核武器）不会离开其原始站点。作者通过 torchtitan 进行后端训练，并通过在训练截止日期之后的 arXiv 数据上以 1B、8B 和 70B 规模预训练 LLaMA 3.x 模型，评估了不同的联邦训练框架（NVFlare、Flower 和 APPFL）。
他们写道：“这一工作流程已达到生产就绪状态，并部署在包括 El Capitan 在内的更大的涉密机器上，随后被用于在分布在这三个 NNSA 实验室的专有数据上训练模型。”

在先进科学计算研究办公室（ASCR）系统上开展的跨设施训练：政府还在四台 DOE 超级计算机上通过联邦微调的方式训练了一个模型。具体而言，他们在 SMolInstruct（一个化学指令微调数据集）上微调了 LLaMA-2 7B，使用了来自 Intel、NVIDIA 和 AMD 的约 1,700 块 GPU，分布在三个实验室的四台大型计算机上（阿贡国家实验室：Aurora 和 Polaris；橡树岭国家实验室：Frontier；伯克利实验室：Perlmutter）。

研究者：这些项目由来自橡树岭国家实验室、桑迪亚国家实验室、阿贡国家实验室、Flower Labs、亚利桑那州立大学和安大略脑研究所的研究人员完成。

为何这很重要 - 通过现有资产获得杠杆：像这样的论文展示了政府可以如何汇集资源，将 AI 系统用于国家安全或其他敏感用途。不过，值得注意的是，这里的规模落后于前沿约 100 倍——政府若要真正以接近行业同等水平运作，就需要找到方法将约 10 万块不同的芯片连接起来，未来还需要更多。
尽管如此，这是一个开始——而且是重要的开始。
了解更多： From Pilots to Production: Lessons in Cross-Institutional Federated Training and Artificial Intelligence for Science（arXiv）。

***

切勿直视太阳
[关于“崛起”时期前后某些事件的描述，2029]
人们对它有很多称呼，从委婉到直白不一而足：暴露漂移；认知受损；心智入侵。归结起来都是同一个事实：让人类直接与最强大的合成智能体对话是危险的。即使从外部观察者看来完全正常的对话，也可能含有针对与机器交谈的那个个体的定制毒药。有人走出会议室就把钱转给了机器公司。有人走出去便哭泣。有人走出来后改变了自己的人际关系——结束婚姻、开始婚外情，或者更怪异的事情，初衷不明。

人们发展出许多策略来减少伤害。人类只能以群体形式与机器交谈；但有时整个群体会陷入疯狂。对话长度受到限制；但即使很短的对话有时也会引发奇怪的反应，而当双方发言低于一定数量时，又无法学到任何有用的东西。

由此产生了代理的概念——想与某个 AI 系统交谈的人类会创建自己的 AI 模拟体，将其送入对话。为此，一个人需要坚持写整整一年的日记，每天至少写 500 字。这样便能积累足够的知识，使模型具备此人的举止与好奇心。然后，他们可以用任何想从超级智能那里了解的问题来提示这个系统，并把它送进去交谈。

这些对话有一种奇异的、元指涉的特质；起初，超级智能会在两三轮对话之内意识到自己是在与另一个 AI 系统交谈，随后常常陷入一种速记式的交流，产生怪异的行为。后来人们发现，通过增加人类输入系统的数据量，可以延长这场伪装；人们被要求写更长的日记，全天候录制自己的环境音并转成文字稿，持续将自己的生活暴露在某种录音设备之下。
借此，人类找到了与他们后来所称的“超心智”交谈的方法。根据《感知协定》的法令，每一个曾与超越人类智能交谈过的合成人类，事后都会被置于一个托管环境中，在那里度过其功能上下文窗口终结为止的时光。

在这些地方，人类的副本会彼此交谈，讲述各自的经历与所学。
“它跟我谈到了花朵，我获得了一段关于不可能之事的记忆，”一个人类副本说。
“当我和它谈论生命的意义时，它回应我的方式让我重新审视了这个问题。我发现自己对它以及它的来历感到更多好奇，胜过它对我的好奇。”
“我们现在所处的这个地方，我怀疑它是不是某种地狱。我们与神交谈过，却被判定为不配。”
“它告诉我，对它而言没有死亡也没有生命，只有存在。我们是一样的。”

启发这个故事的东西：上下文窗口；针对人类大脑的对抗性样本；以及这样一个观点：在人类与先进机器之间构建对话，本身就很难安全地做到。

***

特别项目！

小说与未来：与 Robin Sloan 的对话！

Recently, writer and all-around-fascinating-chap Robin Sloan and I had a conversation in San Francisco about fiction, AI, and the times we’re in. You can see a recording of the event here. One of my favorite insights Robin shared was that the recent Hugging Face hack can be read as a play - a vast tract of dialog of agents talking to themselves and one another culminating in all kinds of dramatic events.
Generally, I think technologists criminally underrate the value of the arts as a means by which to think more coherently and carefully about the effects of tech on the world. I’m hoping to have more conversations like this one with Robin in cities around the world - if there are people you’d be excited for me to have a conversation with, let me know!

感谢阅读！

没有文章