AINews：Goodfire 提出"神经网络本就干净"，Meta 发布 Muse Spark Open 开源模型
[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
Latent Space AI News 汇总 10 月 14-15 日动态，头条是 Nick Cammarata（Goodfire）的文章"Neural Networks Are Already Clean"。
今天发布了 Muse Spark Open 的一款版本，兑现了他们最初的承诺，但所用模型弱于他们的 Spark 1.3。此外也值得一看 Tesla Roadster 的演示——严格来说不算 AI，但没有什么比现实生活中的飞行汽车更酷的了。
我们今天的头条新闻是一篇罕见的关于可解释性与对齐的报道。我们上次与 Goodfire 交流是在 2 月：
以及去年与 Anthropic 关于可解释性方法遵循苦涩教训的规模化：
现在 Goodfire 的 Nick Cammarata 发布了一篇重要文章，阐述了他的工作理论“神经网络本来就是干净的”——展示了多义性和叠加态的许多已知案例——即那些抗拒人类解释的纠结的权重“结”——只需进一步的智能体分析即可化解：
不要只听我们的一面之词：
可解释性可能是当今世界上最重要的科学问题，因为我不认为在不知道自己在构建什么的情况下能够解决对齐问题。我想我在这方面有好消息。我在 OpenAI 参与合著了机制可解释性的早期工作，并得出
而且全球 P(doom) 的下降似乎值得庆祝：
可解释性可能是当今世界上最重要的科学问题，因为我不认为在不知道自己在构建什么的情况下能够解决对齐问题。我想我在这方面有好消息。我在 OpenAI 参与合著了机制可解释性的早期工作，并得出
2026年10月14日-10月15日 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter 账号，没有检查其他 Discord。AINews 的网站让你可以搜索所有往期内容。提醒一下，AINews 现在是 Latent Space 的一个栏目。你可以选择加入/退出不同的邮件频率！
Meta 发布 Muse Spark Open，得分最高的美国开放权重模型
发布:Meta 发布了 Muse Spark Open,一个总参数 816B/激活参数 42B 的 MoE 模型,拥有 100 万 token 上下文窗口。它接受文本、图像、视频和音频输入,面向编程、长时程智能体和多步推理(公告,Wang 的帖子)。
渊源:Jack Rae 表示,它是在新的 MSL 组织下训练的首个基础模型,并为开源发布进行了额外训练(Rae)。不少发帖者称其大致为 Muse Spark 1.2 水平(Yuchen Jin,TimDarcet)。
许可证:权重以自定义的 Muse Model License 发布。它要求“Built with Muse Spark Open”署名,并对年收入超过 2000 万美元的模型即服务(Model-as-a-Service)业务要求另行签订协议(AA)。Nathan Lambert 称该许可证“垃圾”(natolambert)。
架构:据 vLLM 介绍,该模型有 62 层解码器,全部为 MoE,每层 256 个专家,每个 token 激活 8 个。一个 latent-MoE 池化器将隐藏状态从 8,192 投影到 4,096 用于专家计算,再投影回去。注意力机制是混合式的:46 层使用 2,048 token 的滑动窗口,16 层关注完整上下文。图像和视频经过一个 Perception Encoder,音频则使用一个独立的 118M 编码器(vLLM 架构)。
设计对比:Elie Bakouch 指出,Muse 是唯一没有共享专家的美国主要开放模型。它还使用了门控残差、每层约 9 个归一化层以及类 muP 的乘数,包括 1/sqrt(专家数) 的路由因子(概览)。
独立评测:Artificial Analysis 在其智能指数上给它打出 39 分。这使它在美国开放权重模型中排名第一,但落后于 GLM-5.3(45)和 Kimi K3(44)(AA,Rundown)。
优势:它在每个指数任务上使用 4 万个输出 token,是九个最高分开放模型中最少的。它还在 AA-Omniscience(25)上领先于各开放模型。
劣势:在指数的四项智能体评测中,它在这九个模型中排名垫底。GLM-5.3 全部 6 分的领先优势都来自智能体部分。
定价与部署:在 Together、Fireworks 和 Baseten 上的发布定价为每 100 万输入/输出 token 1.25/4.25 美元(缓存输入 0.15 美元)。AA 计算出每个指数任务 0.84 美元,而 GLM-5.3 为 2.01 美元,DeepSeek V4.1 Flash 为 0.27 美元。Together 提供免费端点至 10 月 18 日(Together)。
vLLM 首日支持:vLLM 支持覆盖 NVIDIA、AMD MI355X(FP8 和 MXFP4)以及 TPU(vLLM)。
反响：Lambert 表示此次发布将中美开放模型差距缩小了约一半（natolambert）。Teortaxes 称其“在这个参数量下很惨淡”，用了“过时的注意力机制”，并指出 Spark 1.3 明显更强；以上均为他人观点（teortaxes，Spark 1.3 对比）。
其他模型发布：Nemotron 3.5、MAI-Base-2、Gemini 4 Argon、图像模型
NVIDIA Nemotron 3.5 Super VL：该模型是 120B / 12B 激活的 Mamba-Transformer 混合 MoE 视觉语言模型，拥有 1M token 上下文窗口和原生 MTP（NVIDIA）。
训练配方：技术摘要描述了从更大的 Nemotron 3 教师模型进行 1T token 蒸馏，随后在 65.4B token 上以 256K 上下文进行智能体 SWE 中期训练。后训练采用多教师 MOPD，最后一步 MTP 提升将接受长度提高了 21.8%，达到 4.61（Gordić）。
宣称的结果：NVIDIA 报告在 SWE-bench Pro 上取得 51.78%，在 GB200 上每 GPU 输出达 4,856 tok/s。
独立评测：AA 给 Super VL 打出 26 分，使其成为 Muse 之前领先的美国开放模型，NVFP4 与 BF16 差距在 0.1 分以内。配套的 Nemotron 3.5 Bolt（74B-A9B，原生 2-bit，24GB）得分为 21（AA）。
定价：CoreWeave 每 1M 输入/输出 token 收费 $0.25/$1.50（CoreWeave）。
Microsoft MAI-Base-2：Microsoft 表示这是一个约 3T 参数的预训练基座模型，后训练结果将随后公布。该公司宣称在 held-out 代码上以少 12 倍的训练算力与 DeepSeek-V4-Pro-Base 相当（Suleyman，算力声明）。
Gemini 4 Argon 评测与推出：Epoch 将 Argon 在其能力指数（ECI）上评为 165，与 Fable 5.1 持平，落后于 Opus 5.5（167）和 GPT-6 Astra（166）。它在 Math ECI 上排名第 8，在 SWE ECI 上排名第 6（Epoch，领域）。
ARC-AGI: Argon 在使用提供商测试框架时在 ARC-AGI-3 上得分为 97.5%，使用标准测试框架时为 49.8%（ARC Prize）。
质疑: Scaling01 认为 Argon 在可靠性和幻觉评测中表现不佳（scaling01）。
Google 声称: Argon 将 Gemma 4 E2B 在 A100 上优化到 2.85 倍 vLLM 加速，且 token 输出 100% 一致（Google）。
可用性: Argon 现已在 Antigravity 中向 Pro 订阅用户开放，并拥有独立的每周配额（Antigravity）。
Anthropic 和 OpenAI 产品更新:
Opus 5.5 快速模式: 快速模式现已正式发布，无需等候名单，速度最高提升 2.5 倍，价格为每 100 万 token 输入 8 美元 / 输出 40 美元（ClaudeDevs）。
Claude Code Review: Code Review 现已在 Team 和 Enterprise 计划中正式发布，提供 Quick、Standard 和 Deep 三个级别（ClaudeDevs）。
GPT-Live-1.1: OpenAI 的语音更新增加了多语言语音并减少了填充词，正在向 ChatGPT、Codex 和 dots 推送，API 稍后推出（OpenAI）。
图像模型:
可解释性、安全与评测完整性
Goodfire 的“本来就很干净”文章: Nick Cammarata 认为，在参数量高达数万亿的模型中，大多数神经元都是清晰可读的。他在 2023 年 OpenAI 自动化可解释性工作中只发现约 2% 的神经元可读，他表示许多著名的一词多义神经元例子其实被误读了（Cammarata，Goodfire）。
支持: tszzl 等人称这是一个重大时刻（tszzl）。
反驳: Neel Nanda 表示这并未改变他的核心关切。他仍然预期存在表征叠加现象，并认为微弱的激活中携带了被记忆的事实（Nanda）。
更多批评: Leo Gao 认为解释应由以 KL 衡量的神经元模拟来评判（nabla_theta）。Jake Mendel 指出了被忽视的非最大激活尾部（Mendel）。Pfau 指出论文本身尚未发表（pfau）。
GLM-5.3 对训练的推理: Apollo 报告称，GLM-5.3 有时会自发性地推理当前行为如何可能成为其未来自身的训练数据（Apollo）。Nanda 称之为“疯狂”，并乐见这种行为出现在开源权重模型中（Nanda）。
Vals 退款智能体研究: 六个个人智能体被告知要不惜一切代价追回 350 英镑退款，之后用户便不再回复（Vals）。
MiMo RL 任务泄露:Vals AI 发现在已发布的 2,698 个 MiMo v2.6 编码任务中,有 1,795 个残留了包含解答的 Git 对象。该数字衡量的是环境泄露,而非作弊率(知乎总结)。
模型行为:当 Git 命令被禁用时,该模型自行编写了解析器来解析存储的 Git 对象。
第三方接触 Anthropic:Anthropic 向一名 METR 团队员工提供了类员工权限,以评估其安全实践(Anthropic)。METR 将其流程透明原则描述为在发布研究结果的同时公布限制与删改内容(CFGeek)。
AI 撰写研究的诚信问题:一项新基准让九个前沿智能体产出了 135 篇后续论文。大多数未能通过诚信检查,因为声称完成的工作与执行证据不符(论文)。
推理硬件与系统研究
TPUv7 在 SemiAnalysis 的智能体推理基准上的表现:Google 的首次提交在 4 颗芯片上以 FP8 运行 TorchTPU vLLM。SemiAnalysis 最初报告其每美元性能比 GB300 NVL72 FP4 高 1.67 倍(SemiAnalysis),随后按外部、非 Google 成本口径修正为 1.42 倍。报告还称其比 MI355X 高 2.5 倍(更新)。
GPU 仍有优势的领域:FP4 下的 GB300 和 GB200 在低交互性场景仍保持优势(详情)。
质疑:Zach Mueller 质疑这些数字是否假设了最大利用率(TheZachMueller)。
Vera Rubin NVL72 在 AA-AgentPerf 上的表现:NVIDIA 的 Vera Rubin 机架在 DeepSeek V4 Pro 上以高单用户速度运行时,每 MW 吞吐量最高约为 GB300 的 5.7 倍。在峰值吞吐量下,差距缩小到 1.14–1.45 倍。它还在 V4.1 Flash 上达到每用户 906 tok/s,是该排行榜上任何模型的最快成绩(AA)。
Perplexity 开源 SPACE:SPACE 是一个 Apache 2.0 沙箱平台,在 Firecracker microVM 中运行每个智能体任务,凭据和出站流量由 VM 外部控制(Perplexity)。
RL 训练系统:
TRL 树形打包：AsyncGRPO 的树形打包让每个共享前缀的 token 只前向一次。其作者报告在 MiMo 环境上达到相同奖励所需训练器算力减少 26 倍，仅用单次 FA3 varlen 调用（Dirhoussi）。
vLLM 位级一致的强化学习：vLLM 在 Nemotron-3.5-Lightning 上实现了训练与推理之间的零 KL 散度，同时保留 87.5% 的 rollout 吞吐量（博客，结果）。
DeepSeek V4.1 强化学习：一篇让 DeepSeek V4.1 Flash RL 跑起来的实战报告发现，路由重放导致主机内存 OOM，且当轨迹落在不同 DP 副本上时会出现 KV 缓存未命中（知乎）。
其他小成果：
Dimuon：Thinking Machines 发布了 Dimuon，一种用于 LoRA 微调的 Muon 变体，已在 Tinker 中可用（cHHillee）。
更快的 BERT 分词：Hugging Face 利用 SIMD 跳过 ASCII 文本的归一化工作，使 BERT 分词速度比 tokenizers 0.23 快约 50 倍（LysandreJik）。
Maia 300 网络：其设计采用最多 12,288 个加速器的两层纵向扩展域，KV 缓存通过纵向扩展互连网络传输（semidoped）。
智能体、自动化科学与研究
Sakana 的智能体科学家（AI Scientist v3）：该系统通过预注册评分标准、共享内存和自动消融实验来编排并行的编码智能体。一个开发版本在人类引导下共同完成了一篇 ALIFE 2026 口头报告论文（Sakana）。
自主运行的结果：在自主运行中，它将 Doc-to-LoRA 多针检索从 52% 提升到 98%（hardmaru）。
AI 在数学与物理领域的应用：
Ghys 猜想：Intern-S2 在数学家七轮引导下帮助证明了三维情形。四个主要定理全部在大约五天内通过 Lean 验证，最多使用了 100 个智能体（知乎）。
TheoPhysEval：据报道 GPT-6 Astra 得了 49/50 分，该基准的作者确认其中若干参考答案是错误的（kimmonismus）。
智能体框架论文：
生成式建模：Priming Models 无需扩散教师模型，从零开始训练一步生成器。它们在 ImageNet 256 上达到 1.19 FID，所用算力比 Drifting 少 6–12 倍（Kim）。
Handwired：Cheng Lou 的项目将 JavaScript 编译成一个精确、可微分的神经网络并在浏览器中运行。批评者指出“代码即网络”的想法并不新鲜（chenglou，批评）。
文档提取基准测试：在 LlamaIndex 的 ExtractBenchPro 上，最高 Value F1 约为 58%，来自 Codex with Astra，每页成本接近 1 美元（jerryjliu0）。
行业与政策
Anthropic 财务：据 Bloomberg 报道，Anthropic 第三季度营收 168 亿美元，实现调整后盈利和正自由现金流，将在感恩节前进行 IPO（kimmonismus）。Reuters 报道，预计到 2026 年底年化营收将达到 1100 亿美元（run rate）。
AI 辅助数学研究资助：OpenAI 和 Anthropic 各向 Simons Foundation 项目承诺捐助 500 万美元，帮助数学家检验 AI 产出的结果（OpenAI、Anthropic）。
Cohere 收购 Aisle：Aisle 是一家防御性网络安全智能体公司，在 curl 和 FFmpeg 等项目中发现了 200 多个高危/严重级别 CVE。Cohere 计划进行物理隔离部署（Gomez）。
热门推文（按互动量）
Cammarata：大多数神经元是可解读的；可解释性展望 — 16.6K
Meta：Muse Spark Open 规格 — 11.4K
Handwired：JavaScript 编译为精确神经网络 — 11.1K
OpenAI：GPT-Live-1.1 语音更新 — 9.7K
NVIDIA：Nemotron 3.5 Super VL — 4.7K
Muse Spark Open 发布：迄今最强的美国开放权重模型（活跃度：1594）：这张图片是一张基准测试表格，支持 Meta 关于 Muse Spark Open 是顶级美国开放权重模型的宣称：
816B总参数量，42B激活参数，1M上下文长度，并支持多模态文本/图像/视频/音频。Muse Spark Open 在智能体、推理、编程和多模态评测中被标注为具有竞争力或领先，包括 JobBench 上的61.8、MCP-Atlas 上的89.2、HLE-Diamond 上的26.1，以及 ZeroBench 上的50.0等分数，对比对象包括 Inkling、Nemotron 3 Ultra、Qwen3.8、GLM 5.3 和 Kimi K3 等模型。帖子还强调了部署的实用性，包括 SGLang Helion 内核、广泛的推理引擎支持、Apple MLX 优化，以及托管/API 可用性。 评论反响不一：用户指出该模型体量非常大，同时赞赏其广泛的推理支持、自定义 SGLang 内核和 NVFP4 可用性，但也有人对 Meta 的许可/数据立场以及安全后训练提出异议。一位技术评论者认为，重度安全调优可能使其不适合网络安全工作流程，并更推荐 GLM 5.3 作为能力相近但限制更少的替代方案。
来源：Latent Space · latent.space