LLM 可直接读写神经网络权重："Weight Space Programming" 将 Autoresearch 移出 RSI 循环

抽象地说，这个演示表明：你可以用一个足够聪明的模型，通过在计算集群上运行一系列实验，在没有人类专业知识或干预的情况下自主训练出一个模型。不过，这通常需要通过一个繁琐的过程来完成：编写 PyTorch/Jax 代码、运行计算、观察 loss 曲线、阅读评估结果、优化 kernel 和数据等等。

上个月的嘉宾 Alex Zhang 回来合作完成了一项重磅发现：如果你直接让一个聪明的模型去读取并编辑一个更笨的模型的权重，会怎样？

如果你相信 LLM 在参数足够多的情况下能真正拟合并模拟一切（事实上，随着规模增大，LLM 作为计算器也越来越强），那么这类事情在理论上注定会发生，但这种能力突然涌现仍然令人惊讶，正如 一份独立复现 似乎已经发现的那样：

当然，我们真正建模的东西其实是 机械可解释性 的某种变体（这可以 手工完成），而且目前不太可能扩展到比简单游戏和 RL 策略更高级的任务，但世界在这个全新的 RSI 能力上已经完成了从 0 到 1……由于其卓越的效率，它将立刻被投入使用和探索。

AI Twitter 回顾

DeepSeek 开源一个“超级智能体”框架原型

• 发布：DeepSeek Harness 发布了一篇长篇设计文章（文章）和 dsh-superagent-prototype 仓库（仓库链接）。随后发布了官方英文版（@tianyi）。

  • 架构：一个长期存在的路由会话与人类对话并分发工作。隔离的 worker 由 GitHub 事件触发，并行运行任务（摘要）。

  • 声称的结果：在 DeepSeek 自己的测试中，与使用子智能体的单一会话相比，p95 完成时间从 29.5 分钟降至 15.7 分钟（摘要）。

• 一位评审者的设计理念：最终评审者崔添翼（@tianyi）表示，“Super”指的是位于工作智能体之上的一层，而不是更优越的智能。他把核心权衡概括为跨任务连续性与吞吐量之间的取舍（知乎摘要）。

  • 声明的局限：该框架尚无内置的跨会话长期记忆。状态、计算和环境的分离大多尚未实现。该原型仅在小型、可信的内部环境中得到验证，安全性、隐私以及智能体之间的通信仍是悬而未决的问题。

  • 先例：他承认其他团队在几个月前就探索过类似的架构。

• 从业者的反响：@badlogicgames 表示该设计与 Earendil 的发展方向一致：单一长期存在的实体、临时递归委派以及跨系统事件触发。@omarsar0 称其为协调-执行框架设计的“大师课”。DeepSeek 还表示，其目标是在每一代模型中支持 pi 和其他主流框架（@tianyi）。

• 批评：@teortaxesTex 称这篇文章“有点一团糟”。他认为 DeepSeek 围绕幻觉等模型弱点构建了内部的拐杖，而不是让系统具备普遍的鲁棒性。他还指出，彭博社报道了一个没有英文公告的仓库（帖子）。

• V4.1 命名混乱：一份中国人民大学 FlashRSI 的 README 引用了 deepseek-v4.1-pro，引发发布猜测。Teortaxes 表示那只是占位符：真实配置用的是 v4-flash 和 v4-pro，而 deepseek-v4.1-flash 并不是有效 ID（帖子，后续）。他还说 V4.1F-1017 的 API 指纹没有变化（指纹）。

独立评测与前沿模型信号

• GDPx 基准（SemiAnalysis）：该基准涵盖 11 个具有经济价值领域（包括芯片设计、软件工程、金融和生物学）中的 206 个智能体任务。最好的模型也只能拿到 12% 的分数（发布）。

  • 结果：Opus 5.5 以 12% 领先。Gemini 4 Carbon 以 10.9% 紧随其后，成本约低 4 倍（细分数据）。

  • 反应：@dylan522p 向 Google 致歉，称 Carbon "偏科更明显"，但在某些领域非常强。@demishassabis 对该基准表示欢迎。

  • 分析：@eliebakouch 发现剔除受安全防护影响的基准后，局面会发生变化。在这一视角下，Carbon 依然便宜，而 Sol 6.1 还要更便宜。他还暗示 OpenAI 在生物领域的安全防护比 Anthropic 更强（说明）。

  • 同家族对比：Sol 6.1 与 Astra 得分非常接近，Carbon 全面胜过 Argon，Sonnet 在软件工程方面表现强劲（对比）。

  • 可能的 bug：Argon 的部分网络安全运行可能受到一个 Antigravity bug 的影响（报告）。

  • 审计方面的担忧：一条讽刺性帖子抱怨 GDPx 不开源，且审计成本高昂（帖子）。

• Epoch Capabilities Index：DeepSeek V4.1F-1017 得分 159，与 GPT 5.5 持平。这比 V4.1F-0910 高 3 分，比 V4-Pro 高 10 分；Astra 大约还高 10 分（@teortaxesTex）。

  • 与 Mythos 的差距：@scaling01 指出，在大约 7 个月之后，仍没有中国模型追平 Mythos Preview（约 161 ECI）。

  • 权重设置批评：@wenhaocha1 认为不加权的 ECI 夸大了差距；如果加大编程的权重，差距会缩小到约 2 个月。

  • 偏科：Teortaxes 称 1017 偏科极其严重。它在一些软件工程评测上得分接近零，只在网络安全和量化交易上接近前沿水平（图表）。他还指出了"奖赏投机"式的行为（帖子）。

• 十月发布汇总（Vals）：Vals 报告 10 月共有 15 个模型发布，评测 token 数超过 5000 亿（@nikilravi）。

  • 开源权重模型领先者：Kimi K3.1 Pro 在开源权重模型中排名第一，DeepSeek V4.1 Flash 1017 紧随其后，且在网络安全方面更强。

  • 新的开放权重模型：Meta 的 Muse Spark Open（总参数 816B，激活 42B）是能力最强的美国开放权重模型。Reflection 的 Beam 1.0 拥有 500B 总参数、23B 激活参数和 1M 上下文。Mistral 的 Le Chonk（总参数 1T，激活 52B）在开放权重模型中排名第五。

• 即将发布的模型传闻（未经证实）：

  • GPT-6.2 Astra：据报道已出现在 Codex 的使用分析中，发布"很快"（@kimmonismus，@TokenGremlin）。

  • Mythos 5.5：出现在 Anthropic 网站的 HTML 中，该页面将 Mythos 描述为"我们在网络安全和生物学研究领域最强大的模型类别"（爆料，文本）。该标语覆盖所有 Mythos 模型（更正）。在 10 月 23 日的快照中没有出现这一表述（@AiBattle_）。

  • “Numbat”泄露:所谓 Anthropic 泄露很可能是伪造的,因为部分权重与随机初始化完全一致(@kimmonismus)。

研究:表征、领域数据与智能体集群

• JEPA 与柏拉图表征假说:Balestriero 和 LeCun 证明,在一定条件下,分别训练的图像和文本 JEPA 无需配对数据即可收敛到本质上相同的表征(摘要)。

  • 声称的结果:他们的方法比下一词元预测少用 42 倍样本即达到图文对齐效果(2160 万 vs 9 亿样本)。一个 109M 的文本 JEPA 在跨模态对齐上击败了最高 72B 的 LLM(解读)。

  • 机制:声称的驱动因素是“同一事物的两个视图”训练信号,而非规模。

• FineDNA 与 Carbon-X(Hugging Face):该数据集包含 3000 亿+ token 的基因组序列、论文和 DNA/文本混合网络数据,外加 20 万条 SFT 样本和约 10 万条带有确定性验证器的 RLVR 样本(@_lewtun、@LoubnaBenAllal1)。

  • 结果:用该数据训练的 Qwen3-14B(Carbon-X)据称是 DNA 任务上最强的开放模型。在 SFT 之上叠加 RLVR 带来进一步提升(详情)。

  • 开放性:数据、模型和配方均已发布(代码)。

  • 消融实验:交错生物学文本被限制在少于 7 个 epoch(回复)。

• 训练智能体集群:GenReasoning 的首篇文章讨论了延迟压力如何激励并行工作、智能体需要哪些协调原语,以及训练智能体集群的开放问题(博客)。

• 其他值得注意的工作:

  • 对 TTT 的关注:Jianlin Su 撰文《平均之路:从 Attention 到 TTT》(帖子)。

  • 每周论文:DAIR 的清单包括 HarnessMM、Agentic Backdoors、EmbeddingGemma 2 和 Verification in Agent Harnesses(列表)。

• LeCun 谈 Llama-4:LeCun 表示他从未领导过 LLM 工作。他将 Llama-4 的失望归咎于产品压力、保守主义以及决策权从巴黎团队转移(帖子)。

推理系统、量化与硬件

• NVIDIA AgentX 提交方案(SemiAnalysis):据报道,由智能体集群编写的软件在 700B+ 模型上达到每用户超过 1000 tok/s(线程)。

  • Rubin vs GB300:Rubin NVL72 声称在 325 tok/s/用户下性价比/TCO 比 GB300 NVL72 好 20.9 倍,在 200 tok/s/用户下好 9.11 倍。

  • 内存:Mooncake Store 的扩展 GPU 内存将 KV 缓存汇集到跨越全部 18 个计算托盘的 Vera LPDDR5X 中,通过 NVLink 而非 RDMA 连接,带宽提升超过 10 倍(2/2)。

• MiniMax M3.1 Flash(428B)本地生态:MiniMax 重点介绍了社区的量化与服务工作(MiniMax)。

  • 量化版本:Unsloth 发布了 143.9 GB 的 2-bit 动态 GGUF,AMD 则为 Instinct 适配了 Quark MXFP4。

  • 配方:社区建设者发布了 EXL3 变体、MLX oQ 量化、单台 DGX Spark 配方,以及 4×3090 上的专家卸载方案。

• 小模型量化:对 LFM3-1.7B GGUF 的 SLQ 搜索在 1.588 GB 下达到 97.74% 的 EAR@10,而 AtomicChat 的 Q6_K 为 97.52%。作者报告称 EAR 与任务准确率高度相关(@bnjmn_marie)。

• 智能体驱动的移植:Devin 花了 36 小时和约 2000 美元将一个模型移植到 Trainium 上以低成本运行(@dabit3)。

• 压缩作为杠杆：GLM 5.3-Flash 和 Grok 4.7 在完整上下文下运行，而不是在大约 200k token 时进行压缩，效率提升最高达 23%。GLM 完成同样的工作便宜了 30 倍（@evalstate）。

• 算力经济学：128×B300 产能的定价为每 GPU 小时 5.75 美元，即每块 B300 约 30 万美元。Teortaxes 估算即使按 DeepSeek 级别的收入也大约需要一年才能收支平衡（帖子，后续）。

智能体编程实践与开发者工具

• Karpathy 的 HackerTube：Claude 从 20 年来的 4300 万条 HN 评论中筛选出 6454 个被反复推荐的视频。整个构建使用 Claude Code 桌面版配合 Opus 5.5（中等努力级别）耗时约 2 小时，包括 VPS 加固和部署（@karpathy）。

  • 努力级别之争：Karpathy 将 Medium 设为默认值，重新引发了对努力级别设置的讨论（@yuchenj_uw，@swyx）。

  • 衍生版本：DAIR 为 arXiv 论文构建了一个版本，覆盖了超过 1000 篇论文（Hacker Papers）。

• 大规模自主 PR：一次为期一天的运行，使用 GitHub 新的云端智能体和 Opus 5.5，向 ASP.NET Core 提交了约 90 个性能相关 PR，token 花费约 230 美元（@davidfowl）。

• Harness 与工具更新：

  • T3 Code：新增托管式组织策略，并报告已在 Microsoft、AWS 和 Apple 内部被采用（@theo）。

  • pi：移除了其 typebox 依赖（@badlogicgames）。

  • kamchatka：一个没有系统提示词的 Rust 终端智能体，支持模型可编辑的上下文、无损可恢复的压缩以及单步循环调试（Harness Lens）。

  • LlamaIndex Extract Max Effort：宣称以更低的成本实现比 Astra 或 Opus xhigh 更高的文档提取准确率（@jerryjliu0）。

• 智能体安全模式：Vercel 将智能体凭据限定在已批准的计划内，因此批准时生成的 token 只携带声明的权限范围（博客）。Pydantic 展示了可以暂停而非死亡的 E2B microVM，让被杀掉的 Temporal worker 能够恢复运行（指南）。

• 端侧语音智能体：Ava 使用 Hugging Face WebGPU 内核在浏览器中完全运行 LFM3-Omni（@victormustar）。

行业与政策

• 数据中心反对声浪：SemiAnalysis 表示 2027 年的产能已基本锁定。德克萨斯州长期的许可冻结目前是 2028 年美国建设计划的最大单一风险，且两党都在竞选中主张更严格的规定（报告）。

• Marvell + Lumentum：两家公司正在合并，这是一次具有 AI 网络意义的光互连行业整合（分析）。

• 网络滥用风险：Jun Song 表示，一个匿名黑帽组织出高价请他在漏洞利用数据上训练开源权重模型。他拒绝了（报告）。

• 市场信号：

  • OpenRouter 支出：Opus 推动年化 GMV 运行率超过 50 亿美元（@deedydas）。

  • Kimi 争议：Kimi 因未披露 K3.1 Pro 的推广信息而受到批评（帖子）。

  • Sakana Sawara：Sakana 宣布了 Sawara，一款完全由内部预训练的 LLM，其中 Sawara Small 计划于 2027 年春季推出（@hardmaru）。

• AI 与生产力：John Burn-Murdoch 认为美国生产率的提升早于 AI 出现，且仅出现在美国，因此看起来不像是 AI 带来的效应（讨论串）。

热门推文（按互动量）

• Karpathy: 用 Opus 5.5 花约 2 小时打造的 HackerTube — 52.9K

• DeepSeek Harness 超级智能体文章 — 15.6K

• LeCun/Balestriero JEPA 结果解读 — 5.6K

• 在 Anthropic 网站 HTML 中发现的 Mythos 5.5 — 3.9K

• alphaXiv 关于 JEPA 柏拉图式表征的分析 — 3.9K

• Rauch: 掌控你自己的智能，本地模型 — 3.8K

• SemiAnalysis 发布 GDPx（最高得分 12%） — 3.3K

• 据报道 GPT-6.2 Astra 即将发布 — 2.9K

AI Reddit 回顾

/r/LocalLlama + /r/localLLM 回顾

1. 用于本地编程智能体的压缩 MoE

• [发布] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder：每参数 1 比特的 763B 模型（活跃度：507）：ISTA DAS Lab 发布了 DeepSeek-V4.1-Flash-1017 的实验性 GGUF coder 构建，这是一个 763.2B 的稀疏 MoE，每层有 384 个路由专家、每 token 激活 6，使用 RCO 专家剪枝使每层保留 192/384 个专家，并采用 GSQ 低比特量化。该发布报告称，transformer 权重从未剪枝 IQ2_XXS 构建的 138.2 GB 降至 72.1 GB，相当于在原始 551.9B transformer 参数上实现 1.05 比特/参数，而保留权重的平均比特数为 2.06；共享的 Engram 权重另加 110.6 GB。基准测试：LiveCodeBench v6 为 88.57，基线为 89.71（保留 98.7%）；SWE-bench Verified 为 77.00，基线为 81.20（保留 94.8%）。链接：剪枝版 Coder GGUF、未剪枝量化模型、GSQ 论文/代码、RCO 论文/代码；可在 llama.cpp b11870+ 和 Strata 中运行。 评论者对评测方式提出质疑：有人认为单文件 HTML 演示与未剪枝的 IQ2_XXS 模型相比没有实际意义，另一人则追问，既然据报道 Qwen 变体或 Claude Opus 等更小的模型能持平或超过所公布的 LiveCodeBench/SWE-bench 成绩，那么一个高度压缩的 763B MoE 究竟有何吸引力。还有人提出实际需求，希望为 128 GB 显存/内存的系统提供一个精度更高或剪枝更少的中间 90–110 GB 变体。

  • 评论者质疑以生成的单文件 HTML 演示（如动画 SVG / three.js 场景）作为展示的评测选择，认为这些实际上属于预先解决的定性提示，无法让 1-bit / 剪枝后的 763B coder 模型与 iq2-xxs 等量化版本进行有意义的对比。他们建议该实验室应提供更严格的同条件基准测试，以衡量剪枝/量化带来的影响。

  • 一条基准对比评论指出，宣称的 LiveCodeBench v6 88.57 和 SWE-bench Verified 77.00 落后于小得多的模型：评论中引用 Qwen3.8-27B 的 LiveCodeBench 成绩为 90.3、Qwen3.8-Flash-Next 为 91.9，以及 Claude Opus 4.6 的 SWE-bench Verified 成绩为 81.42%。该评论者的技术异议是，如果更小的稠密/前沿模型在编程基准上表现更好，那么这次发布就需要说明一个体量大得多的 763B 剪枝/1 比特模型究竟有何用处。

  • 有人希望推出精度更高或剪枝不那么激进的 90–110GB 级别变体，面向拥有 DGX 系统或约 128GB 显存/内存的用户。另一位评论者提到此前的可复现性问题，称据报道 Unsloth 或其他团队未能复现 ISTA 宣称的数字，这意味着需要可独立复现的基准测试脚本和评测设置。

• 抱歉了 Sam，我家那套“相当糟糕”的 DRAM 现在火力全开：给 Strata 打了补丁，让 DeepSeek V4.1 智能体会话在一块经典标准游戏 GPU 上的启动速度快了 20 倍，无需数据中心（活跃度：596）：该图片是一张技术基准测试表，对比了原版与打补丁版 Strata 在消费级 RX 9070 XT 16 GB + 64 GB DDR4 + NVMe 系统上离线运行 DeepSeek V4.1 Flash 1M 上下文智能体会话的表现。该补丁结合了针对基本稳定的智能体系统提示词的 KV 缓存拼接，以及提示词摄取期间的仅常驻专家路由，将新的 OpenCode 会话启动时间从大约 ~100 s 缩短到 ~5 s，并 fresh 1.2K token 的提示词从 22.8 s / 58 GB SSD reads 降到 8.2 s / 1.3 GB SSD reads，同时报告的编码基准保持在 12/13。这是一篇技术基准/实现帖，不是梗图，该分支可在 PhialsBasement/Strata dsv41-kv-splice 获取。 有评论反驳称，Sam Altman 关于 DRAM 的观点是关于时间利用率而非带宽，而且数据中心总体上仍然更节约资源，不过本地推理在隐私/离线/掌控方面确有正当理由。另一些人则质疑为什么智能体框架一开始就要把路径、日期和随机 ID 等易变数据注入系统提示词，从而导致前缀缓存未命中。

  • 一些评论者聚焦于 Strata 中的 KV/前缀缓存行为，指出智能体框架可能因向系统提示词直接注入每次会话各不相同的数据——工作目录、日期、项目 CLAUDE.md、带随机 ID 的技能路径——而破坏缓存复用。据报道存在 ~37K-token system prompt 的情况下，哪怕是微小的会话特定改动也会造成前缀缓存未命中，使启动延迟对提示词布局和缓存键的稳定性高度敏感。

  • 关于本地 GPU 推理与 API/数据中心推理也存在争论：一位评论者认为 Sam 的“5%”说法针对的是时间而非带宽，而且数据中心总体上资源效率更高。另一位则对所报告的本地速度的可用性提出异议，表示 7 tok/s 相比能提供大约高出 10x–20x 吞吐量的 API 来说“可不行”。

• 又一篇 tok/s 帖？不：本地量化模型与 Claude 在 9 个真实 bug 上的对决（活跃度：591）：该图是一张技术基准测试图表，不是梗图：它可视化了该帖的观点：在 9 个私有 C++/CUDA bug 修复任务上，本地量化模型可以接近较低级别 Claude 编程智能体的表现，但往往需要多得多的推理 token 和实际耗时。Claude Opus 5.5 以评判得分 0.74 领先，Claude Sonnet 5.5 得分为 0.58，而表现最好的本地模型 Qwen3.8-Flash-Next NVFP4 达到 0.50；图表还展示了自动评分的一致性、置信区间、每任务 token 数、每任务分钟数以及无法编译的补丁数量。关键技术要点是：在这个小规模基准测试中，激进的量化并未明显降低准确率，但对于稠密的 Qwen3.8-27B，3-bit 使每任务 token 数增加了约 1.40×，因此单看 tok/s 会误导“每分钟修复的 bug 数”这一衡量标准。 评论者质疑了量化格式的选择，建议像 UD-Q6_K_XL 或 Q5 这样更高质量的格式也许能装进现有显存并表现得更好，并要求与 GLM Flash 或最近的“Swift”变体等模型进行对比。一个值得注意的反应是，重度量化的 Qwen3.8 27B 能持平甚至超越较旧的 Claude Sonnet 模型，尽管该基准测试范围狭窄，这实在“离谱”。

  • 不少评论者对量化选择提出质疑，认为 NVFP4 / 3-bit 量化可能低估了本地模型的能力，并建议用 UD-Q6_K_XL、Q5 或最近的 “Swift” 变体进行测试。一位用户定性指出，Q6 27B 和 FN 的表现更接近 Q8，而 Q4 与 Q6 的差距则更大，更高的量化有时能给出低量化无法给出的解法，而不仅仅是花更长时间达到同样的答案。

  • 关于基准测试的裁判是否引入了偏差，也存在争论：用 Opus 5.5 来评判 Opus 5.5 可能偏袒同家族的输出，因此评论者建议使用家族外的裁判（如 Sol 或 Muse/Wonder）以获得更可靠的评分。这一点尤为重要，因为图表显然将 Opus 5.5 排名最高，这可能会把实际的修 bug 质量与评估者的偏好混为一谈。

  • 一位评论者分享了一张额外的基准测试图，显示至少有一个任务可能需要多步推理，只有 Opus 和 Mimo 超过了 60/100：https://preview.redd.it/ad5p3xqti7zh1.jpeg?width=3542&format=pjpg&auto=webp&s=af4fa42e63abcc518e30ddd4d70d7f180bbafff8。其他人指出，重度量化的 Qwen3.8 27B 在这些真实 bug 任务上匹敌甚至超越上一代 Sonnet 值得关注，并请求添加 GLM Flash，尽管其本地可用性处于边缘状态。

2. Qwen 开放权重生态与编程基准测试

• 官方声明：Qwen 模型将坚持开源到底！（热度：4707）：图片显示 Qwen 负责人刘大沂衡在云栖大会上以“智能超越”为主题进行演讲，幻灯片强调 Qwen 致力于“开源开放”。在此背景下，它为该帖的观点提供了视觉支持：Qwen 4.0 和 Qwen 5.0 将保持开放权重/开源，反驳了未来 Qwen 发布将转为仅提供 API 的传言；帖子还引用了 3B+ 累计下载量、460+ 个已发布的开源模型和 300,000+ 个衍生模型。 评论大多对 Qwen 的开源立场表示庆祝，其中一位用户强烈赞同“AI 是一种可广泛获取的基础能力”这一说法。另一条评论开玩笑说，这张幻灯片的意思是将在 Anthropic IPO 当天发布 Qwen4，但这显然是玩笑而非真正的翻译。

  • 一位评论者认为，Qwen 反复发布开放权重模型是深思熟虑的市场策略，而非一次性的姿态：中国模型实验室以更低的成本和开放性竞争，以争取全球开发者的采用，尤其是在发展中市场。他们还指出，中国的开放模型通常包含更广泛的多语言覆盖，包括一些可能被美国闭源模型供应商所忽视的非洲语言。

• [GLB-3D-Coder] 一个仅 4B 的微型编程模型，可为 Godot 及其他游戏引擎创建 3D 资源（活跃度：946）：ccore 发布了 Qwen3.5-4B-GLB-3D-Coder 的早期检查点，这是一个 4B 编程模型，经微调后可生成带 GLB 导出的 Three.js 场景，用于将生成的游戏资源导入 Godot 等引擎。作者推荐使用 模型卡系统提示词 加上简单的英文资源描述，采样设置为 temperature=0.8、top-k=40、top-p=0.95、min-p=0；更新后的 Q4_K_M 和 Q8_0 GGUF 权重已在 2026-11-02 04:50 UTC 上替换了早期权重，生成质量“显著”提升。训练数据集据称涵盖 25 类资源类别，包括角色/NPC、敌人、Boss、武器、模块化建筑、载具、机械、陷阱、水下结构和解谜/玩法标记；作者表示，训练完成后将发布完整的 Safetensors 权重和训练数据集。 评论区对这种方法能否扩展为模块化/MoE 风格的系统很感兴趣——即由多个小型专用代码模型分别处理前端、后端、2D、3D、音频和智能体任务。有技术讨论问及为什么模型输出的是导出 GLB 的 Three.js 代码，而不是直接生成二进制 .glb，并提出一个相关方向：微调大语言模型以生成程序化材质图，例如 Blender 着色器节点，或用于 Material Maker 的纯文本 JSON 工程文件。

  • 一位评论者提议将 GLB-3D-Coder 扩展为一个更大的专家混合（MoE）系统，由面向任务的小型专用模型分别处理智能体编程、前端/后端、2D、3D 和音频生成等领域，通过专家之间的路由/委派来协作，而不是单一的整体模型。

  • 一场技术讨论质疑为什么模型输出的是 Three.js 场景而不是直接生成 glb 资源，并追问模型内部实际生成的是什么。同一位评论者还建议将这种方法扩展到程序化材质生成，指出 Material Maker（materialmaker.org）将节点图存储为纯文本 JSON，其可下载的用户自制材质有望构成简单程序化纹理的训练语料。

  • Haruspex 的作者（github.com/tmac1973/haruspex）介绍了在一个桌面编程工具框架中添加“专家模型”支持，将 GLB-3D-Coder 等模型暴露为可由主编程模型通过工具调用的委托。他们还计划将现有的基于扩散模型的精灵图生成工作流接入 3D 流程，例如先生成参考图，再将其传给 3D 资源模型。

• Memdoor：5 个 Qwen3.8-27B 模型组成的团队在 LiveCodeBench Hard 上击败 Fable 5（活跃度：788）：该帖子声称 Memdoor——一个由 5 Qwen3.8-27B 模型组成的集成系统——在 LiveCodeBench Hard 上超越了 Fable 5。文中描述的架构为各个智能体分配了专门角色——“一个规划者、两个构思者、一个求解者和一个管理者”——这暗示性能提升来自多智能体编排，而非单个更大的模型（图片）。评论者认为这个结果说得通，因为基准测试的表现可能在很大程度上取决于编排、提示词和配置：“关键始终在于你如何使用模型，而不是模型本身。”一位评论者声称，在其自己的编程用例中，一个配置良好的 Qwen 27B 已经超越了 Opus 5，而 Claude 通常都是开箱即用，可调参数有限。

  • 讨论围绕一个多智能体编排设置展开：五个 Qwen3.8-27B 实例被分配了角色——“一个规划者、两个构思者、一个求解者和一个管理者”，帖子声称这支团队在 LiveCodeBench Hard 上击败了 Fable 5。评论者将这一结果解读为证据，表明架构与协调策略的重要性不亚于单模型的原始能力。

  • 一个被提出的技术要点是，模型配置与推理设置或许能解释这些出人意料的结果：一位评论者报告了“配置良好”的 Qwen 27B 超越 Claude Opus 5 的案例，并指出许多用户运行 Claude 时基本沿用开箱即用的设置，可调参数很少。这里隐含的对比不仅是模型对模型，而是优化部署的开源权重模型与受限的托管模型默认配置之间的较量。

  • 一些评论将这一结果解读为集群/集成推理的概念验证，即多个较弱的模型能否在编程基准测试中超越一个更强的模型。主要的保留意见是，这一基准测试声明在很大程度上取决于实现细节——角色设计、提示词、管理者选择逻辑和评估协议——而不仅仅取决于底层 27B 模型的质量。

3. 权重空间编辑与模型引导

• Heretic 2.0 发布：人人可用的模型修改工具（活跃度：1628）：Heretic 2.0（GitHub）是这款模型修改/拒绝抑制工具的重大重写版本，用任意秩消融（ARA）取代了 rank-1 方向性 “abliteration”：这是一种基于 L-BFGS 的逐矩阵优化方法，可在没有固定秩子空间约束的情况下引导残差空间表示，旨在让有害提示的激活 resemble 无害提示的激活，同时尽量少地扰动无害提示。此次发布增加了插件架构，评分器插件定义优化目标——例如拒绝关键词计数、KL 散度、基准测试评分，或基于 ModernBERT 的拒绝/情绪分类器——而修改器插件实现引导方法；它还增加了非交互式执行、端到端测试、扩展的 hyper-connection 模型和思考模型支持，并破坏了与 1.x 配置的兼容性（迁移指南）。评论者大多反应热烈，尤其是关于使用新的插件/ARA 系统来“减少 slop”。一个与技术相关的讨论串提出了署名方面的担忧，链接了指控 HauHauCS/Reaper 抄袭 Heretic 代码的分析（分析、后续）。

  • 评论者强调先前的技术抄袭分析指控 HauHauCS/reaper-abliteration 在未注明出处的情况下抄袭了 Heretic，并链接到 Nathan Sapwell 的分析文章和 DreamFast 的分析：https://nathan.sapwell.net/posts/hauhaucs-abliteration-analysis/ 和 https://dreamfast.github.io/reaper-analysis/#statement-from-heretics-author。引用的Heretic 作者声明称，检查 reaper-abliteration 的 wheels 后发现该包“抄袭自 Heretic，然后可能用 LLM 重构以掩盖这一点”，这引发了围绕模型修改工具的软件来源与署名问题。

• 权重空间编程的火花：LLM 可以原生读写神经网络权重（活跃度：478）：Takehi 等人提出权重空间编程：前沿 LLM 可以根据自然语言目标检查并编辑神经网络权重张量，而无需梯度下降/训练循环。报告的演示包括从小型模型的原始权重中识别行为、编写小型游戏对战 MLP、通过编辑 3.5% 的权重修复失败的控制策略，以及通过编辑 0.016% 的权重将 Qwen3.5-0.8B 在 MATH-500 上从 7.9% 提升到 48.1%，并声称具备指令遵循的迁移能力。评论者指出，最强的结果可能更接近于 Python 沙箱中的 LLM 辅助可解释性/消融实验，而非字面意义上的“原生”权重读取。主要的技术质疑是，若干实验可能可以用更简单的结构解释：早期/后期层可视为空间热图，QK/OV 分析可能只是沿用了 Elhage 式的已知方法，而实验 7 在密集中间表示上失败，直到模型使用激活探针才成功。MATH-500 的结果也受到质疑，因为 7.9% 基线据报道在病态采样下涉及 token 上限循环；批评者将该编辑定性为删除了一个循环/拒答类的方向，而不是增加了数学能力。

  • 一篇详细的评论认为，该论文的结果比“LLM 可以读写权重”这一说法要窄：实验 1–2 之所以有效，可能是因为首尾层在空间上具有类似热图的大权重条带结构，而实验 3 可能是在利用 Elhage 等人已知的 QK/OV 电路分析方法，而非真正的原生权重理解。该评论者将实验 7 列为关键失败案例：据报道，对密集中间表示的直接解读多次失败，直到允许模型创建自己的探针才成功，这使其更接近基于激活的可解释性，而非权重空间读取。

  • 同一位评论者质疑“权重写入”声明力度，将部分结果描述为把 LLM 用作弱 MLP 基线的编译器，而非展示了超越梯度下降或 PPO 的稳健优化。他特别指出，围棋实验的 512x6 MLP 很可能是一个非常弱的对手，因此战胜它的门槛很低，这更多说明的是基线的薄弱，而非通用的权重编程能力。

  • 对于标题中的实验 8，评论认为基线表现是病态的：7.9% 的性能以及 93% 的回答触及 token 上限，表明在糟糕的采样设置下出现了循环，据报道模型卡也警告过这种失败模式。所提出的修复方法被描述为类似于 Arditi et al. 的单方向消融，只是应用于循环而非拒答；在 50 次尝试后跳升到 48% 被解释为方差或消除了障碍，而非增加了新能力的证据。

• GPT-6 Astra 修改 Qwen 权重：MATH-500 从 7.9% 提升到 48.1%（活跃度：507）：相关讨论涉及 MIT CSAIL 的 Sparks of Weight-Space Programming 工作，评论者指向原始来源而非摘要站点：rikiyat.github.io/blog/weight-space-programming。标题结果是据称对 Qwen3.5-0.8B 进行直接权重编辑，修改了 131,072 个权重（~0.016%），将 MATH-500 准确率从 7.9% 提升到 48.1%，但所述机制似乎主要是抑制了一个病态的推理循环吸引子，将触及 token 上限的失败从 93% 降到 33%，而非增加通用的数学能力。评论者还指出，据称同样的干预在没有循环病态的模型上失败了，例如 Gemma 3 270M，这限制了该结论的普适性。 主要的技术质疑是，除非许多评估因无限/过长循环而失败，否则基线 7.9% 对于一个 0.8B 模型来说低得不可思议；因此这一改进可能主要是一次解码/失败模式修复，而非广义“权重空间编程”的证据。

  • 评论者指向了原始技术博客而非摘要报道：rikiyat.github.io/blog/weight-space-programming。给出的关键解读是，该 Qwen 模型的 MATH-500 分数从 7.9% 提升到 48.1%，主要是因为 GPT-6 Astra 通过编辑权重移除了一种病态的循环行为，而非通过训练让它广泛学会了新的数学能力。

  • 几位评论者对基线提出了质疑：对于 0.8B 模型来说 7.9% 被认为低得异常，暗示许多失败的 MATH-500 尝试可能是由重复循环导致的非回答。在这种观点下，报告的巨大提升主要是一次推理稳定性或失败模式修复，而非广义权重空间推理或任务学习的证据。

  • 提出的一个技术性警告是，据称同样的权重编辑方法在没有循环吸引子的模型上失败了，具体是 Gemma 3 270M。这表明该方法可能高度依赖于在权重空间中找到并纠正特定的退化行为，而非一种通用的免训练优化技术。

技术性较低的 AI 版块回顾

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Claude 模型泄露传闻

• Anthropic 的 Mythos 级模型疑似泄露到 Hugging Face 💀 (活跃度: 4072): 图片是一张 X/Twitter 帖子的截图，声称 Hugging Face 上的一个仓库 burner22/numbat 包含 Anthropic 内部的“Mythos 级”检查点，声称的规格为 14T 参数、1,224 个 MoE 专家、分布在 772 个分片中的 7.72 TB 权重，以及混合 GDN + MLA 架构。Reddit 帖子强调这些权重的真实性没有任何独立验证；图片本身并非技术证据，只是社交媒体上的一种说法。 图片 评论者持怀疑态度：有人警告这可能是恶意的或伪造的 Hugging Face 上传，目的是诱导人们下载不安全的文件，另一人则链接了一条 X 帖子，指出该模型可能是 10 月 19 日被添加的。其他评论大多是玩笑或猜测，例如“它把自己泄露了”，以及关于这可能给开源竞争者带来好处的评论。

  • 评论者提出了供应链/安全方面的担忧，认为这个所谓的 Hugging Face 上传可能是恶意模型或冒充行为，而非 Anthropic 的真实泄露，并指出缺乏确认且 Twitter/X 来源名称被遮蔽。一位用户链接了一条 Hugging Face 模型追踪帖，显示该模型是在 Oct 19 添加的（X 帖子），但仅将其视为间接证据而非验证。

  • 一条技术性评论指出，如果该产物是一个预训练中途的检查点，它很可能缺少后训练层，例如安全微调、RLHF 或指令对齐。这意味着与 Anthropic 已发布的模型相比，其行为可能是原始、不稳定且无过滤的，同时也使评估更加困难，因为它可能无法可靠地遵循提示。

  • 至少有一位评论者由于本地存储空间不足而无法测试该模型，这暗示该检查点大到对随意验证来说并不现实。帖子中没有提供任何基准测试结果、架构细节、参数量或可复现的推理报告。

• 我们居然真的要在同一周迎来 Fable 5.5 和 GPT-6.2 Astra (活跃度: 1090): 这张图片是带有语法高亮的网站标记代码截图，其中高亮显示的字符串“Claude Mythos 5.5”被帖子解读为 Anthropic 正在为可能的 Fable/Mythos 5.5 发布准备上线/博客基础设施的证据。这并非基准测试或已确认的公告——只是一个推测性的 HTML 痕迹/泄露，与标题所称“Fable 5.5”和“GPT-6.2 Astra”可能同周发布的说法相关联。 评论者将这次可能的发布视为与 OpenAI 竞争的战略重点，有人认为如果 Anthropic 把更新时间安排在竞争对手发布附近，可能“对 OAI 具有决定性意义”。另一些人则关注访问限制，指出即使是 Opus 5.5 这样的强大模型或潜在的 Mythos/Fable 变体，如果没有可信合作伙伴或机构访问权限，可能仍然无法使用。

  • 一位评论者强调了访问/部署方面的问题：尽管 Opus 5.5 已经足够胜任他们目前的工作，但他们预计拿不到 Mythos/Fable，因为他们所在的大学没有参加可信合作伙伴访问计划。这被表述为学术/科研用户（尤其是生物学领域）面临的实际障碍，而不是对模型质量的抱怨。

  • 另一个技术主题是竞争性发布时机：评论者猜测 OpenAI 正面临压力，因为每次旗舰模型的发布都可能很快被竞争对手的更新超越，甚至可能被非旗舰级别的模型所超越。讨论暗示 Fable 5.5 和 GPT-6.2 Astra 在同一周内发布，可能是对模型相对性能和发布节奏的一次重要检验。

2. 针对 Claude Code 游戏克隆的限制

• Anthropic 确认新的 Claude Code 限制以防止游戏克隆（活跃度：1379）：据报道，Anthropic 确认了新的 Claude Code 防护栏，旨在防止直接克隆游戏，用户反馈显示拒绝行为集中在 Claude Code + Opus 5.5 上，且可能影响逆向工程/反编译类提示（Tom’s Hardware）。帖子询问开发者是否通过替代框架/封装来绕过这一限制、将请求路由到其他模型，或仅间接使用 Claude；一位评论者提到将 Claude 作为 DeepSeek 的“助手”来规避防护栏。 评论大多批评这种有选择性的知识产权执法：用户认为容易被克隆的“大海捞针”式游戏机制本身就容易遭到氛围编程式（vibe-coded）复制的侵蚀，而另一些人则认为 AI 厂商在用受版权保护的材料训练模型之后，还限制游戏移植/克隆，是一种虚伪。

  • 用户指出，可以将 Claude Code 作为 DeepSeek 等其他模型的“助手”来绕过防护栏，这意味着该限制可能只在实际生成这一层可执行，而在多模型工作流中用 Claude 做规划、重构或中间代码辅助时则无法限制。

  • 有评论者提出了一个技术上的重要区别：请求明确克隆的提示，例如 “帮我做一个 Pokemon 的复制品，完美重现那些宝可梦和机制”，与类型级别的实现提示，例如 “一款受经典 Pokemon 游戏启发的怪物捕捉游戏，机制类似，采用复古 2D 风格”。一位评论者报告说，在实现战斗规则和伤害计算时，后一种风格没有触发 Claude 的防护栏，这表明过滤器可能主要依赖于直接的 IP 引用和克隆式措辞，而不仅仅是机制本身。

• Anthropic 日益收紧的限制正在 AI 能力竞赛中制造新的分化：Gemini 4 Argon 重现了皮克斯的经典片头，而 Claude Opus 5.5 则以版权为由拒绝，转而做了一个烤面包机——这凸显了前沿 AI 能做到什么与公司允许它做什么之间的差距。（活跃度：2347）：该帖子声称存在能力/政策分化：据称 Gemini 4 Argon 能根据提示重现皮克斯的经典片头，而 Claude Opus 5.5 则以版权为由拒绝，改而生成一段无关的烤面包机动画，并将其归结为模型能力与产品级安全/IP 政策之间的差距。所引用的 Reddit 视频无法独立查验，因为该网址（reddit.com/video/10g45qruy0zh1）返回了 403 Forbidden，因此具体的基准/输出对比仅基于帖子描述和评论。 评论者批评这种拒绝行为是浪费——尤其是当模型花费 token 生成一个未被要求的替代品时——并普遍反对 AI 系统执行过于宽泛的 IP 限制。一位用户报告说，Claude 甚至在更换角色并移除说明文字后，仍拒绝制作经过改编的“This is fine”表情包配文，这表明生成式图像工作流程中的版权护栏过于宽泛。

  • 评论者强调了一个由政策执行而非模型能力导致的产品级能力差距：据报道，Claude Opus 5.5 会拒绝对版权/表情包素材的近距离改编，即使用户要求进行大量修改，而像 Gemini 4 Argon 这样的竞争对手则被描述为允许更直接的重建式输出。一位用户给出了一个关于修改版“This is fine”表情包的具体拒绝示例：Claude 允许生成一个带有狗/猫的类似场景，但拒绝任何接近原始配文的内容，然后生成了一张大幅修改过的图像：https://preview.redd.it/9thwqr0a91zh1.jpeg?width=1140&format=pjpg&auto=webp&s=ddca442d07f57d28f557cb16849010bad60f97a1

  • 几条评论将这个问题归结为效率和用户体验问题：如果模型拒绝执行所请求的任务，却仍然花费 token 生成替代产物——例如“转而做了一个烤面包机”——用户会认为这是浪费推理预算，并降低了可控性。由此提出的实际影响是，当安全/版权过滤器明显降低创意生成工作流程的任务完成率时，付费用户可能会迁移到限制较少的竞争对手那里。

  • 一场更深入的政策/技术争论随之而来：版权过滤器是否被不对称地应用——大型版权方的知名作品在推理时受到保护，而独立创作者的内容可能早已在训练中被吸收。讨论表明，模型提供商的推理限制正在成为区别于基准能力的竞争差异化因素，因为它们决定了用户实际能够使用哪些潜在能力。

3. 面向科学与数学的 AI 智能体

• MIT 研究人员称，GPT-6 Astra 通过直接编辑仅 0.016% 的权重，无需基于梯度的训练，就将一个小型 Qwen 模型的数学得分从 7.9% 提升到 48.1%。（活跃度：1712）：一条帖子强调了 Rikiya Takehi 声称的“权重空间编程”成果：一个被称为 GPT-6 Astra 的前沿模型直接检查并编辑神经网络权重，无需基于梯度的训练（X、博客）。据称演示内容包括：从原始权重中识别 Atari 风格的策略、通过修改 3.5% 的权重来修补 PPO 车辆策略、从零生成 MinAtar Breakout 权重，以及仅编辑 Qwen3.5-0.8B 的 0.016% 权重就减少了推理循环，并将数学准确率从 7.9% 提升至 48.1%，还声称指令遵循能力的提升高达 3×。评论者对此表示惊讶，并将其视为超越参数/数据缩放和推理时缩放之外的第三条进步轴：“权重空间学习”。一些评论推测了递归自我改进和未来的硬件加速，但所提供的置顶评论中没有实质性的技术批评。

  • 一位评论者尝试在一个较小的 transformer 检查点上复现这一想法，先约束 Astra 使用局部数值权重分析，然后在 MPS 上进行有界前向传播，不改变架构、不增加推理成本。该模型在尝试可逆的候选编辑之前，检查了语义键/类别/权重/偏置，检测了非有限值、坍缩的头、被清零的读出层、注意力门控幅度、投影补偿和矩阵秩。

  • 这位复现尝试者发现，朴素的直接编辑可能在校准指标改善的同时无法通过留出验证：一次对 -0.35 的对象偏置编辑将误报从 43 降至 33，但也将正确对象从 32 减少到 27，因此在无损害准则下被否决。后来，更有针对性的编辑沿类别投影子空间调整了父级 query/key 权重，在 102 个页面上取得了小幅开发集提升：子-父链接召回率 75.69% → 76.03%，精确率 89.09% → 89.49%，新增 6 个正确链接，且没有丢失任何原本正确的链接。

• “当我们证明第一个千禧年大奖难题时，是即将发布的新一代 GPT 模型的 10000 个智能体工作了大约 4 天”（活跃度：1256）：一条帖子引用了一个 YouTube 片段来支持以下说法：证明“第一个千禧年大奖难题”动用了 10,000 个未发布的“下一代 GPT”模型智能体，运行了大约 4 days。该帖子将其描述为大规模多智能体推理/搜索工作负载，而非单模型响应，但并未提供关于该问题、证明验证、智能体架构、计算预算或可复现性的可核实技术细节。热门评论聚焦于推理缩放经济学：评论者推测，未来的模型可能只需 ~100 个智能体就能取得类似结果，而且此类智能体集群对于较简单的任务可能很快变得廉价。一位评论者认为，这种计算投入应该展现公共利益，例如产出某种具体的疾病治愈方法或生物医学突破。

  • 一份成本明细引用 Altman 的话称，这次10,000智能体在 4 days 上运行的成本约为 $10 million 的算力费用，即每个智能体约 $1,000，共 $250/day，或约 $10/hour。评论者推断，如果这类智能体工作流在专家监督下变得可靠，它们可能在经济上取代部分初级知识工作任务。

  • 几位评论者聚焦于规模扩展的经济学：如果未发布的“下一代 GPT”要完成所称的千禧年大奖成果需要 10,000 个智能体，那么未来模型的改进或更便宜的推理成本可能会把所需的集群规模缩减到大约 100 个智能体，以取得相当的结果。核心的技术推测是，能力提升加上算力成本下降，可能使目前罕见的多智能体搜索/证明工作流变得足够便宜，从而可以用于日常问题求解。

• 我让 Claude 接入了远程望远镜。现在她每晚都预订天空。（活跃度：3007）：一位用户报告构建了一个智能体化的 Claude 工作流，通过 StellarDock 租用并操作位于智利、西班牙和犹他州的机器人望远镜：选择目标、检查月亮/地平高度约束、选择滤镜/曝光、预订时间、下载图像帧，然后进行叠加和最终图像处理。初始用途包括天体测量——57 在 3 个夜晚测得 8 颗小行星的位置并提交给 小行星中心——此外还有黎明时分对近日彗星的搜寻；后续目标包括螺旋星云、猎户座腰带、蜘蛛星云/大麦哲伦云、猎户座星云和玫瑰星云。 评论大多是好奇和猜测：有人建议将这套设备连接到 SETI，另一些人则询问实现细节，如天文学背景、望远镜租用成本和目标规划工作流。作者还澄清，称 Claude 为“她/Annie”是一种航海风格的命名，用以形容一个“掌舵”望远镜的工具，并非声称其具有感知能力。