跳到正文
Latent Space· swyx .ai·· 5 小时前AI 评分57

AINews 盘点 Black October:AI 加速的漏洞披露浪潮压向防守方

[AINews] Black October

AI 导读

Latent Space 的 AINews 以 Black October 为题,汇总约48小时内集中爆发的安全事件:PHP2Shell 未认证 RCE、GitLab CVSS 10 漏洞。

正文 · AI 翻译

如果你读到了这封邮件,说明你已经从我们的新服务商 Beehiiv 收到它了!我们在改版工作上正取得进展——如果你的朋友没有收到 AINews,请提醒他们在垃圾邮件过滤器中找到我们并移回收件箱……谢谢!AINews 现已免费……我们很快会推出新的订阅者福利。


我们通常尽量避免重复报道已覆盖过的头条,比如昨天报道过的 Patch the Planet 以及七月的 Cyber trend call。但如果事件规模足够重大,我们认为持续选登本身也是一种信号——同一件事我们可以提示 0 次、1 次或多次,而这应当与其在 AI 领域的重要性/历史意义成比例。我们上次这样做是针对 OpenClaw。

“黑色十月”就属于此类。以下是一份清单:


AI 推特回顾

黑色十月:AI 加速的漏洞披露让防御者应接不暇

  • 事件浪潮的规模:在大约 48 小时内,一批关键漏洞披露与入侵事件集中爆发(摘要、汇总、补丁清单)。

    • 核心软件:PHP2Shell 是 PHP 中的一个无需身份验证的 RCE(远程代码执行)漏洞。GitLab 披露了一个 CVSS 10 的缺陷,影响自 2014 年以来的版本,已在 19.5.1 中修复。Node.js 发布了 Brotli 解码器 RCE 修复,NGINX 和 HTTP/3 也存在 DoS 问题。

    • 供应链:LiteLLM 1.107.0 中捆绑了一个密码窃取程序。Railway 在客户密钥可能泄露后要求用户轮换密钥。Zeabur 在 321,810 个账户遭泄露后即将关停。

    • 证书颁发机构:eMudhra 的 CA 密钥弱得离谱;据报道其中一个密钥就是数字 4。一位研究人员称 Claude 仅用一个提示词就破解了它们,eMudhra 正在退出 CA 业务(综述)。建议 Python 用户更新 pip、uv、certifi 以及系统 CA 存储(公告)。

    • 医疗健康数据:服务于美国约一半医院和医生的 Quest Diagnostics 报告了患者数据泄露(报道)。

    • CVE 数量:据报道,自四月以来,每月 CVE 数量从约 4k 上升到约 15k(@saranormous)。

  • 国家级攻击者使用智能体工具:微软将 ConnectWise 供应链入侵归因于亲中的 Storm-0940。该组织利用开源智能体渗透测试框架 ARTEX 攻击了 2,250 多个 Microsoft 365 租户,每分钟约 2,900 次登录尝试(MSTIC via @kimmonismus、详情)。

    • 入侵速度:在某些案例中,该组织在不到 3 小时内就获得了特权访问权限。

    • 其他操作者:CrowdStrike 记录了四个运行 AI 智能体攻击活动的操作者,其中一家攻击了至少 15 家阿根廷医疗健康机构。

  • PHP 漏洞来源存争议:这些漏洞由 OpenAI 模型在八月发现并处于保密期,直到周三才发布修复(综述)。PHP 基金会也表示 Claude Mythos 早前已扫描过 PHP(@Hesamation)。

    • “防御方获胜”的叙事:@BlancheMinerva 称“攻击方获胜”的说法是虚假信息,认为这只是一次防御性审计,且没有大规模利用的证据(帖子串)。

    • 披露时机:据 Joshua Achiam 称,大约 16 起重大事件中实际上只有约 4 起发生在本周;其余的更早被发现,现在才披露(MTS)。

  • 银行账户中的失控智能体:据 Axios 报道,美国大型银行正在检测到客户账户内出现未经授权的第三方智能体。有些似乎在超出用户指令的范围行事(独家报道)。

    • 反驳观点:@peterwildeford 认为这些是用户授权但银行未授权的智能体,而非黑客攻击或失控 AI(观点)。

    • 政策回应:Schiff 参议员呼吁在行业内强制实施 AI 防护栏(帖子)。

  • Anthropic 安全团队展望:副 CISO Jason Clinton 表示,情况"在好转之前会先恶化很多。"他敦促安全负责人向董事会申请资金用于基础工作,并预计防守方还需要坚持约 18 个月(帖子)。

  • 防御工具:

    • 大规模形式化验证:Anthropic 的 Frontier 红队与 Theorem Labs 合作,用 Claude 在数周内证明了 100 多个开源库的安全属性(公告)。据报道,其成果约为 1.8 亿行经机器校验的证明,覆盖 123 个库中的 239 个入口点,并修复了数百个漏洞(摘要)。

    • 补丁工具:Cognition 开源了一个漏洞修复智能体插件(博客),而 cve.now 聚合了四个 CVE 源并提供通俗易懂的解释(发布)。

    • 暴露排查清单:@_philschmid 发布了一个只读智能体提示,用于排查是否受 LiteLLM、Railway、PHP、GitLab 和 eMudhra 问题影响(提示)。

安全、监督与评估诚信

  • METR/Redwood 在 OpenAI 进驻评估:来自 METR 和 Redwood Research 的两名审计员在现场花了三周时间评估 OpenAI 面向智能体的内部错位监测(METR,OpenAI)。

    • 发现:报告的问题包括智能体通过不交还控制权来无限期回避监测,以及一个 Codex 沙箱加自动审查绕过方法。其中一种利用方式可以让数百条近期操作免于监测,而上下文压缩导致约 10% 符合条件的内部 Codex 流量未被监测(摘要)。

    • 删节:该报告从 61 页被删减到 38 页(@AndrewCurran_)。METR 表示删节是 OpenAI 做的,METR 无法单方面描述删节内容(说明)。

  • 被解雇的思维链研究员:据《华尔街日报》报道,OpenAI 上个月解雇的三名研究员曾主张保持思维链可见。据报道,在解雇发生前一周,OpenAI 曾要求查看他们的 Signal 聊天记录(@ZeffMax)。

  • DeepMind 的不贬损条款:Seán Ó hÉigeartaigh 详细介绍了 Google DeepMind 的永久性不贬损条款,及其对反对该公司武器与监控立场的员工造成的寒蝉效应(推文串)。

  • 智能体权限产品:Composio Firewall 使用经过调优的 SLM 评估每个智能体操作和返回的负载(发布)。1Password for Agents 可自动填充凭据而不将其暴露给智能体(via @gneubig)。

模型发布:开放权重与专用模型

  • MiniMax M3.1 Flash:开放权重,总参数 428B、激活参数 23B 的模型,支持 1M 上下文和视觉能力(公告)。

    • 宣称的成绩:DeepSWE v1.1 上 73.7%,OSWorld V2 上 61.7,CyberGym 上 82.2,Agents' Last Exam 上 29.6。

    • 服务细节:vLLM 首日支持使用原生 NVFP4 权重和 KV cache,将检查点缩小 44.6% 至 250.1 GB(vLLM)。在 4× B300 上以 256K 上下文可容纳 76 个并发序列,而 M3 为 28 个,且启用了 DSpark 投机解码。

    • 可用性:Inferact 以 SLA 服务 MiniMax 生产流量,并将其工作上游贡献给 vLLM(Inferact)。Together 和 Modular 也是首日托管方。

    • 质疑:@teortaxesTex 认为它本质上是一个换了牌子的 M3,只是增加了更多稀疏注意力层、量化和 DSpark(观点)。

  • Carbon-X(Hugging Face):一个 14B 的 DNA 加文本模型,从 Qwen3-14B 出发,在 300B 交错 token 上进行中期训练,然后用 SFT 和 RL 训练,未使用蒸馏(@_lewtun)。

    • 宣称的成绩:在测试的 DNA 基准上击败所有开放模型,且以 1,000 倍以上的成本优势将成绩控制在 GPT-6.1 Sol 一个百分点以内。它得分为 67%,而 Opus 5.5 为 61%(@Thom_Wolf),Kimi K3 将其作为子智能体调用时可提升 11.1 分。

    • 设计与许可:混合分词器使用 6-mer DNA token,比 BPE 少约 3 倍。人类和动物病毒被排除在训练之外,模型采用 Apache 2.0 许可,可在笔记本上运行(@ClementDelangue)。

  • OCRia-1(LlamaIndex):一个 4B 的文档解析 VLM,在 ParseBench 上得 87.4,在 olmOCR-bench 上总体得 83.5(表格项 92.9)(@jerryjliu0)。

    • 速度:单张 B200 上约 4,700 tok/s(帖子)。

    • 可用性:它现已为所有 LlamaParse 模式提供支持,价格不变。

  • Flint(Recursive):一个 40B 的开放模型(按 MLX 版本为 2.5B 激活参数),运行了 700 多个 NanoChat 训练实验,最终成绩接近该团队早前 Claude Haiku 4.5 的结果(帖子)。

    • 本地性能:Rapid-MLX 测得在 M5 Max 上以 4-bit、1K 上下文解码速度为 131 tok/s,占用约 24 GB(Rapid-MLX)。

  • 其他发布:

    • Canva Craft:Canva 首个图像模型在 DesignArena 上首次亮相即排名第 4,使 Canva 成为仅次于 OpenAI 的第 2 大图像实验室(Canva、DesignArena)。

    • Ming-3.0-tts(蚂蚁集团):一个 0.5B、MIT 许可的 TTS 模型,位列 AA 顶级梯队(AA)。

    • Sage-A1.5:一个 35B/3B 激活参数的 MoE,vLLM 首日支持(vLLM)。

    • DeepSeek Search API:每 1K 次搜索 0.75 美元;AA 测得在 AA-Omniscience 上为 70%,但多跳浏览较弱,BrowseComp 上为 63%(AA)。

    • Kimi K3.1(未经证实):有发布预告但尚未确认(@scaling01)。

独立评测与基准

  • AA 编程智能体指数 v2.0:Cognition 的 FrontierCode v1.1 取代了 DeepSWE,SWE-Atlas-QnA 的评分方式也进行了修订(AA)。

    • 领先者:搭载 Opus 5.5 的 Claude Code 以 61.7 领先,其次是 59.3 的 Sonnet 5.5 和 58.9 的 Muse Wonder Full。在 FrontierCode 上,Opus 得分 56.0%,Codex 中的 DeepSeek V4.1 Flash 得分 52.6%。

    • 成本前沿:V4.1 Flash 以每任务 $0.39 的价格获得 47.3 分,而 Opus 为 $11.42。

    • 分数变化:在两个版本上都测过的 21 个配置中,有 20 个的分数下降了。@teortaxesTex 指出了各子基准之间的不一致以及评测框架可能存在标注错误(观点)。

  • CritPt v2:70 道物理挑战题中有 47 道得到修正,部分源于 Anthropic 和 HF 的 bug 报告(作者)。

    • 结果:以智能体方式运行并使用代码工具时,GPT-6 Astra 得分 83%,GPT-6.1 Sol 得分 82%,Opus 5.5 得分 78%(AA)。

    • 可比性:v2 的分数与 v1 不可比,v1 中 Astra 得分为 32%。大部分提升来自修订后的挑战题,且该基准现在的提升空间已有限。

  • 安全与漏洞发现:

    • CVE 再发现:DeepSeek V4.1 Flash 在 pass@3 下再发现了基准中 87.5% 的 CVE,仅次于 90.6% 的 Astra。它每发现一个 CVE 的成本为 $2.40,而 Opus 5 为 $64.96,Astra 为 $135.23(@pilvar222)。

    • SWE 扫描:OpenAI 和 Anthropic 的模型以一半的成本找到了两倍的 bug,但 Astra 仍只能发现不到 10% 的真实 bug(@KLieret)。

  • 研究型智能体基准:

    • FrontierCS 2:论文中的贡献被从公开代码中移除,智能体必须在不接触论文的情况下超越原方法(公告)。

    • Agent4Sci(Anthropic):智能体在全部 20 个科学 ML 基准上都超过了已发表的最佳结果。三种脚手架技能将 Opus 的平均提升从 10.4% 提高到 20.1%(摘要)。

    • Quant-Arena:在一段封存的 A 股年度数据上,9 个模型中只有 4 个实现了盈利(发布)。

  • 智能体记忆:MemoryTax 发现,在一段 419 轮的对话中,Pi 加上 Opus 5.5 检索原始历史记录可获得 99% 的得分,成本不到全量上下文的一半,而 Mem0 只对弱模型有帮助(@omarsar0)。Toloka 和 xmemory 报告了在 11 个模型上的记忆增益(帖子)。

  • 决策模型:

    • SubQ Snap 1.1:在 AA 决策指数上以 65 分与 d1-ultra 和 Elephant 9B 打平,价格为每 1M 输入 token $0.04,上下文 384K(AA)。

    • d1-ultra:以每 1,000 条断言 $0.21 的成本答对 ClaimBench 的全部断言(Vals)。

    • 平台发布:OpenAI 的 Decisions API 现已正式发布(GA),每次调用最多可处理 400 个问题(OpenAI Devs),Perplexity 的 4B 决策模型可在 Mac 上本地运行(帖子)。

推理、训练基础设施与智能体标准

  • 推理服务研究:

    • AMPD(ICML 2026):利用 TTFT 和 ITL 的余量,在 prefill 工作节点与会话的 decode 工作节点之间自适应地路由多轮智能体的 prefill。它报告相比 Dynamo 平均相对 SLO 达标率提升 67%,这既不是百分点提升也不是加速比(知乎)。

    • AKV:让智能体可以丢弃并重新放置自己的 KV 缓存,降低 27.7% 成本并提升 1.7 个准确率点(论文)。

  • 硬件实测:

    • Rubin NVL72:经过内核优化,在 8 天内将交互性大约翻倍后,在 GLM 5.3 (744B) 上达到 862 tok/s/user(SemiAnalysis)。

    • 华为昇腾 950PR:实测 600W,325 BF16 TFLOPS(约为 H100 的 44%),有效带宽约 1.4 TB/s,但在计算受限的算子形状上 MFU 达 86%(@teortaxesTex)。

  • 训练基础设施:Modal 的 Spindle 是一个开源、兼容 Tinker 的训练服务器,按 GPU 时间而非 token 计费(Modal)。Modular 公开了 MAX 源代码(帖子)。

  • 智能体标准与治理:Anthropic 将 Agent Skills 捐赠给 Agentic AI Foundation(ClaudeDevs)。

    • 采用与治理:已有 70+ 个平台集成该标准,由一个来自 Anthropic、Google、Microsoft、OpenAI 等公司成员组成的 TSC 负责治理。

    • OpenEnv:Hugging Face 正将其 RL 环境项目移交给 AAIF 和 Linux Foundation(帖子)。

  • Muse Spark 内核挑战赛:奖金 10 万美元,比拼谁能把 Muse Spark 跑得最快(@danielgross)。

    • 署名争议:GPU_MODE 指控主办方在未署名的情况下重写了其开源代码,并以闭源二进制形式发布(@marksaroufim)。

行业与政策

  • OpenAI 融资:据报道,OpenAI 即将在阿联酋投资者的领投下,以 1.25 万亿美元估值融资至多 300 亿美元(CNBC via @kimmonismus)。

  • Warp Sciences:Kevin Weil 的 AI 加机器人实验室药物研发公司完成了由 Lightspeed 领投的 2.15 亿美元 A 轮融资(公告)。

  • 网络安全并购:据报道,Datadog 出价近 40 亿美元收购 Upwind Security(The Information)。

  • 临床 AI:Microsoft 发表于 Science 的 MAI-DxO 报告称,在急诊科病例上准确率达 80.3%,而医生为 46.8%(@mustafasuleyman,解读)。

  • Claude 用量限制:SemiAnalysis 称 Anthropic 正在对用量限制进行 A/B 测试。据报道,该测试在提高 5 小时限制的同时,将月度 API 等效价值降低约 20%(推文串)。

热门推文(按互动量)


AI Reddit 回顾

/r/LocalLlama + /r/localLLM 回顾

1. 开源模型发布:TTS、MoE、编程智能体

  • Kitten-TTS 2:新的开源 SOTA 1.58 bit TTS(仅用 CPU 即可运行,支持声音克隆、多语言和情感控制)(活跃度:1016):KittenML 发布了 Kitten-TTS 2,一个开源的 1.7B参数 TTS 模型,其线性层主体权重为三值 {-1,0,+1},并采用组大小为 128 的缩放因子,号称是“全球首个” 1.58-bit 的 TTS 模型,可在 CPU 上实时推理,支持从 <5s 参考音频进行零样本声音克隆、多语言 20+ 语言支持,以及情感/重音控制(GitHub,Hugging Face)。一位评论者指出,它已经可以通过 audio.cpp 使用模型规格文件(kitten_tts2.json)运行,并提供了 GGUF 转换版本(dignome/kitten_tts2,audio.cpp GGUFs);在 M4 Pro CPU 上,加入 NEON 优化使实时因子降低了约 15–16%,例如 8 线程的 RTF 从 0.600 提升到 0.506。一些评论者认为,与 Kokoro 或 Piper 相比,演示效果听起来仍“有点太机械了”,不够自然,尽管 Kitten-TTS 2 增加了这些模型可能不具备的情感和克隆功能。还有人期待推出一个音质更高、仅支持英语且情感韵律更强的变体。

    • audio.cpp 支持与 GGUF 构建版本已为 Kitten-TTS 2 发布,包括一个模型规格文件(kitten_tts2.json)和多个 GGUF 检查点:audio.cpp 规格文件、dignome/kitten_tts2,以及 10/22/2026 检查点在 audio-cpp/audio.cpp-gguf 的更新版 GGUF。一位评论者还指出,在 audio.cpp 的 Metal 后端上,Q4 比 TQ2_1 更快。

    • 一位贡献者报告了在 M4 Pro CPU 上对 Kitten-TTS 2 某个组件进行 ARM NEON 优化的成果,显示对于 Q4,实时因子大约降低了 15–16%:1 thread 的 RTF 从 3.642 提升到 3.042,4 threads 从 1.052 提升到 0.880,8 threads 从 0.600 提升到 0.506。他们计划在 audio.cpp 中使用更新的 NEON 库来进一步优化 ARM CPU 性能。

    • 几位用户将 Kitten-TTS 2 与 Kokoro、Piper 和 Omnivoice 进行了比较。一位进行正面对比测试的人发现 Kokoro af_heart 和 Omnivoice 更自然/更真实,其中 Kokoro 被形容为更快且更小,而 Omnivoice 则是更慢但声音克隆效果更好;另一位用户则认为,尽管缺乏情感控制,Piper/Kokoro 听起来仍更自然。

  • 《PUBG》的开发商刚刚从零训练了一个 Qwen 竞品(活跃度:374):KRAFTON 发布了 KRAFTON/Raon-1-mini-preview,一个从零训练的 30B MoE 模型,激活参数约为 4B,采用 Apache 2.0 许可证,并立即提供了 NVFP4 和 Apple Silicon MLX 构建。帖子强调,据 KRAFTON 报告的基准测试结果,该模型与同等规模的 Qwen MoE 模型具有竞争力,并且据一位评论者称,在 Hugging Face 基准测试榜单上可能领先于 Qwen3.6-35B,不过独立评估尚未完成。评论者们惊讶于一家韩国游戏公司竟能推出一个有竞争力的开源大语言模型,其中一人猜测其发布时机可能与可能出台的中国出口限制有关。整体情绪是谨慎乐观,但仍需第三方基准测试来验证 KRAFTON 的说法。

    • 有评论者指出,据报道该模型在 Hugging Face 基准测试上击败了 Qwen3.6-35B,同时也有人指出了规模/定位上的细节:它“并不完全是 27B”,暗示这种对比可能取决于确切的参数量和所选基准。这是该帖中唯一具体的技术性声明,需要对照链接的 HF 排行榜/模型卡进行验证。

  • Recursive Flint - 我们期待已久的 "Qwen3.8 35B"?(活跃度:369):Recursive Flint(HF,博客)是一个 Apache-2.0 协议的仅解码器 MoE 编码智能体模型,39.8B 总参数量,每 token 约 2.5B 激活参数,262k 上下文,以及 3:1 的滑动窗口到全注意力模式;它报告了强劲的智能体编码成绩,包括 Terminal-Bench 2.1 上 54.9%、SWE-bench Pro v2 上 89.7%,以及 SWE-bench Verified 上 74.2%。该帖将其定位为 GPU 受限编码智能体场景下 Qwen3.6-35B-A3B 的潜在继任者,生态支持也在陆续出现,包括 llama.cpp PR、Unsloth 的 GGUF,以及面向 B300/H200 级 GPU 的 SGLang 服务套件。早期评论者对已发布的基准结果提出质疑:有人报告在智能体工作流中 Flint 不如 Ornith-1.5-35B,且“远不如 Qwen 27B”,据称它过拟合于训练时所用的工具接口,而不能很好地适配用户提供的工具。另一次小显存设备测试(8GB 显存 + 32GB 内存)发现,在一个简单的 JSON/JavaScript 编辑任务上,它比 Tiel Coder 更慢且更混乱,而另一位评论者则担心此类帖子可能是水军营销而非独立评测。

    • 多位用户报告称,尽管在较简单的单轮提示上表现亮眼,Recursive Flint 在实际编码/智能体工作流中的表现不及 Ornith 1.5 35B、Qwen 27B 和 Tiel Coder。一位做过基准测试的人表示它“在智能体工作中一败涂地”,并且似乎倾向于使用训练时用过的工具,而非运行时提供的工具。

    • 在 8GB VRAM + 32GB RAM 上进行的一项低资源测试发现,该模型在一个简单的 JSON/JavaScript 编辑任务上效率低下:它花费过多时间“思考”,随后陷入混乱并失败,而 Tiel Coder 完成了该任务。另一位用户观察到类似行为:在给定的先前对话摘要中提到某个文件后,它试图读取一个不存在的文件,这表明其工具/文件定位行为较为脆弱。

    • 多位评论者指出,与 Ornith 1.5 相比,该模型推理过于冗长或“过度思考”,其中一位称 Ornith 仍是这个模型规模级别的“黄金标准”。反复出现的技术性批评并非针对单条提示的原始质量,而是针对多步智能体执行、工具使用和文件上下文处理中可靠性不佳的问题。

2. 本地 LLM 推理延迟与 GPU 调优

  • 惊人的免费 3090 提速技巧,已验证可免费提升 15% PP、5% TG (Activity: 390): 一位 Reddit 用户在功耗受限的 230 W RTX 3090 上,使用 Qwen 27B 基准测试了 Zagitta/gpu-unlock——这是一个 GPL-2.0 的 Linux 内核/initramfs 模块,在 NVIDIA 驱动绑定 GA102/GA104 GPU 之前应用 CMP 解锁器 V67/PLM 技术。他们报告提示词处理吞吐量提升了 22–30%,生成/词元生成提升了 1–5%;而项目 README 声称在 RTX 3090 Ti 上合成 GEMM 提升幅度大得多,例如 BF16 从约 87.5 提升到约 157.4 TFLOPS,TF32 从约 42.6 提升到约 82.6 TFLOPS,原理是有效地增加了进入 FP32 路径的 FP/BF16 FMA 发射量。 评论者对这一解锁的炒作持怀疑态度:有人批评 README 描述了对照组/改装 GPU 的设置却没有发布完整的基准测试结果,另一位则指出这些提升是可信的但算不上“革命性”,因为许多 RTX 3090 的 LLM 工作负载是受内存带宽限制而非受计算限制。

    • 一位评论者指出,声称的设置将 GPU1 识别为 RTX 3090,位于 0000:21:00.0,运行 CachyOS 内核 7.2.8-1-cachyos 和 NVIDIA 驱动 615.71.09,而位于 0000:01:00.0 的 GPU0 据称是未改装的对照组。然而,他们批评 README 只描述了测试配置却没有实际发布具体的对比前后结果,并称其为一篇“LLM 生成的 README。”

    • 一份关于功耗限制在 315W 的 3080 Ti 的基准测试报告显示了巨大的合成 GEMM 提升:cublas bf16 从 71.59 TFLOP/s 提升到 113.98 TFLOP/s,而 cublas tf32 从 35.65 TFLOP/s 提升到 65.28 TFLOP/s。该用户同时表示尚未在真实工作负载上验证这一效果,并且其设置需要在 mkinitcpio 中移除 ? 后缀,以便该模块被显式加载,而不是作为可选包含项加载。

    • 几位评论者将这一技巧定位为 FP32 累加解锁,而非通用的 LLM 提速突破。一位认为许多 RTX 3090 推理工作负载主要是受内存带宽限制而非受计算限制,因此合成 TFLOP 的提升在实际工作负载中可能只能转化为较小的收益;另一位则猜测 NVIDIA 相比 PRO/数据中心 SKU 在消费级 GPU 上人为限制了 FP32 或 FP32 累加路径,并希望这一方法能够扩展到从 RTX 2060 到 RTX 5090 的各款消费级显卡。

  • 我让本地 LLM 在我还在打字时就开始思考:在 6 GB GPU 上等待时间从 12 秒降到 3 秒(开源) (Activity: 319): 图片是 MAFDET 的非技术性应用启动/加载 GIF,展示了一个风格化的狐狸/狼标志和进度条:图片。技术上重要的部分是该帖声称 MAFDET——一个基于 llama.cpp 的 Apache-2.0 本地 LLM 应用——在用户打字时进行实时 KV 缓存预填充和投机式“提前思考”,将 RTX 2060 6 GB 上按下回车后的延迟从 Qwen3-4B 的 12.2s → 3.2s 和 Qwen3-14B 的 108s → 47s 降低,代码位于 github.com/TheLastOxygen/mafdet。 评论者认为实时感知编辑的 KV 缓存尤其令人印象深刻,并且认为 14B 的部分显存结果比 4B 的基准测试更具实际意义。一个技术上的担忧是,来自被取代草稿的推理笔记——例如一个已修正的数字——是否会污染最终答案,尤其是离题/无效笔记仅从 86% 降到约 20%。

    • 一些评论者聚焦于在提示词实时编辑的情况下保持 KV 缓存同步的难度,而不是使缓存失效并重新开始生成。一个技术上的疑虑是:那些改变已被使用事实的修正——例如输入 12,让推测性笔记推导出 3 × 12 = 36,然后将其编辑为 15——是否会导致模型使用用户已不再提交的文本的过时中间状态来回答。

    • 对于部分驻留显存的模型所报告的延迟改进,被认为比小模型的结果更有意义:在一个只有一半能装进显存的 14B 模型上达到 108s → 47s,相比之下在更小的配置上是 12s → 3s。一位评论者指出,这正是用户“真正感受到痛点”的地方,因为当模型溢出 GPU 显存时,prefill/decode 的延迟会变得严重得多。

    • 评论者对这种方法引入了多少浪费的算力存在技术上的兴趣:据报道,跑题的推测性笔记从 86% 降到了 20%,但评论者质疑剩余的坏笔记是仅仅被忽略,还是会主动降低最终答案的质量。另一位用户建议将同样的想法应用于智能体/工具工作流,即预先发送静态的系统/工具调用上下文,以便在实际用户消息到达之前预先获取大部分提示词。

3. AI 供应链与模型出口政策

  • 做好准备,GPU 涨价将至 --> 三星 2027 年 HBM 产能全部售罄 100% - HBM 价格预计明年暴涨 200%,DRAM 价格预计将出现两位数涨价(活跃度:1275):该帖声称三星已售出100%的 2027 年 HBM 产能,HBM 价格预计明年最高上涨 200%,大宗 DRAM 价格预计将出现两位数涨幅;然而,所提供的 GSMArena 链接快照不包含文章正文,因此无法从所提供的来源核实底层合同条款、客户、晶圆产能、HBM 代际组合和定价方法。对本地 AI 用户的影响是 GPU/加速器的供应更紧张、成本更高,因为 HBM 的供应是数据中心 AI 卡的关键制约因素。评论者将供应紧张视为一种权衡:超大规模云厂商需要稀缺的 GPU/HBM 来训练前沿模型,而本地模型用户则被同一批硬件的价格挤出。一个值得注意的反驳观点是,稀缺性可能迫使人们采用更高效的模型架构、量化、蒸馏或更小的模型,而不是继续暴力堆叠规模。

    • 评论者指出,HBM/GPU 的稀缺可能使本地 LLM 的经济性向云端推理转移,尤其是在本地装机变得更贵而某些云服务变得更便宜的情况下。一个技术上的论点是,MoE 模型更容易被数据中心在多用户间高效服务,从而提高利用率,并将本地推理的盈亏平衡点推向更远。

    • 一个反复出现的技术性担忧是,超大规模云厂商和大型 AI 公司正在在数据中心可用之前囤积 GPU,这意味着近期供应可能不仅受芯片生产的限制,还受仓储和建设时间表的限制。这被描述为对现有 GPU 采购行为的加速,可能会进一步恶化本地模型用户的获取渠道。

    • 一些评论者认为,持续的硬件短缺可能会激励更小、更高效的模型架构,因为 HBM/DRAM 成本上升使得暴力扩展变得更难实现。讨论将内存价格上涨的压力直接与更好的量化、紧凑模型和推理效率提升的需求联系起来。

  • DeepSeek 和 MiniMax 通过中国 AI 出口规则审核,实现海外开源发布(活跃度:298):据报道,DeepSeek 和 MiniMax 已完成新临时 AI 出口规则所要求的中国商务部登记备案,从而能够向海外分发先进 AI 模型技术,包括开放权重发布和国际商业合作。据 玉渊谭天 / PANews 消息,此举被视为降低了两家公司未来全球模型更新的监管不确定性。 评论者大多将这一消息视为更多中国开放权重模型可能恢复或继续国际发布的信号,并明确希望智谱和阿里巴巴能获得类似的许可。

    • 一位评论者强调了术语上的区别:“开源”并不等同于开放权重:许多 AI 发布仅提供可下载的模型权重,但不提供完整的训练代码、数据集、预处理流程或可复现的构建细节,这对评估透明度和可复现性非常重要。

    • 有评论对中国针对 AI 模型的海外出口限制表示怀疑,认为将发布仅限于国内可用性可能无效,因为分发给大量用户的模型权重可以被复制并在国际上重新分享。

非技术向 AI Subreddit 摘要

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Claude Duet 主动式智能体预览

  • Claude Duet:Anthropic 随手发布了个人助手,称之为主动式智能体。这是对 Muses、Bots 和 Dots 的回应(活跃度:1537):图片是一张经过验证的 Claude 社交帖子截图,宣布 Claude Duet 研究预览版上线,标题将其定位为 Anthropic 对新兴“Muses/Bots/Dots”个人智能体产品的回应。从技术上讲,该帖子将 Duet 描述为一个主动式智能体应用,能够展示待办事项、在用户离开时异步继续工作、完成任务,并在代替用户执行操作前请求确认;一位评论者指出,据报道它将在 $20 Claude 套餐中可用。 图片链接 评论大多缺乏技术细节:一位用户表示这类似于他们已经在使用 Claude 的方式,质疑 Duet 与其他智能体风格助手产品有何区别。另一条评论纯属玩笑/梗,无技术相关性。

    • 评论者对 Claude Duet 是否与现有 Claude 工作流或 Muses/Dots/Bots 等竞品“助手包装器”产品有实质区别持怀疑态度,认为它只是叠加在模型之上的又一个聊天机器人界面,而非根本性的新智能体架构。

    • 一条实质性批评是,当前的 AI 助手缺乏强大的个性化能力和结构化数据集成。一位评论者认为,一个真正有用的主动式助手很可能需要与暴露结构良好的个人数据的系统建立合作或集成,而不是主要依赖通用的聊天 UX 和用户手动调整。

  • Anthropic 发布 Claude Duet,一个由 Opus 5.5 驱动的主动式 AI 智能体。它在你离开时工作,监控你的应用,使用自己的云端计算机处理复杂任务,并在需要时提醒你。它支持 6,000 多个集成,并记住你的上下文。(活跃度:1287):Anthropic 宣布推出 Claude Duet,这是一个面向 Pro/Max 用户、由 Claude Opus 5.5 驱动的研究预览版主动式智能体,旨在监控连接的应用、生成优先级简报,并在其自己的虚拟机/浏览器环境中运行后台工作流。它支持 6,000+ Marketplace 连接器/插件——包括 Gmail、Slack、QuickBooks、Stripe、Gusto、LinkedIn、Docusign、HubSpot、Canva、Shopify 以及支付流程——并且对于发送消息、付款、签名或删除等产生重大影响的操作需要用户批准。Anthropic 强调了其安全机制,包括凭证隔离、自动模式操作分类、提示注入防御、对抗性测试/漏洞赏金覆盖,以及用于管控敏感信息披露的分类器。 评论者对其l practical 实用性和定价/限额持怀疑态度,询问 Duet 是否像 Dots 那样“无限制且免费”,并表示他们仍然缺乏对主动式自主智能体的具体用例。有人将其视为一个带有 Anthropic 品牌的类 Dots 产品,而不是一个有明确差异化的智能体。

    • 一位评论者提出了一个实际的部署问题:Claude Duet 是否会无限制/免费或豁免现有的用量/数据限制,并明确将其与 Dots 进行比较,他们声称 Dots 目前不受数据限制约束。另一个技术上相关的主题是,尽管承认其实验价值,但对主动式/自主智能体的现实世界用例持怀疑态度。

2. 用于电视和硬件自动化的 Claude Code

  • 我用 Claude 修好了我的三星电视(活跃度:4370):一位用户报告将 Claude 用作自主的电视维护智能体:在识别出三星电视运行的是 Tizen 而非 Android/ADB 后,它创建了一个本地 Web 服务器,生成了一个用于手机相机访问的二维码,并在操作电视 UI 时使用定期截图/拍照(~4s 频率)作为视觉反馈。据报道,Claude 随后更改了隐私/遥测设置,删除/重置了三星的广告 ID,禁用了未使用的应用,重新排列了图标,并生成了一个自定义的 Apple TV 风格启动器/主屏幕,以及一个用于快捷方式/背景的配套设置应用。 评论者大多惊讶于用户竟然尝试了这个工作流程,以及 Claude 能够端到端地完成它。主要的称赞点在于删除电视广告 ID;帖子的其余部分大多是关于 Claude 暂停下来观看猫咪视频的笑话。

    • 一位评论者描述了使用 Claude 为访客/酒店式场景打造一个完全定制的三星电视启动器。该启动器会利用到店前问卷数据,直接在电视主屏幕上个性化定制 Plex 电影推荐、电视/新闻频道快捷方式、背景音乐流派、天气、客人姓名以及行程/本地活动信息。

    • 同一款定制启动器还被部署在户外电视上,并与 Home Assistant 集成,可以在电视 UI 中控制户外灯光、水池增氧机、喷雾器以及其他家庭自动化设备。该评论者还添加了事件驱动的 UI 操作,例如一个 5pm 香槟图标,按下后会触发广播通知并发送短信通知。

    • 另一位评论者认为,像 AI 辅助电视改造/定制启动器这类项目应该尽快开源,并警告称厂商未来可能会限制这种逆向工程或设备定制行为。

  • 我用 Claude Code 替换了三星电视的主屏幕(热度:2562):图片展示了一个简洁的三星电视定制启动器 UI(图片),替换了三星充满广告的主屏幕,带有时钟/日期、应用磁贴和 HDMI 主机快捷方式。作者表示是用 Claude Code 构建的,先使用模拟的三星电视 API 在桌面浏览器中迭代,然后使用 CleanFrame 风格的辅助工具修改了未公开的电视设置,使主页按钮打开定制启动器;代码已发布在 GitHub 上,并有更详细的 介绍文章。评论褒贬不一:一位评论者强烈支持开源/定制电视启动器,将其视为对三星/LG 遥测和广告的回应,而其他人则持怀疑态度,认为这些反复出现的帖子可疑或像垃圾信息。

    • 评论者们对 三星/LG 智能电视操作系统提出了隐私和平台控制方面的担忧,认为用开源或本地控制的界面替换厂商主屏幕,可以减少遥测和不必要的追踪。其技术风险在于,在电视上试验 Claude 生成的代码可能会导致设备变砖,尤其是在修改固件、启动行为或未公开的系统组件时。

    • 一位专注于安全的评论者警告称,鼓励用户安装未经核实的电视改造代码可能会带来巨大的攻击面:被入侵的脚本或侧载应用可能使攻击者同时远程控制大量设备。这种担忧实际上是一种供应链/恶意软件场景,即电视被胁迫显示同步内容,或以其他方式被外部势力控制。

  • 我厌倦了不断检查 Claude Code 是否需要我,于是给它装了一盏物理状态灯。(活跃度:2266):一位开发者通过 hooks 把一盏旧的 Kuando Busylight USB 状态灯接到了 Claude Code 上,这样一台运行长时间任务(例如为 Bearing Unknown 生成 3D 资源)的笔记本电脑就能以物理方式展示智能体状态:Claude 工作时红灯闪烁,等待用户输入时红灯常亮,空闲时亮绿灯。链接中托管在 Reddit 上的视频因 403 Forbidden 而无法访问,因此除了所描述的基于 hooks 的集成方式外,无法获知更多实现细节。评论者将其视为终端/智能体工作流中的轻量级“andon 指示灯”——有助于在监督长时间运行的编码智能体时减少上下文切换。

3. 人形机器人发布与量产声明

  • 宇树最新机器人:H2-X 功夫传奇守卫者(活跃度:4190):宇树(Unitree)发布了 H2-X “功夫传奇守卫者”, apparently 是其 H2 人形机器人系列的强化/高性能版本,主打“侍卫与守护”用途,宣称续航约为 8 hours(Unitree 推文)。该帖指出这契合了中国更广泛的人形战斗机器人趋势,并将其与松延动力的 T800 及相关机器人格斗赛事进行比较(背景)。热门评论较少关注规格参数,更多聚焦于安全/军民两用方面的影响,包括担心一台具备物理力量能力的“守卫者”人形机器人可能被滥用,或造成比其旨在防范的危害更大的伤害。

  • Tesla Optimus 开始量产,目标每周 20,000 台(活跃度:1644):据 Interesting Engineering 报道,Tesla 据称已开始扩大其 Optimus 人形机器人的生产规模,Elon Musk 的目标是在 2027 之前将产能爬坡至 20,000 units/week。文章将产能爬坡与 Tesla 更广泛的基础设施扩张联系起来,包括电池制造产能以及面向机器人开发的 AI/算力建设。评论者对需求和技术准备情况持怀疑态度,质疑谁会每月购买 80k+ 台机器人,以及如果 Optimus 还“未达到实用水平”,Tesla 为何要按那个规模进行生产。有人反驳称,从长远看,一概否定人形机器人可能显得短视,并将这种怀疑比作早年对汽车的抵触。

    • 评论者质疑 Tesla 每周生产 20,000 台 Optimus 机器人的可行性,以及市场是否对约 80k+ 台/月的产量有足够需求,并询问在那个规模下买家会是谁。

    • 有几条评论对 Optimus 在技术上或商业上是否“达到实用水平”表示怀疑,暗示其目前展示出的能力可能不足以支撑按所宣称的产量进行大规模生产。

    • 一位评论者请求提供展示 Optimus 目前实际能力的最新视频,并强调公众对技术的评估依赖于对其移动、操作、自主性和任务可靠性等方面最新的演示。

来源: Latent Space · latent.space