跳到正文
The Decoder· Jonathan Kemper·· 3 小时前AI 评分54

前 DeepMind 研究员 Thore Graepel 创办 Metis Reasoning,主张用 AlphaGo 式方法消除模型幻觉

Former Deepmind researcher thinks AlphaGo's playbook can cure AI hallucinations

AI 导读

前 DeepMind 研究员 Thore Graepel 创办 Metis Reasoning,在 Nvidia GTC 柏林大会上提出将 AlphaGo 的搜索方法引入通用推理,用显式知识账本记录已知、置信度和未决问题,并由独立模块验证每个推理步骤,以减少幻觉并支持可追溯、可删除的知识。

正文 · AI 翻译

前 DeepMind 研究员 Thore Graepel 想构建能够追踪自身已知内容、并将每个结论与证据进行核对的 AI 系统。他的团队表示,更大的语言模型无法解决这个问题。

Thore Graepel 相信,让 AlphaGo 在 2016 年击败围棋职业棋手李世石的那个理念,可以让 AI 系统更可靠,包括在机器人领域。这位前 DeepMind 研究员创立了 Metis Reasoning,并在 Nvidia 于柏林举行的 GTC 大会上阐述了这一方法。在这次大会上,这家芯片制造商一直在扩展其机器人技术和物理 AI 平台,目标是 把机器人技术的数据问题转化为算力问题。

用知识账本取代固化在模型权重中的知识

据 Metis 称,如今的语言模型只相当于 AlphaGo 的预测网络,即负责给出可能落子的那部分。AlphaGo 将该网络与对棋局序列的系统性搜索相结合,下出了著名的第 37 手——对于这一手,网络认为人类棋手落子的概率大约只有万分之一。Metis 想把这种搜索引入通用推理。

Tabelle ordnet neun Elementen eines Spiels wie Position, Zug, Übergangsregel, Ziel, Policy, Value, Suche, Erfahrung und Spielende jeweils ihre Rolle im Reasoning-System zu.
Metis Reasoning 将 AlphaGo 的构建模块应用于通用推理,用一个显式的知识状态来扮演棋盘的角色。| 图片来源:Metis

要做到这一点,需要该公司论文中所谓的显式知识账本,类似于棋盘。类似的想法已经存在:微软的 GraphRAG 将知识组织在模型权重之外的知识图谱中,而谷歌的 AlphaGeometry2 则将语言模型与验证数学证明的符号引擎相结合。Metis 希望将这些原则扩展到现实世界的未解问题。

它的知识账本记录哪些是已知的、系统的置信度有多高,以及哪些问题仍未解决。一个单独的模块会根据计算、形式化证明或实证证据来核查新条目,当某个假设被推翻时,所有依赖该假设的结论都会被重新评估。一步“走子”可以是提出一个问题、进行一项实验,或对现有假设发起挑战;系统会选择最能降低原始问题不确定性的那一步,最终要么给出答案,要么给出有理有据的弃权。

Flussdiagramm des Reasoning-Zyklus von Metis Reasoning mit den Schritten Zustand, Ziel und Budget prüfen, Zug wählen und ausführen, Begründung bewerten, Zustand aktualisieren oder Ergebnis protokollieren, Fortschritt bewerten und der Entscheidung, ob die Untersuchung weiterläuft oder mit Antwort, Enthaltung oder Grenzbericht endet.
在 Metis Reasoning 的方法中,只有当独立检查认定推理步骤得到足够充分的支持时,它才会改变系统的知识状态。 | 图片来源:Metis

与 AlphaGo 类似,两个神经网络负责提出和评估走子,它们基于已记录的历史调查进行训练,但无法绕过验证规则。Metis 表示,这种架构应能减少幻觉、提供带来源引用的解释,并使知识无需重新训练即可修改或删除。由于推理被分解为小步骤,该方法还有利于在边缘设备和机器人上运行的小型模型。

企业仍然不够信任语言模型,不敢大规模部署它们

Metis 认为,更多的数据和算力能提升语言模型,但无法解决这项技术的根本问题:模型会编造答案,其推理链无法验证,其知识被锁在权重之中。幻觉 源自 训练 过程 本身, 论文认为, 因为 模型 学会的 是 生成 看似合理的文本,而非真实的文本, 而且即使是当今推理模型的 思维链 也常常无法 展示 答案究竟是如何得出的。

论文称,这正是 AI 至今经济影响甚微的原因。当智能体代表一家公司行事时,错误难以追溯到源头,错误的知识也无法从模型中移除。AI 之所以在软件工程领域起飞,是因为代码易于测试和回滚,但论文认为,在医学、金融、芯片设计和机器人领域,AI 需要从根本上做到可验证。

这份白皮书只描述了一个研究计划,没有可运行的系统,没有基准测试,也没有与当前推理模型的对比。团队承认,现实世界不同于围棋,只提供部分信息,获取证据的代价可能很高,而且有些问题根本就没有答案。最大的未解问题是,鉴于符号 AI 系统当初正是因为所有知识都必须靠人工录入而失败,一个经过验证的知识账本究竟该如何在教科书案例之外的混乱领域成形。

继 Silver 和 Rocktäschel 之后,又一位 DeepMind 老将独立门户

根据其个人网站,Graepel 于 2001 年在柏林获得机器学习博士学位。在微软研究院,他参与构建了 Xbox Live 背后的匹配系统 TrueSkill。随后他加入 DeepMind,参与开发了 AlphaGo、AlphaZero 和 MuZero。在 Altos Labs 任职一段时间后,他最近在 Google DeepMind 的后 AGI 团队任职,并于今年夏天离开。他还担任伦敦大学学院的机器学习讲席教授。据彭博社报道,Graepel 正在为 Metis 进行一轮数千万美元级别的融资,后续还将在更高估值下进行数亿美元的追加融资。

他是 DeepMind 最知名突破的又一位缔造者,选择在 Google 之外另起炉灶。前同事 David Silver 创立了 Ineffable Intelligence,完成了欧洲初创公司中规模最大的种子轮融资。Tim Rocktäschel 联合创立了 Recursive,如今估值达 46.5 亿美元。还有一些人直接投奔了竞争对手。据《金融时报》报道,DeepMind 解散了 AlphaFold 背后的团队,诺贝尔奖得主 John Jumper 带着两位同事转投 Anthropic。CNBC 将这场人才流失部分归因于内部使用 Google TPU 芯片的权限受限以及官僚作风,同时 DeepMind 自身正在逐渐失去独立性,创始人 Demis Hassabis 也已退出日常运营。

AI 新闻,没有炒作 – 由人工精心筛选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限,以及评论区发言权限。

来源: The Decoder · the-decoder.com