Elorian 推出视觉推理模型 Glimpse，DecoyCount 测试揭示前沿模型是否被“诱饵”迷惑

本月，Elorian 推出了其首个视觉推理模型 Glimpse。该模型被宣传为“一类全新的视觉思考模型：一个能够根据所见对物理世界进行推理的系统。”

那么，Glimpse 在视觉测试中与前沿模型和世界模型相比表现如何？Elorian 同步发布的名为 DecoyCount 的新基准测试给出了一些答案。

我们就该基准测试采访了 CEO Andrew Dai，并聊了聊 Elorian 在竞争激烈的模型领域中的定位。

DecoyCount 测试结果

Elorian 于 4 月走出隐身模式，获得了 5500 万美元种子轮融资，由 Striker Venture Partners、Menlo Ventures 和 Altimeter Capital 联合领投。如今，Elorian 与 AI 数据公司 Mercor 合作，宣布推出 DecoyCount 基准测试，用于检验语言模型是否真正会数物体，还是依赖视觉捷径和替代性启发式方法。

根据随发布一同发表的论文，前沿模型在 DecoyCount 上的准确率低于 50% —— 最高的是 GPT-6 Astra，为 43.17%。论文中并未提及 Elorian 的新模型，但 Dai 告诉我们，Glimpse 在内部测试中取得了 50.48% 的成绩。

关于这些前沿模型，论文的结论是：“更强的通用推理能力本身并不能泛化为对齐的视觉推理。”

为了确保与前沿模型的比较是同等条件的，我们询问论文的评估图像是否在 Glimpse 的训练中被排除？

“评估图像和文本均未纳入我们的训练，我们的污染检测也未发现在已检查的训练数据中存在重叠，”Dai 通过电子邮件回复道。“在没有任何提示的情况下，Glimpse 在 1,660 个 DecoyCount 项目上取得了 50.48% 的成绩，成为对比中唯一突破 50% 的模型。最接近的是 GPT-6 Astra，为 43.17%，落后约 7 分；Gemini-3.8-flash 得分为 32.71%，Qwen3.8-max 得分为 28.31%，Claude-Fable-5.1 则为 25.22%。”

Dai 确实指出，Glimpse 的成绩“来自模型单独运行的一次结果，没有使用智能体或工具框架”，而论文中的六个模型则是在各自报告的设置下，每次取三次运行的平均值。

但 DecoyCount 究竟揭示了现有模型基准测试所遗漏的什么问题？据 Dai 所说，它同时测试视觉和推理能力——而大多数基准测试都忽略了这一点。

“如果一个人看到镜子前有一个苹果，我们知道只有一个苹果，另一个只是它的反射。但模型可能会完全漏掉那个苹果（视觉问题），或者把苹果和它的反射算作两个（推理问题）。而大多数测试这类错误的基准只检查最终的数字，因此两种错误会被同等对待。如果你想修复根本问题，却无法判断这是视觉还是判断的问题，这就是一个问题。”

究竟什么是视觉思考？

Andrew Dai 在 AI 领域并非新面孔。2015 年，他在 Google 工作期间合著了一篇题为 Semi-supervised sequence learning 的论文。在这篇论文中，Dai 与他当时的同事 Quoc Le 展示了后来被大语言模型采用的预训练后微调方法的早期版本。在此后的十年里，Dai 供职于 Google DeepMind，先后参与 GLaM MoE、PaLM 2 以及 Gemini 的研发。

Dai 今年才离开 Google，联合创立了 Elorian。他部分的动力在于拓展视觉模型能力的边界。他向 Latent Space 解释说，他的方法基于人类心理学中一个名为视觉思维的概念。

他解释说，当大多数人“思考空间问题或视觉问题时”，“他们会在脑海中通过生成图像和编辑图像来将问题可视化。”

他举了一个买沙发的例子：在脑海中想象它摆放在客厅里会是什么样子。

还有在脑海中操作图像的情形；例如，在数一张桌子周围的人时，你可能会在心里“把他们一个一个划掉”，Dai 说。

这正是 Elorian 旨在让其模型实现的能力：教它们视觉思维，“即在推理过程中、与语言一起，将生成和编辑图像作为推理轨迹的一部分。”

关键在于，图像生成不只是视觉模型的输出——生成或编辑的图像是推理链条的一部分。

Elorian 与世界模型有何不同？

视觉推理仍在发展之中，但今年已有一些令人印象深刻的相关发布，即“世界模型”——视觉是其关键组件。其中两个引人注目的是 World Labs 九月份发布的 Atlas（该公司随后被 AMD 收购）以及 Google 刚刚发布的 Genie 4。

当 World Labs 宣布 Atlas 时，它被描述为一个“面向空间智能的全能世界模型”。但 Atlas 所实现的——基本上是世界的 3D 模拟——并不等同于视觉推理。

据 Dai 所说，世界模型实现的是“对世界的直接操作”，而 Elorian 更专注于他所说的“间接操作”。他的意思是利用视觉推理来辅助决策或工作流（Glimpse 所做的），而不是构建允许导航和操作的模拟环境（Atlas 所做的）。

举个例子，你可能会用视觉推理来决定是否因违反政策而拒绝一段用户上传的视频。“你不需要 3D 渲染就能做到这一点，”Dai 说。

视觉推理的应用

Elorian 的其他商业机会还包括机器人、工程和国防应用。Dai 补充说，建筑师需要定期检查建筑规范和合规性——这是视觉推理模型的理想任务。

在 WGO Bench 和 ERQA 这两个机器人基准测试中，Elorian 声称其评分等于或高于前沿模型，而且价格便宜得多：

回到以数诱饵作为视觉模型成功衡量指标的话题，Dai 认为对模型所见内容进行推理，对于模型在真实世界应用中的准确性和有效性至关重要。

他举了一个仓库机器人清点箱中物品的例子。 

Dai 表示：“一个常见的 12 格托盘可能只装了 10 个零件，标签上写着 24 件装也不代表盒子里还有 24 件物品。一个依赖预期所见内容的模型在现实场景中会遇到很多问题，而 Glimpse 的设计理念是深入图像本身，而不是草率地下结论。我们把 Glimpse 设计成让计数基于可见的证据，而不是那些可能误导其他模型的基本线索。”

为什么 Elorian 认为 AGI 需要视觉推理

Elorian 甚至声称视觉推理是 AGI（通用人工智能）的基础要求。正如其 Glimpse 发布博文所言：

“我们相信，为多模态智能从零开始构建涵盖系统、数据、模型架构和训练的全栈，可以解锁物理世界中的 AGI。”

Dai 承认“人类与机器之间仍存在巨大差距”。但他认为视觉推理是弥合这一差距的关键。 

“我认为应该把视觉推理理解为人类智能中推理的一个基础步骤，”他说，“归根结底，如果我们想构建任何类似 AGI 的东西，就不能跳过视觉。”