Dyna Robotics Jason Ma 谈 Dyna-2 世界动作模型与长时自主机器人
Dyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics
Latent Space 邀请 Dyna Robotics 联合创始人兼首席科学家 Jason Ma 深入解读 Dyna-2 世界动作模型，该模型在超过 100 万小时人类视频上预训练，结合 diffusion transformer 与 flow matching 预测未来视频并生成机器人动作。
观看 AIE NYC 的直播，并在下个月参加我们在旧金山举办的 AIE CODE！
本期节目包含 Taku 机器人的现场演示，在 YouTube 上观看效果最佳。
上个月，Dyna 凭借发布 Dyna-2 引起轰动，这是一个在 100 万小时人类视频上预训练的世界-动作模型，并宣称在跨越 四个数量级 的人类数据上发现了若干新的缩放定律。如今他们又在模型基础上推出了实体机器人智能体 Dyna-2.1，必须亲眼所见才能相信：
下午 4:24 · 2026年9月29日 · 3.12M 次浏览
在今年的 AIE 演讲中，Jason 谈到机器人在真实世界中真正的挑战是可靠的长时程自主性，以及 Dyna 如何让它的模型以 99.4% 的成功率连续 24 小时折叠餐厅餐巾，包括在被它弄倒整摞餐巾后自行恢复。
从在超过 100 万小时的人类视频上训练世界-动作模型，到部署每天在 鼎泰丰 折叠数千张餐巾的机器人，Dyna Robotics正在推动物理 AI 超越令人印象深刻的演示，进入真实世界的生产。在本期节目中，Dyna Robotics 联合创始人兼首席科学家 Jason Ma 做客现场，与 swyx 一同探讨机器人如何仅凭 45 分钟的演示就能学会新任务，为什么预测物理世界的未来可能是通用机器人技术的关键，以及打造能为真实客户可靠工作的机器人究竟需要什么。
我们深入探讨了 Dyna-2——Dyna 结合未来视频预测与机器人动作的百万小时世界-动作模型、人类到机器人迁移背后的缩放定律、扩散 Transformer 与流匹配，以及为什么合成环境和自生成的训练数据可能开启机器人技术的下一波进展。Jason 还解释了为什么 Dyna 选择自研硬件而不依赖现成的人形机器人、智能体框架如何让机器人执行长达数小时的工作流、为什么灵巧手和缺失的传感数据仍是主要瓶颈，以及真正的商业部署与机器人创业公司的坟场之间有何区别。我们还讨论了世界-动作模型与视觉-语言-动作模型的对比、GPT-6 与编码智能体在机器人技术中的应用，以及 Jason 从 AlphaGo 和宾大到 NVIDIA、Google DeepMind 再到创立 Dyna 的历程。
为什么 Dyna-2 要在超过 100 万小时 的人类视频上训练
世界-动作模型：通过预测未来视频来引导物理机器人的动作
扩散 Transformer、流匹配与实时机器人控制
机器人如何仅凭 45 分钟的演示学会新任务
为什么机器人领域 没有互联网式的等价物，数据仍是其最大的扩展挑战
人类第一视角视频、机器人演示与跨本体迁移
合成环境、仿真，以及自行生成训练数据的模型
为什么机器人需要 端侧推理、模型蒸馏和定制硬件
为什么 Dyna 选择 轮式半人形机器人而不是传统的双足机器人
硬件瓶颈：为什么 灵巧机械手仍然会过热
Best Western、鼎泰丰，以及机器人试点与规模化部署的区别
机器人领域的苦涩教训：扩展数据而非专门工程化解决方案
智能体框架与执行多步骤、长达一小时物理工作流的机器人
GPT-6、编码智能体，以及面向机器人研究的 AI 生成仿真环境
世界-动作模型 vs. VLA，以及为什么仅靠视觉可能不够
Jason 的历程：AlphaGo、宾夕法尼亚大学、NVIDIA、Google DeepMind 以及 Eureka 项目
Dyna 的 研究文化、部署优先的哲学，以及百万机器人愿景
时间戳
00:00:00 开场介绍与 Dyna-2 的世界-动作模型
00:03:08 扩散 Transformer、流匹配与通用机器人
00:08:19 机器人领域的数据瓶颈
00:13:50 合成数据与自我改进的世界模型
00:16:51 实时推理与模型蒸馏
00:19:45 全栈机器人：硬件与供应链
00:25:02 为什么 Dyna 打造了轮式半人形机器人
00:29:35 教机器人新任务与评估性能
00:31:59 自主工作流与硬件限制
00:36:06 在 Best Western 和鼎泰丰的真实部署
00:41:07 机器人领域的苦涩教训
00:46:13 面向物理 AI 的智能体框架
00:49:07 GPT-6、编码智能体与 AI 原生机器人
00:52:02 世界-动作模型 vs. VLA
00:59:17 从 AlphaGo 到创立 Dyna Robotics
01:04:20 Dyna 的研究文化与机器人的未来
Swyx [00:00:00]： 好的，我们今天来到 Dyna Robotics 的联合创始人兼首席科学家 Jason Ma 的现场。感谢你邀请我们来到你的办公室。
Jason Ma [00:00:06]: 当然。感谢你们的到来。
Vibhu [00:00:07]: 真是太精彩了。我们看到了——你会看到很多辅助镜头——拉花的饮品、大量的评测，还有第一次见到带刀的机器人。所以在这一切的背后，你们有一个世界动作模型。那是什么？
Jason Ma [00:00:22]: 上个月，我们发布了名为 Dyna-2 的世界动作模型。这是第一个基于超过一百万小时数据训练的世界动作模型。回到你的问题，世界动作模型是一种能够预测未来视频、预测世界未来状态的模型，所以叫世界模型。但除此之外，你还可以利用这种未来生成来产出机器人在物理世界中可执行的动作，从而控制机器人。我们为什么要这样做？这是一种非常强大的架构，因为如果你想想人类在物理世界中如何行动，在我们的大脑中，我们其实是在隐性地思考世界在我们行动之下会如何演化。而现在我们有了一个能够做到这一点、用以引导机器人动作的模型架构。我们发现，这样做之后，模型更加灵巧、更加稳健，并且更能泛化到它从未见过的环境和场景。
Vibhu [00:01:17]: 我想把这个问题再展开一点。很多人听到世界模型，会以为你输出的是视频、世界或 3D 状态。但你还在做动作。我想大多数人不了解机器人技术背后的模型到底是什么。那么输入和输出是什么？训练数据是什么？架构是什么？给我们讲讲所有细节。
Jason Ma [00:01:39]: 至于输入，最重要的输入是视频，对吧？你可以把它理解为机器人用它的摄像头捕捉到的视频，对吧？也就是过去许多秒的视频或图像，这就是输入。但对机器人来说，非常有趣的一点是，机器人自身还带有大量执行器和关节编码器。所以机器人自己也知道它各个关节的角度。这些也可以作为这个世界模型的输入。这一点与只看视频的纯视频模型非常不同，对吧？这就是输入。另外，对于机器人，你会希望能够与它对话，指示它完成不同的任务，对吧？所以你还可以向它输入语言指令。这些就是我认为进入任何机器人模型（包括世界动作模型）的基本输入集合。有了这些之后，输出方面，在基本层面上，它需要输出机器人可以在硬件上执行的动作。但在世界动作模型的情况下，非常有趣的是，除了动作之外，它还能输出未来的视频，对吧？所以基本上，你几乎可以先输出未来的视频或它的某种表示，然后用它来引导机器人动作。我的理解是，这有点类似于思维链。基本上，模型是在视觉的、物理的空间中进行推理，然后再输出动作。这就是世界动作模型的输出与其他类型机器人模型的输出之间的关键区别。
Vibhu [00:03:08]: 你发布了一篇关于你模型的很棒的博客文章。我想很多人理解语言模型或者 transformer、下一个 token 预测器。在这个案例中，你分享了很多内容。有扩散模型、流匹配，你在预测下一个世界状态加上动作。你提到一百万小时。你是如何确定架构的？比如，那里有哪些选择？架构是什么样的？我觉得在语言模型领域，很多时候是拿来现成的东西——用数万亿 token 做预测，SFT、RL，然后就得到一个模型。这个呢？你是如何从零开始构建你的模型的？有现成的原始架构吗？这些是你自己决定的吗？目前的状态是什么样的？
Jason Ma [00:03:49]: 好的，我认为，嗯。思考我们如何为机器人技术构建模型的思维框架是，基本上有几个要考察的方面。一是数据，二是我们如何让模型从这些数据中学到尽可能多的东西。我们先谈谈模型本身，对吧？我们发布的博客文章介绍的是我们的 Dyna-2 世界动作模型。它的底层是一个扩散 transformer。该模型采用仅编码器的 transformer 架构。
Vibhu [00:04:20]: 对，是的。
Jason Ma [00:04:20]: 但真正有趣的是，在视觉领域，对吧，如果你想想生成图像、生成视频，以及在这个案例中，机器人看图像来生成动作，人们发现扩散类架构效果非常好。那什么是扩散模型？扩散模型是一种模型，它接收一些随机噪声，通过迭代计算，可以从噪声变成非常高维的东西，变成高度明确、具有非常细粒度特征的东西。想想生成图像，对吧，你想要清晰的边缘、清晰的棱角、色彩对比。而对机器人技术来说，即使你不是在生成图像，你生成的动作也需要非常精确、非常平滑，对吧？所以它有和生成图像类似的考量与需求。这就是为什么从第一性原理出发，整个领域，不仅仅是我们，都在使用这种扩散 transformer 架构来训练机器人基础模型。你需要 transformer 这一面，因为 transformer 是能够摄入最多数据、能够学习的结构。然后扩散帮助你精炼输出，得到在机器人上真正执行所需的平滑、精确、细粒度的运动。这就是我们许多近期突破背后的架构。
Swyx [00:05:37]: 我们之前在播客中讲过流匹配。它主要是一种效率上的提速。比如说，你通常需要四十到一百个扩散步骤，你可以把它减少到四步。
Jason Ma [00:05:48]: 是的，没错。对于扩散模型来说，实践中很难的一点是你需要调整调度器（scheduler），也就是决定把初始噪声输入转化为最终输出的方式。而流匹配（flow matching）有点像扩散的一个特例，它让这个转化过程简单得多。实践中你不需要做那么多调整，效果却一样好。这就是为什么我认为大约两三年前，图像和视频的大多数生成建模已经从扩散模型转向了流匹配模型。但概念是一样的，流匹配只是扩散的一个特例，更容易调整。是的。
Swyx [00:06:26]: 这让我联想到一点。流匹配在质量上显然有取舍。但实际上，它非常适合动作扩散和机器人领域，因为你可以实时重新评估。而在图像领域，基本上是一次成型的。
Jason Ma [00:06:40]: 没错。
Vibhu [00:06:41]: 这挺有意思的。我们之前摆弄过叠衣服机器人……随便扔进去一条毛巾，模型就能适应，对吧？我觉得你的模型有一个关键特点，就是它们是作为通才设计的，所以一个基础模型就能大量适配。这是怎么做到的？基本上，只用 45 分钟的映射数据，就能实现泛化。我们见过一个从冰箱里取出饮料的例子。这种“一个通用模型”的思路是怎样的，然后又如何适配不同的任务？
Jason Ma [00:07:14]: 我们的思路是，对于机器人技术，我们需要构建一个非常通用、非常强大的基础模型，对吧？因为想想人类是如何在物理世界中互动和行动的：我们有非常强大的基础知识，可以直接完成很多任务。但如果想在某个特定任务上成为专家，就需要一定量的训练。我认为要训练像我们正在构建的这种通用机器人，同样的原则也适用。所以我们的方法是先训练一个通用模型，用我们能找到的尽可能多的数据来训练。这就是为什么在我们的 Dyna-2 报告中，我们的模型以超过一百万小时的人类数据作为起点进行训练。有了这个强大的基础之后，我们发现只需极少量的微调，就能快速让机器人或模型完成许多不同的任务——只需告诉模型“这是我想让它做的任务，这里只有很少量的演示”，模型就能轻松完成你在办公室里看到的那一系列任务。是的。
Swyx [00:08:19]: 我们这里其实有不少人是做数据生意的，卖数据的。什么算好数据？什么算坏数据？你想买什么？我认为这些都是开放性问题。显然，我认为最重要的一点是人类执行任务时的第一人称视角（egocentric）数据。在这个基本说法之外，你还想补充或修改什么？
Jason Ma [00:08:42]: 所以我认为数据是当今机器人领域最重要的东西，因为与语言模型不同，这里没有互联网，对吧？所以每一家构建模型、制造硬件的公司都必须考虑数据。大致上有几种不同的运营方式。一种是你可以自己收集大量数据，这也是我们在做的事情。
Swyx [00:09:02]: 你的员工就在这里做这件事。
Jason Ma [00:09:04]: 办公室里到处都是机器人，对吧？但如果你想想训练机器人基础模型需要多少数据，我认为任何一家公司自己能收集的数据量都远远不够，对吧？这就像你想构建一个互联网，却只有 Reddit 或者只有 Facebook。它们是很棒的网站，有很多用户，但还不够，对吧？所以当我们考虑数据时，必须要有某种数据获取的途径，对吧？你可以购买数据，可以查看已有的数据。而且数据有很多不同的层级，对吧？你提到了数据质量。我认为机器人领域的数据质量是一个非平稳的问题，也就是说，对你的模型而言什么是高质量数据会随时间变化。比如，当你的模型一无所知，也就是从零开始时，任何数据都有用，对吧？你可以使用大量视频数据。就第一视角（egocentric）数据而言，我认为它其实是预训练机器人的一种非常好的方式，因为人类数据非常多样，涵盖了你所能想象到的每一种身体活动。这让模型对世界如何围绕一个具身行为者——人类——演化有了非常强的先验。但人类数据的问题在于，除非你的机器人看起来和人类一模一样，否则人类动作和机器人动作之间总会存在差距，对吧？所以仅仅通过在人类数据上训练，今天你不太可能直接执行机器人动作。你仍然需要利用机器人自身的数据做一定程度的适配，对吧？但在机器人上收集的机器人自身数据会昂贵得多，也难收集得多。所以我们考虑的方案是：如何利用我们今天拥有的最大数据来源，比如第一视角数据，让模型对物理操作所能涵盖的一切建立强先验，然后再结合少量机器人数据，让机器人掌握我们感兴趣的任何任务。所以机器人领域的数据质量和数据获取真的是一个我认为非常迷人、多层面的问题。但现实是没有单一的制胜策略，比如说“哦，这里有一种数据，我只收集这种”，
Jason Ma [00:11:25]: 就能给你一个强大的基础模型。你真的需要考虑：“这部分人类数据覆盖了我需要的机器人认知的这一部分。机器人数据覆盖了机器人同样需要的底层反射式灵巧性”，然后把它们整合到一个模型中。我认为这才是最终能打造出真正适应性强、真正强大模型的方法。是的。
Swyx [00:11:44]: 我来提示你一下，同样是为了那些想和你合作的听众。你想要什么样的数据供应商？这是你对数据的需求呼吁。什——
Jason Ma [00:11:55]: 是的，这是个好问题。在我们的 Dyna-2 博客末尾，我们实际上提供了一个邮箱地址：[email protected]。所以如果你是拥有大量高质量数据的数据供应商——无论是第一人称视角数据、机器人数据、视频数据，还是任何你认为能帮助机器人的数据——请发送到那个邮箱。我们的团队会查看并回复你。
Swyx [00:12:16]: 但在你们这个阶段，应该不会再购买现成的第一人称视角数据了吧？你们大概更想说：“这是我们需要的数据，你们去——”
Vibhu [00:12:26]: 有没有哪些细分领域还缺数据？
Swyx [00:12:28]: 你们需要一个 Scale AI、一个 Mercor 来做这件事。我明白了，定制数据——
Vibhu [00:12:32]: 不从事机器人行业的人可能会想：“好吧，某个小众工厂。”比如……你演示过把管子插进去。关于这个你能找到的数据有限，但这些数据会对你们有很大帮助吗？
Jason Ma [00:12:43]: 是的。如果你真的想做好某个任务，来自该任务的数据肯定会帮大忙，对吧？对我们来说，我们仍然认为，仅仅一百万小时的数据是不够的，这只是个开始。我们展示的是第一个百万小时规模的模型，但我们还需要更多，对吧？所以我们仍在寻找大量原始的、多样化的数据。但我们也在思考如何获得更多定制数据——由我们内部采集，或由我们的合作伙伴采集，用于非常具体的小众任务？因为我认为你仍然需要这些数据才能达到卓越水平，任何模型要真正在物理世界中发挥作用都需要这个，对吧？这有点像人类。比如，如果 Sean 或我明天去 Rosewood 酒店工作，我们没法按他们的要求铺床，对吧？我们需要大量训练。所以这类特殊数据，就像 Mercor 今天为语言模型所做的事情一样，我认为对机器人领域也会非常有价值。
Vibhu [00:13:42]: 所以酒店们，给员工的头上绑个 GoPro，然后……
Jason Ma [00:13:48]: 然后可能还会有更多这样的数据。
Vibhu [00:13:49]: 有
Swyx [00:13:50]: 把自己置于其中，对。我们之前讨论过的一个话题是这次访谈的收尾，非常有意思的是，现在你基本上可以即时生成环境。你用前沿模型试过吗？体验如何？它们足够好吗？
Vibhu [00:14:06]: 你有没有使用任何世界模型机器人——比如世界模型公司来生成这些环境并在其上训练？
Jason Ma [00:14:13]: 所以，我认为为机器人学生成合成环境、合成数据、仿真数据，将会是下一个前沿方向之一，对吧？因为如今人们已经研究过第一人称视角数据、机器人数据。这些数据正在扩展，但我认为合成数据将是扩展的一个新维度。所以回到你的问题，是的，我们一直在探索使用前沿模型，在我们关心的数据和环境上为我们生成合成环境。而且令人惊讶的是，我认为现在这项技术已经到了非常值得深入研究的时候了。先交代一些背景，在我的博士期间，我主要专注于基于仿真的机器人训练。那时候，仿真还不成熟，但我们有一篇叫 Eureka 的论文，它是第一篇用大语言模型——当时是 GPT-4——自我生成环境、生成强化学习的奖励函数并在仿真中完成任务的论文。最后，我们做出了一个非常棒的演示，让机器人转笔，对吧？这在当时真的很酷。但这类事情在当时仍然非常有限，因为那时候的模型并没有很好的视觉能力，也没有内在的 3D 理解能力，对吧？所以它基本上只是生成代码，并利用非常有限的文本反馈来尝试构建新的仿真环境。但如今这些前沿模型的视觉能力强得惊人。它们可以做真实到仿真的转换、做 CAD 建模、进行 3D 重建等等。所以我认为现在正处于一个临界点，
Jason Ma [00:15:52]: 这项技术真正能够加速机器人学的发展。对我们来说，对吧，我们把它视为加速内部进展的一种方式，对吧？因为我们在构建模型，也在构建硬件。所以如果前沿模型能以这种方式给我们更多数据，比如为我们生成非常量身定制的数据，那对我们来说极其有用。我们一直在思考的另一件事是，与其用这些模型生成 3D 环境，我们也用了自己的世界模型，就是我刚才说的世界动作模型，因为这个模型不仅能生成动作，还能生成视频。我们——这个模型也能生成它自己的训练数据。这就形成了一个自我强化的飞轮，我认为这也会非常强大。所以总的来说，我对这个方向感到非常兴奋，因为我认为即使我们已经把数据规模扩展到一百万小时，我们也在部署大量机器人。机器人已——已经开始做一些非常酷的事情了。我们才刚刚起步，这只是未来图景的冰山一角。是的。
Vibhu [00:16:51]: 对于从事研究的人来说，我们最近邀请 Runway 上过播客。他们的业务之一是机器人世界模型。他们正在朝那个方向稍微转型，所以……提醒大家去关注一下。关于你们自研模型，我的一个问题是你们在什么约束下运作？如果用语言模型来类比，你可以看到 GPT-OSS 20B 非常适合普通的 MacBook，还有一个更大的模型适合单块 GPU。你们是在什么约束下工作的，是设备端模型、云端模型，还是混合方案？这又如何影响你们的数据扩展定律？一百万小时很了不起，但我们是只扩大参数规模、增加数据量吗？
Jason Ma [00:17:38]: 不，这个问题问得很好。我觉得机器人和语言模型及其他应用真正不同的地方在于，对于编码智能体、语言模型来说，有点延迟没关系，对吧？如今，每当我问 ChatGPT，它都要花几秒钟才会输出任何东西。但对机器人来说，推理延迟必须非常短，对吧？机器人需要行动。比如，它不能拿着一把刀愣住三秒什么都不做。那会把人吓坏的，对吧？
Vibhu [00:18:07]: 是啊，我们看到有人把自己的真手伸到了刀下面。
Jason Ma [00:18:10]: 我们的模型相当聪明，所以没事。但总的来说，如果你想一想非常动态的任务，比如，你想让你的机器人拿着——我不知道，一把网球拍然后颠球，对吧？这是非常动态的、实时反应的。你不能只是……物理规律、重力可不会等你，对吧？所以出于这个原因，机器人模型需要能够非常快地推理。而最快的方式就是在本地部署，比如在设备上，对吧？因为如果你调用一个模型——
Swyx [00:18:39]: 网络延迟。
Jason Ma [00:18:40]: 是没有保障的——
Vibhu [00:18:41]: 自动驾驶汽车。
Jason Ma [00:18:42]: 是没有保障的，对吧？所以出于这个原因，最终部署的模型必须是合理的规模，可以在本地运行。但这并不意味着你最初训练的模型也必须小，对吧？就像在语言模型中——
Vibhu [00:18:57]: 你可以做蒸馏。
Jason Ma [00:18:58]: 人们会做蒸馏，对吧？让一个小模型变得非常聪明的最好方法就是做蒸馏，对吧？你先训练最大的模型，然后再蒸馏，对吧？所以我认为在机器人领域，我们正在朝这个方向前进，但我认为这就是大家最终会趋同的方向。嗯。
Vibhu [00:19:14]: 那推理呢？你们有自己的推理栈吗，还是……这里面很多是架构的事。你们用了 diffusion 之类的技术。我猜你们可以从某些东西上借鉴。有什么想分享的吗？
Jason Ma [00:19:26]: 对于我们部署的任何模型，我们都自建推理栈，因为就像我说的，延迟太重要了。所以掌控整个技术栈对机器人领域来说极其重要，对吧？你要针对你运行的模型类型优化推理速度，这里面有很多工作要做。我们就是这么做的。
Swyx [00:19:45]: 你们真的是全栈，比如——从执行器一直到工业设计（ID），这个缩写我之前还真不知道。显然还包括模型和数据。
Vibhu [00:19:57]: 我很好奇，这些执行器是你们自己的吗，还是……这里面有多少是你们自己的？比如，设计当然是自己的，不像那些人形——执行器，你们在机器人技术栈上走得多深？
Jason Ma [00:20:08]: 我们对于哪些需要自研、哪些可以外购的思考方式是：如果一个组件的输入输出非常清晰，而且已经有极其成熟优秀的解决方案，那就没必要自研。比如在这台机器人上，你看到的激光雷达，对吧？那些黑色圆圈就是激光雷达，用来帮助机器人检测障碍物、感知周围环境导航。这是非常成熟的技术，人们已经用了几十年了，自动驾驶汽车上就在用。所以我们不需要从零开始造激光雷达，对吧？某些摄像头也一样。但对于任何我们认为对整个系统最终性能极其关键的东西，我们的愿景是自己掌握并自己制造。其中之一就是你提到的执行器。这是我们正在研发并且要自己掌握的东西。原因在于，执行器的质量以及你如何设计它，很大程度上决定了你能把机器人建模得多好，对吧？执行器是驱动机器人的部件。要想在仿真中把机器人建模得非常好，或者做任何建模，你都需要选择非常合适、易于建模的执行器。这是我们最终关心的，所以我们要自己掌握。机器人的人体比例也是同理。这台机器人的比例是我们对照真人测量的。为什么要这么做？因为我们要用人类数据做预训练。
Swyx [00:21:36]: 哦，对。
Jason Ma [00:21:36]: 迁移效果最好，对吧？硬件设计中有很多这样的决策，都和这一点紧密相关。因为最终，是硬件承载智能。智能才是极其重要的东西。我们要确保硬件为此服务。
Swyx [00:21:53]: 我想强调一点，不知道这跟你们是否相关，但我经历过最有意思的机器人讨论之一，是有人为执行器焦虑不已，具体来说是磁铁，因为显然美国不生产磁铁。
Jason Ma [00:22:06]: 是的，不生产。
Swyx [00:22:07]: 而且只有两个国家生产磁铁。
Jason Ma [00:22:09]: 稀土材料。
Swyx [00:22:10]: 稀土，对吧？我不知道那个……化学——材料是什么？我不清楚具体是什么东西，不过——总之，如果有人对此感兴趣，这 apparently 是我们的一个瓶颈。
Jason Ma [00:22:20]: 不，不是瓶颈。
Swyx [00:22:21]: 这就是个瓶颈。那我们该怎么办？
Jason Ma [00:22:23]: 这是个好问题，对吧？我认为，关于把制造业带回美国有很多令人兴奋的讨论，但对机器人来说，这实际上比看起来要难得多。我想说，即使是现在，美国也没有一家公司真正在美国从零开始制造所有东西，对吧？比如，即使他们说他们在美国组装机器人、在美国做他们实际在做的事情，他们仍然从世界其他地方采购原材料。我认为这是作为机器人制造者真正需要意识到的一点，对吧？就像，作为一家全栈机器人公司，我们意识到供应链有多长，整个问题有多庞大。这其实非常难。而且我觉得，如今很多讨论都围绕机器人基础模型的数据展开，但我认为硬件以及造出好硬件有多难这一点被严重低估了。但我认为这会极其重要。
Swyx [00:23:27]: 这是一个平台，对吧？
Jason Ma [00:23:29]: 平台，是的。
Swyx [00:23:30]: 有一些公司选择，我们姑且称之为“无平台”路线。他们只做模型，并且会说：“我们可以在任何平台上部署。”我们部署在 Optimus 上。
Vibhu [00:23:37]: 现成的机器人。
Swyx [00:23:38]: 所以，这是一种选择，对吧？显然，你们拥有所有东西，所以可以这样做。你认为自己会在美国制造更多东西，还是会打造自己的全球供应链？哪个方向更可能？
Jason Ma [00:23:52]: 我们目前正在探索很多不同的方案，对吧？因为如果用全球供应链，就会有一些地缘政治的问题，对吧？
Swyx [00:24:02]: 海运。
Jason Ma [00:24:02]: 海运。还有运输延误之类的问题。
Vibhu [00:24:04]: 真的用轮船运机器人。
Jason Ma [00:24:06]: 而在美国，从零到一需要一些时间，对吧？所以我们在想一个既能让我们在美国制造更多东西、又能利用全球供应链的方案，对吧？但我确实认为，回到你之前关于有些公司选择只做模型的问题——我们什么都做，我认为把这件事做对非常重要。我觉得对机器人来说，难点在于构建整个系统。构建一个完整系统需要哪些必要的东西？比如，我之前在 DeepMind、在 NVIDIA，主要只是构建模型，我看到了当你不掌控硬件、无法对硬件进行优化时整个系统的上限，对吧？因为如果你想想机器人创造价值的方式，机器人终究是要提供服务来解决某些物理任务的。所以如果你想解决物理任务，你就需要能够优化一切，这很重要。
Vibhu [00:25:02]: 我们看到机器人了。你得跟我们讲讲这个设计。你们自己的定制平台。你们叫它什么？
Jason Ma [00:25:11]: 我们叫它什么？
Vibhu [00:25:12]: 对，它不是人形的。它非常流畅，但那个旋转的手臂是什么？
Jason Ma [00:25:16]: 是的，我们把这台机器大体上看作一种半人形机器人。基本上，上半身就像人形机器人一样。它当然有肩膀、有手臂。腰部还有四个自由度。所以基本上，人类上半身能做的动作它都能做。但它是半人形机器人，因为下半身是轮子。好，那为什么我们选择轮子呢？因为我认为这里存在一个差异，也就是最佳实用性与性能之间的权衡。我认为如果用腿，能耗会高很多，稳定性也会差很多，安全性将极难保证。所以目前，对于足式机器人来说，实际上没有任何保证能让机器人始终保持直立和平衡。我相信大家看过很多那种机器人跳舞的视频。就是机器人跳舞的那种。
Swyx [00:26:08]: 看过跳舞的，是的。它们都很容易摔倒。
Vibhu [00:26:10]: 不，但你也见过那些明显不是量产水平的演示，你可以击打机器人、把它推倒，效果很好。但那台机器人只是擅长平衡而已，对吧？就像——这有个问题。
Swyx [00:26:21]: 我觉得你们更有意思的创新在这里。我们有一个原型机，就是后面那台超梦（Mewtwo）。
Jason Ma [00:26:29]: 你可以这么叫它。
Swyx [00:26:30]: 它只有一个上下方向的轴，而你们随后选择朝着这样一种形态演进，它具备了倾斜的能力。我们要展示洗衣服的演示，机器人必须倾斜着探进洗衣机里，对吧？这是另一种自由度，我甚至找不到词来形容它。它不是俯仰，也不是偏航，是别的东西。
Jason Ma [00:26:47]: 是的，我们是怎么考虑这个问题的呢？比如说，其实这在锻炼中很常见。我记得几年前，我锻炼时不小心拉伤了肌肉。我相信你们也有过这种经历，对吧？接下来几天你都动不了，或者睡姿不对拉到了，脖子很僵硬。我们都经历过。每当你经历这种事，你就会意识到，哇，我们日常生活中用到这么多肌肉、这么多自由度，都被我们视作理所当然。可一旦它失灵了，做一些你觉得很自然的任务都会变得非常别扭，对吧？所以我们设计机器人时也是这么想的。当你的设计是这种纯粹的升降式，只能上下移动时，我们意识到人类躯干的活动有很多，比如日常身体活动中我们大量使用腰部和背部，对吧？即使我只是想拿这个瓶子，我也不只是在动胳膊。如果我必须刻意想着固定上半身，那其实非常奇怪。我总是会很自然地这样做，对吧？人类有很多下意识的身体动作，我认为如果机器人也拥有这样的自由度，这些动作会同样有用。再进一步想，我们想从人类数据中学习，而人类一直在活动自己的躯干。你会希望把这些数据输入到模型中来控制机器人。但如果你的形态不允许这样做，那么迁移就会变少，机器人会变得不那么灵巧，做起来也更别扭。
Vibhu [00:28:22]: 这方面的数据标注是怎么回事？比如，我——你见过人们，这是最后阶段后训练微调中的一部分吗，也就是实际使用机器人遥操作或遥控来映射动作的那一个小时？还是说有一部分能够泛化过去？
Jason Ma [00:28:41]: 你说的标注是指什么？
Vibhu [00:28:43]: 比如，把现有的预测状态的模型映射到你的特定硬件上。
Jason Ma [00:28:50]: 哦，是的。它泛化得非常好。因为我给你们展示的新机器人上的所有演示，这台新机器人是不久前才准备好的。所以与之前展示的固定式机械臂相比，我们确实没有很多数据，那些机械臂的数据多得多，对吧？但这台新机器人，模型在预训练中没有见过它，在我们的一些预训练模型中都没有。它却能够非常快地学会你们刚才看到的任务。我认为这很大程度上归功于，甚至在硬件还没准备好之前，我们就已经在人类数据上进行预训练了，因为我们知道我们的机器人总有一天会像人类。这样在硬件准备的同时，训练方面就可以先行一步。而我认为现在我们看到了，这种迁移确实是存在的，而且非常有帮助。
Vibhu [00:29:35]: 聊聊这方面的评估。你可以有预测，可以让它做事情，但时不时我们会看到它漏掉一些东西。你们也在非常小众的场景上做测试，比如往药瓶里装药丸。这个过程需要多长时间？你是怎么看待部署到新任务、评估、迭代这个环节的？那是什么样子的？
Jason Ma [00:29:56]: 是的，所以如果我们想学一个新任务，我们基本上会做一点机器人数据收集。然后模型，这些-
Swyx [00:30:04]: 一点是多少？
Jason Ma [00:30:05]: 嗯，比如几个小时。对，我们——在某些任务中，只需要几十分钟，对吧？对。然后-
Swyx [00:30:11]: 切菜那个是 45 分钟。
Vibhu [00:30:13]: 打开冰箱那个是在-
Swyx [00:30:14]: 而且那就像是一个面试——那就像你们某位工程师的入职任务。
Jason Ma [00:30:18]: 所以，。
Vibhu [00:30:20]: 如果你想来这里工作，挺好玩的。想个任务，让机器人去做。
Jason Ma [00:30:24]: 给我提一个新任务，我会来办公室收集一些数据，训练一个模型，然后看看结果如何。
Vibhu [00:30:29]: 系鞋带。
Jason Ma [00:30:31]: 说真的，是系鞋带。对，那会很酷。但话说回来。所以，你知道的。收集少量数据，训练一个模型，然后我们直接把模型部署到真实世界。接着我们看性能表现，然后-
Vibhu [00:30:41]: 说一下，收集数据意味着你是——有一个人实际在操作-
Jason Ma [00:30:46]: 操作。
Vibhu [00:30:48]: 做一会儿这个任务。然后你来训练？它做得还行，你就改进。你如何衡量？
Jason Ma [00:30:56]: 所以在训练模型时，有一些可以关注的指标，对吧？就像训练模型一样，它会很好地收敛。之后，对于今天的机器人技术，我们直接在真实世界中运行模型，对吧，在与收集数据相同的设置上，看看模型表现如何。有时候模型开箱即用就效果很好，对吧？你不需要再做什么。但当模型可能达到百分之七十、百分之八十的时候，你观察模型的行为，找出它不擅长的地方。然后你可以再收集一些数据，接着迭代，对吧？我把这看作是机器人版本的基于人类反馈的强化学习，对吧？机器人执行一遍。你可以给它打分：好、坏、还行。然后这些数据，机器人自身的经验，可以用来训练模型。你也可以自己再收集更多数据来训练模型，对吧？最终，我们的目标是，这个机器人将成为我们的平台。任何人都应该能在它上面训练任务。
Vibhu [00:31:59]: 我想得到一些预测和时间线，看看它会发展到哪里。目前，这些任务还算比较简单，比如——把衣物拿出来。是条毛巾，你不能把它压皱。切一些食物。还有另一面，比如，好，搭建这个摄影棚，对吧？挪动东西，搬一张桌子，架好灯光。我觉得-
Swyx [00:32:21]: 管理我的数据中心。还有，比如，给另一个机器人充电。
Vibhu [00:32:29]: 我们什么时候能看到工厂？或者我们需要扩展什么？是模型吗？还是所有东西？看起来你的硬件已经为此就绪了，但什么时候能看到它发展到一个程度，让我不只是切一样东西，而是“好的，这是一份菜谱”？
Jason Ma [00:32:49]: 我想说的是，要真正做到通用机器人，基本上就是一个机器人或一个模型什么都能做，比如——
Vibhu [00:32:58]: 不是那个。我是说，好吧，让它多少在技术层面落地一点，比如——我们什么时候开始看到我们推进那个反馈，对吧？所以——
Jason Ma [00:33:06]: 我明白了。
Vibhu [00:33:06]: 不再是非常简单的切菜——也许是一个五到十分钟的序列，对吧？现在评估步骤可能会在更多地方出错。不只是装满一个药瓶——而是十种不同的药按顺序装，对吧？是什么在限制我们？我们在往哪些方向推进？
Jason Ma [00:33:20]: 好的，我认为。是的，我认为有几个方面。一个是你看过的洗衣演示，是的，完成整个循环需要一小时，对吧？所以机器人能完成整个任务的最长时长已经在小时级别了。对吧？但要做到对任何任务都能这样，我认为瓶颈又回到了数据和硬件上，对吧？比如对于某些任务，例如布置场地，你可能需要的不只是平行爪夹持器，对吧？你可能需要更灵巧的东西，比如一只手，像人手那样的手，对吧？但如果想用手来训练模型，那你就会被硬件的稳定性卡住。比如，手——今天最好的灵巧手仍然不够耐用。它们很快就会过热，对吧？所以这就成了瓶颈，对吧？比如，你——我们——你真的得放一个冰袋——
Swyx [00:34:15]: 冰。用来降温。
Jason Ma [00:34:16]: 人。
Vibhu [00:34:16]: 我们不只是在自动搞研究、做更好的模型。我们有硬件上的限制。
Jason Ma [00:34:20]: 是的，所以硬件限制是个大问题。但如果硬件受限，那就会拖慢一切，对吧？因为要知道你在任何任务上是否取得进展，最终都得在硬件上评估，对吧？所以如果评估不能做到非常即时、非常快，那也会限制你的研究进展，对吧？因为那样的话我们该怎么收集正确的数据，对吧？我认为，我们该如何收集正确的数据来完成极其复杂的任务，比如布置这个演播室，对吧？因为你可以想象，今天大部分数据都是基于视觉的，对吧？就是视频流和一些手部动作的编码，也就是机器人的关节。但人类有更多的传感器。我们能听到东西。我们能感觉到东西。
Swyx [00:35:05]: 嗅觉。
Jason Ma [00:35:06]: 是的，你能闻到气味，对吧？我们在潜意识中利用所有这些感知来帮助我们把物理世界操控得如此出色。但今天如果我们完全没有捕捉这些信息，那么即使我们扩展到数百万小时的数据，你可能也只是错过了任务的关键维度，所以你永远无法解决那个任务，对吧？所以我认为这些就是我所说的拖累时间线的因素。但对于那些今天就能以高保真度采集数据的任务或工作流，我不认为存在根本性的瓶颈，对吧？就像我们本周向公众展示的那样。我们有一个物理智能体，可以像人类一样完成整个洗衣工作流，对吧？因为对于那个任务，我们并不存在诸如“其实你需要的不只是一个平行夹爪”的问题，也不需要某种今天根本不存在的传感模态，对吧？所以我确实认为，要实现更通用的能力，最大的瓶颈仍然是硬件和数据。
Swyx [00:36:06]: 我想借此机会让你——好好夸一夸你的客户和合作伙伴。你们已经公布了一些合作关系。我们可以从 Best Western 说起，然后也许再谈谈其他你引以为豪的，有什么精彩的故事之类的。
Jason Ma [00:36:20]: 我们在网站上发布了一篇关于部署的博客文章，里面有更详细的介绍。我非常推荐观看视频，因为我觉得那个视频——
Swyx [00:36:29]: 哪个？Best Western 那个吗？
Jason Ma [00:36:30]: 不，我们有一个视频涵盖了我们正在合作的所有客户。那是个很棒的视频。它展示了我们在做的事情。是的，我觉得很好。不过是的，我们有客户，Best Western。那是在酒店领域。我们为他们折叠了很多洗衣毛巾。每家酒店都需要，每家健身房都需要，每个健身中心都需要。——
Swyx [00:36:51]: 目前的部署情况怎么样？我怎么——比如说，我能去哪里——我该去哪家 Best Western 看到它？
Jason Ma [00:36:56]: 如果你想去某个地方看看，我其实更推荐去我们的另一个部署点，鼎泰丰。你们去过——
Vibhu [00:37:04]: 很薄的包装。
Swyx [00:37:05]: 我们应该在那里拍摄才对。
Jason Ma [00:37:09]: 刚刚就在那里拍了。
Vibhu [00:37:10]: 那些花絮镜头。
Jason Ma [00:37:11]: 但在鼎泰丰，如果你去过鼎泰丰或其他稍微高档一点的餐厅，桌上是有餐巾纸的，对吧？所以我们的机器人如今为许多不同的门店折叠数以千计的餐巾，包括美国多家不同的鼎泰丰门店。这其实是我们规模最大的客户，对吧？所以我想在这里做一个区分。今天有很多机器人公司在谈论部署、谈论试点。但真正难的不是把你的机器人放到一个门店或者做一个试点。真正难的是客户相信或验证你的机器人创造了足够的价值，愿意把你的机器人部署到他们的许多门店。这就是我们在鼎泰丰发生的事情，而据我所知，其他做类似通用机器人的公司还没有真正做到这一点。所以在鼎泰丰，我们的机器人每天折叠数千张餐巾。质量标准极其高，因为他们要求，嗯，第二折或者餐巾的接缝要离那个我都不知道该怎么称呼的地方——那个可以插筷子的袋口——只有几厘米。所以这其实是一个非常精细、高精度的任务。我可以给你看。
Vibhu [00:38:26]: 从某种层面上说，这也是机器人擅长的领域，对吧？人类并不是最稳定的——尤其是在细微之处，而机器人可以做到相当完美。有趣的是，你拿这个作为通用机器人技术的例子，因为在某种程度上，我想人们会以为——你可以造一台专门的机器人，把餐巾完美地折叠到精确到毫米的程度，而不是像这样的通用机器人，不过……
Jason Ma [00:38:53]: 是的，也许你可以做到，对吧？但操作可变形物体的难点在于，对吧，像餐巾、毛巾，所有这些都是可变形的。可能的状态是无限的——无穷多。所以这对专门的机器人来说真的很难，对吧？而我们发现，通过开发通用模型并应用到机器人上，再将它适配到这些用例，你实际上可以更快地达到生产级质量。而且很棒的是，现在鼎泰丰已经规模化，并与我们签了一份大得多的合同，他们不仅想要我们的机器人折叠餐巾。现在他们想要我们的机器人切割。这就是为什么我们有了那个——例子，切割食物到——
Swyx [00:39:31]: 这真的是第二个用例吗？
Jason Ma [00:39:33]: 这是他们在考虑的用例之一。鼎泰丰每天需要切很多蔬菜。
Swyx [00:39:38]: 他们还需要包小笼包。
Jason Ma [00:39:39]: 没错。还有折叠。那才是最终 boss。那是——
Vibhu [00:39:41]: 那是最后一关。
Swyx [00:39:43]: 我觉得你可以做到。我觉得你们有足够的灵巧性和精度来做这件事。
Vibhu [00:39:46]: 你们有一台小机器人。
Swyx [00:39:47]: 不过别把小笼包弄破了。
Vibhu [00:39:50]: 这就是显而易见的好处——它们可以不断适配新的任务。
Vibhu [00:39:54]: 我认为你真正触及到的另一点是速度，对吧？要做一个精确到折叠层数的定制餐巾折法——你得专门造一台机器。你可没法在亚马逊上买到。但这台机器能相当快地完成，对吧？
Jason Ma [00:40:07]: 是的，它能做得非——非常快。现在它实际上已经——已经达到了人类水平。而且这个机器人不会累，也不需要什么。你可以。而且我很喜欢你提到的一致性，对吧？比如，鼎泰丰的一个问题是，他们的洛杉矶店和纽约店、西雅度店，折餐巾的方式会略有不同，但从他们的角度来看，他们想要一致性。而这正是这些模型所擅长的，因为模型就是一组权重。你只需把权重放进不同地点的不同机器人里——
Vibhu [00:40:43]: 你还可以通过 OTA 给它们更新。
Jason Ma [00:40:45]: 是的，你可以一次性更新所有的机器人。就是这样。一旦它跑通了，我觉得真的就——难以置信。
Vibhu [00:40:52]: 终极 Boss 是 Cheesecake Factory。据说他们一切都是从零开始做的。每样东西都非常一致，精确到克的计量。每种酱汁都是自己做的。无论你走到世界哪个角落，吃到的都是一模一样的东西。你不懂的话就不懂。但那才是终极目标。
Swyx [00:41:07]: 我想到的一个说法，有点像机器人版的 bitter lesson，对吧？你不再建造专用机器人——那需要大量的工业工程——而是搭建一个通用平台，可以做最后一公里的微调，然后——
Vibhu [00:41:18]: 没错。
Swyx [00:41:19]: 并做到所有这些事情。
Vibhu [00:41:20]: 在你的基础平台之外加上专家插件。什么才是更 bitter lesson 的机器人学？
Jason Ma [00:41:25]: 是的，我认为机器人领域有几条苦涩的教训。其一是机器人技术将像机器学习已经解决的其他领域一样实现规模化，对吧？这意味着什么呢？意味着要拥有尽可能多的数据。但在机器人领域，更难的一点是，什么才是正确的数据，比其他领域要难判断得多，对吧？语言是文本。电子游戏就只需游戏数据。但机器人领域，你选择什么传感器决定了你能有什么样的数据，对吧？不过如果你选对了传感器组合，并且据此扩展数据，我认为模型性能会带来可预期的回报。所以从这个角度看，机器人领域并没有那么不同。这就是苦涩的教训。由此可以推论，机器人领域有很多研究提出了非常具体的先验假设。比如，我们需要让机器人按物体的本来样子去识别它们，画出一些框。这会给机器人更好的感知能力，对吧？但我认为这里的苦涩教训是：保持算法更简单，并扩展正确类型的数据，然后泛化能力和更好的行为就会自然涌现。这并没有什么不同。还有第二点。我认为这是最主要的苦涩教训，就是归根结底，规模化终将奏效，但在机器人领域，规模化以及如何规模化要难得多，因为这里没有互联网。你必须设计自己的硬件，选好传感器，把所有这些都做对，然后再去规模化。然后我觉得，。
Vibhu [00:42:53]: 有一种论点是，这个世界本来就是为了人类而设计的。所以应该造人形，对吧？虽然这是非常难的硬件问题，但想想十年、二十年、一百年、两百年之后，我们能不能造出一个真正高效的人类形态？但你也必须立足于现在所拥有的条件，对吧？
Jason Ma [00:43:12]: 我的看法是，是的，机器人最终应该如此。如果我们想造一台通用机器人，对吧，一台能适配尽可能多使用场景的机器，我认为人形是最佳形态，因为这就是我们千百年来一直在做的事情，对吧？但我认为真正造出人形机器人的最佳方式是采用迭代式的方法。因为机器人技术太难了，整个问题、整个技术栈太长了，很难先验地知道什么是正确的决策，对吧？而且硬件决策要昂贵得多、代价大得多，因为硬件迭代要慢得多，所以你其实应该采取渐进式的迭代方法，而不是一步到位造出最终形态。因为很可能你造出来的东西并不耐用，不够好，最后还是得推倒重来，你懂的。比如，公开报道说 Optimus 已经经历了多轮迭代，他们不得不推翻自己的设计，对吧？而我认为，通过半人形形态进行迭代，并真正把它们交付给真实客户或让模型真正部署落地，你能获得那种反馈闭环；如果你只是想造一台仓储人形机器人，花上五年、十年去造，是得不到这种反馈的。我认为迭代式的方法反而能更快让我们接近最终的机器人。
Vibhu [00:44:33]: 而且我想说，对于只听不看的朋友，这可能是我们见过的动作最流畅的机器人。就像——
Vibhu [00:44:38]: ……你见过的每个人形机器人都很生硬，甚至人类走路都没有这个东西这么顺滑。
Swyx [00:44:43]: 因为，是的，这个模型能同时驱动每一个电机。
Vibhu [00:44:48]: 不止两个维度，对吧。
Jason Ma [00:44:50]: 是的，这其实是个非常难的问题，因为单从模型的角度想，它输出的是动作，也就是动作维度，对吧？维度越大，模型就越难拟合数据。但这里的动作空间相当大，而我们做得非常好，确保模型拟合得很好，给你顺滑的——
Swyx [00:45:10]: 你能给出动作空间数量级的范围吗？还是说——
Jason Ma [00:45:14]: 可以，大概是一百个动作维度的量级。
Swyx [00:45:19]: 好，这些都是连续的，对吧？
Jason Ma [00:45:21]: 连续的，没错。所以模型基本上就是在非常高的频率下进行预测，比如至少五十维的向量，每秒十到二十次，来实现那种连续运动。
Swyx [00:45:34]: 而且可能预测未来一到两秒，那就是再多一百帧左右。
Jason Ma [00:45:39]: 当然。
Vibhu [00:45:40]: 还有历史信息，我猜类似于之前状态的上下文。
Jason Ma [00:45:45]: 上下文在机器人领域非常重要，对吧？因为否则的话，如果只基于当前观察做决策，有时真的很难判断接下来该做什么。比如想想打开微波炉这件事，在中间阶段，很难说你是——
Vibhu [00:46:01]: 关上
Jason Ma [00:46:01]: ……在关上它，还是想打开它，对吧？所以上下文也非常重要。
Swyx [00:46:05]: 我有一张冰箱演示的截图，里面有智能体规划、工具握持等等内容。我们可以展示给听众看。
Vibhu [00:46:13]: 我觉得这是个有意思的点。模型之后——
Vibhu [00:46:16]: ……你怎么把它包装进智能体框架里？比如，什么是——
Swyx [00:46:22]: Claude Code
Vibhu [00:46:22]: ……Claude Code 部署？Claude Code UI。你有很多很酷的 UI，但把模型输出包装成最终成果的过程中涉及什么？是针对每个用例定制的吗？还是你们有自己的 SDK？
Jason Ma [00:46:37]: 所以，最终我们会有自己的 SDK，但我们的想法是，我们想要一个通用的机器人基础模型 harness 层。今天，那是我们自己的模型，对吧？我的想法是，对于物理世界中任何 Real 任务、长任务，你需要做很多高层决策，对吧？不只是机器人对物理世界在动作、连续轨迹层面进行推理，对吧？因为那是很底层的，是你在物理世界中实际执行的东西，但那不是意图。就像，当我们在做决策时，我们会想菜谱的步骤。我们会想，哦，我完成了这个，接下来要做那个。在等这个部分完成的时候，我需要去别的地方做别的事情。有很多高层认知、高层决策在发生。我认为，机器人要处理哪怕是我们给你们展示的洗衣任务，也必须具备这种能力。因为，它需要推理出：好，洗衣机在运行，所以我应该趁洗衣机还没洗完去做别的事情。但现在洗衣机洗完了，我应该马上把毛巾从洗衣机里拿出来放进烘干机，对吧？因为如果不这样做，它就会成为整个工作流的瓶颈，对吧？所以机器人技术需要大量的推理。我认为理论上，你可以尝试用一个输出动作的底层模型来学习这些，但效率会极低。所以这就是为什么需要一个分层系统，比如在我们的世界动作模型周围加上一个 harness，一个智能体系统，这让模型能够组合不同的能力、不同的技能，来解决时间跨度长得多的任务。这非常像语言模型，对吧？就像两三年前，模型只擅长自动补全。人类必须不断敲击，才能让模型持续吐出代码。但今天，一个智能体系统就能端到端地完成整个任务。我认为这很重要，因为今天在机器人领域，人们仍然在任务层面思考自主性，比如一分钟、三十秒的任务。但真正的价值在于能够无人监督地运行数小时的任务或工作流。这正是我们努力的方向。这也是为什么我认为思考机器人问题，不应该仅仅当作建模问题，而应该当作系统问题，你需要好的智能体、好的 harness 工程师、好的模型、好的硬件，一切的一切。这就是我们思考如何解决通用机器人问题的方式。
Vibhu [00:49:07]: 你们觉得语言模型编程工具的进步给你们带来好处了吗？比如新的 Opus 5.5、新的 Astra。你们的智能体 harness 里有语言模型吗？语言模型领域的 AGI 发展对你们有什么影响？
Jason Ma [00:49:24]: 不。是的，不，当然。它从很多方面深刻地影响着我们。其中之一是，我们是一家极其 AI 原生的公司，对吧？编程智能体之类的已经成为我们工作的基本组成部分，我们非常欢迎这一点。每当有新模型发布，我们都是第一批测试的，对吧？比如我们。GPT-6 发布那一周，我们就办了一场全公司范围的黑客马拉松，我们的工程师做出的东西令人惊叹。其中很多功能已经进入主线、投入生产了，对吧？所以我们真的很喜欢用编程智能体来加速我们的工作。
Swyx [00:50:00]: 给感兴趣的人补充一下，你们在 GPT-6 中发现了什么令人惊讶的东西吗？
Jason Ma [00:50:05]: ……是它构建虚拟环境的能力，对吧？传播方面的。我们二十分钟前刚谈过。我觉得这真的很令人兴奋。
Vibhu [00:50:17]: 挺有意思。有很多 CAD、Zillow 转 3D 之类的项目。
Swyx [00:50:21]: 他在黑客马拉松上输给了那个 CAD 项目，——
Vibhu [00:50:24]: 我赢了。我做的是那个 CAD 玩意儿。反过来了。
Swyx [00:50:27]: 不。哦。
Vibhu [00:50:28]: 就是那个。我赢了一场 GPT 黑客马拉松，纯属玩票。我心想，“我对 CAD 一窍不通。”反正每个 demo 都在做这个，不如玩玩看。我想，“做出来肯定是垃圾。”结果发现，“嗯，还挺靠谱的，还挺好。”不过那只是黑客马拉松水平的东西。
Vibhu [00:50:45]:。
Swyx [00:50:45]: 好。我本来想收尾一下，谈谈一些用例，然后聊聊一点公司文化和你们的个人背景。
Vibhu [00:50:52]: 我有两个技术问题。一个是，你有没有想为自己设定的目标，比如六个月、一年、两年的时间线，你认为机器人应该能够做到什么，填空，你正在朝这个方向努力？
Jason Ma [00:51:09]: 是的，在六个月到一年的时间框架内，我们的目标肯定是扩大我们的机器人和模型的规模，真正让它们实现部署——
Vibhu [00:51:18]: 比如某个任务。
Jason Ma [00:51:18]: ……完全不同的。
Vibhu [00:51:19]: 比如，现在是切割或打开冰箱。有没有。比如，你会不会给自己定一个时间线，到那时为了保持进度，我们应该能完成什么任务？
Jason Ma [00:51:29]: 我想，在部署方面，我们正在探索许多不同的行业。我们并不认为必须攻克某个特定任务，对吧？因为我们的目标是构建一个通用模型、一个通用平台，我们把每个不同的任务都视为对我们平台的验证，作为我们弄清楚如何把一切都做得更好的一种切入点。所以今天，我们在洗衣和餐饮领域做了很多这样的工作。我们已经部署了数十台机器人，但我们明年的总体目标是部署数百台机器人。
Vibhu [00:52:02]: 我最后一个技术问题的第二部分是，你怎么看行业里的其他公司？替大家介绍一下，其他人在世界模型上都采用了哪些方法？为什么他们错了？他们的方法又有哪些不同但好的地方？这个领域里机器人世界模型的整体格局是怎样的，以及你是如何得出你们现在的做法的？
Jason Ma [00:52:25]: 这是个好问题。我认为机器人是当今最激动人心的领域，有许多我真心尊敬的杰出公司。他们像我们一样在做很棒的前沿工作，这非常令人兴奋。我认为我们今天看到的是，机器人领域仍然存在许多不同的路线。比如，我们相信硬件必须自研，需要掌控整条链路。我们相信扩展人类数据极其重要。但也有公司在押注仅仅扩展机器人数据，或者扩展某种中间数据采集设备，对吧？所有这些路线都在进行中，我认为这是不同的方法。我们就拭目以待。我觉得现在下结论还有点早，但我们对自己构建东西的方式感觉相当好，因为我们作为一家公司，从文化上、使命上，都不是只为了造一个模型。我们的目标是真正让机器人得到部署。所以我们尽可能多地部署，去攻克难题。因此我们能更早发现问题。我认为这真正帮助我们识别出真正的瓶颈并解决它们。而对于只做问题某一部分的人来说，这有点像战争迷雾。你看不到全貌，你可能在做技术上极其炫酷的东西，但最终可能并不是人们需要或想要的，对吧？我觉得机器人公司的“墓地”已经很大了，它们都曾拥有非常闪亮、非常酷的机器人，但弄清楚人们真正想要的是什么——说“做人们想要的东西”很容易，人人都会这么说，但要真正执行好一家机器人公司其实非常难。
Vibhu [00:54:07]: 在技术方面，你们有自己的世界动作模型。这在行业内是标准做法吗？还有其他方向吗？
Jason Ma [00:54:15]: 嗯，我也认为这不是标准做法。我们是在世界模型之上构建世界动作模型。有很多公司在做世界模型。你提到过 Runway。他们也在着手适配——
Vibhu [00:54:26]: 视频世界模型。
Jason Ma [00:54:27]: 也有公司在构建视觉语言动作模型。
Vibhu [00:54:31]: VLA。
Jason Ma [00:54:31]: 这就像把视觉语言模型适配到机器人技术上。所以我认为有很多不同的方法可以走。但我认为归根结底，我们把模型叫什么名字，不如我们相信这个模型从第一性原理层面需要能做什么重要。让我稍微解释一下。我认为对机器人技术来说，最重要的是你需要能够预测未来。对吧。机器人技术，任何物理系统，本质上都是基于你在当下和之前掌握的信息，决定下一步该做什么？所以这真的是关于预测接下来会发生什么。预测机器人动作就像是预测机器人下一步该做什么。但仔细想想，机器人只是世界的一部分，对吧？机器人影响世界，但世界也影响机器人在那个环境中应该如何行动。所以如果你这样想，那么最大化的、最第一性原理的做法就是尽可能多地预测你能预测的世界，对吧？这就是为什么我们相信预测未来极其重要。如今，它的具体体现就是世界行动模型。而 VLA 只预测机器人动作或世界的某种更抽象的表示。但每当你预测世界的抽象表示时，你就在把自己的偏见编码进“什么值得预测”之中。而更大的经验告诉我们：让我们去掉人类偏见。让我们就用最原始的表示——摄像头输入——然后预测所有这些，对吧？这就是我如今对机器人技术建模的看法。
Swyx [00:56:12]: 那么我想在这点上稍微追问一下，你基本上是在说你的方法比 VLA 更好，对吧？因为你强调预测。我完全买账。我——比如，你已经说服我了。如果你错了，最有可能的第二名是什么——
Swyx [00:56:26]: 别人在做什么？
Vibhu [00:56:27]: 有意思的问题。
Jason Ma [00:56:28]: 是的，我之前说的话里有一个前提条件，我认为那可能就是我可能出错的地方，对吧？我说过你需要尽可能多地预测世界，对吧？但这并没有说明你的传感器是否拥有你需要预测的世界的一切。我想我稍微提到过这一点，对吧？比如，如果你训练一个纯粹基于视频的世界模型，我认为它会是一个非常强大的世界模型，但它可能不是一个足够丰富的世界模型，因为你错过了世界的关键方面，比如声音、比如触觉，对吧？所以我们可能出错的地方是：好，我有了最好的基于视觉的世界模型，但明天别人推出一个视觉加触觉的世界模型，数据效率高出一百倍，因为视觉是一种信息量很高或者冗余度很高的输入，因为每相邻的像素，变化都不会太大。你即使没有完美的视觉也能理解世界。但触觉等其他模态可能信息密度高得多，对吧？所以也许预测那个模态会让你使用少得多的视觉。这样你就能用少得多的算力、少得多的数据达到同样的性能，对吧？但是——
Swyx [00:57:51]: 我认为你将能够非常轻松地适应。
Jason Ma [00:57:53]: 不，正是如此。
Vibhu [00:57:53]: 还有一个数据量多少的问题。
Jason Ma [00:57:56]: 对。我之所以提出这一点，是因为我认为，如果视觉-触觉世界模型，或者视觉-触觉-音频之类的世界模型，是最终解决机器人技术的东西，那么我认为机器人公司会比那些试图转型做机器人的视频生成公司做得更好。原因在于，理解传感实际上非常复杂。我们从公司创立之初就一直在做这件事，所以我们知道瓶颈在哪里。我们知道如何把它们结合起来。但如果——如果你只是想把一个视频模型改造成机器人动作模型，那么如果我们错了，如果视频模型不够用，那你就没有让触觉很好工作的那种技术诀窍。而我们有。
Swyx [00:58:39]: 这是一个题外问题，但我觉得很快能答完。热量似乎非常重要。红外线对你来说只是另一种颜色吗，还是说它是一个……
Jason Ma [00:58:47]: 是的，它可以只是另一种——
Swyx [00:58:48]: 只是另一种颜色。
Jason Ma [00:58:48]: 它可以是另一种颜色，另一种输入到模型的东西。实际上可以用于烹饪场景。比如，我知道有公司在用红外线来判断食物煮熟到什么程度。因为这从 RGB 摄像头很难判断，对吧？
Vibhu [00:59:01]: 对你最后一点，我非常朴素的一个反驳是，也许我们并不需要理解硬件，云代码或者 Codex 用氛围编程就能搞定。不理解很多东西也能做很多事，不过当然——
Swyx [00:59:15]: 只是它不在训练分布里。
Swyx [00:59:16]: 所以我想稍微聊聊你的个人经历或背景。我们都上过宾夕法尼亚大学。
Jason Ma [00:59:24]: 我今天才发现这一点。太疯了。
Swyx [00:59:26]: 是的。我最大的遗憾是没有参加自动驾驶挑战赛，也就是 Docker 挑战赛。否则我可能早就进 Waymo 之类的了。你当时在 Grasp。后来你也在 Google 和 NVIDIA 工作过。学术界、Google 和 NVIDIA 各自的侧重点有什么不同？这些地方你都待过，对吧？这显然让你得出结论：“去他的，我要做自己的事”，对吧？你本来也可以加入 OpenAI 的机器人实验室。所以，请按时间顺序讲一讲，顺便也讲讲你从每个地方学到的一件事。
Jason Ma [00:59:58]: 那么按时间顺序来说，也许谈谈我最初是如何进入 AI 领域的会很有帮助，对吧？我小时候在日本和中国度过时光。我从小下围棋，就是 AlphaGo 里的那个围棋。所以当 AlphaGo 问世时，我正读高三，我被震撼了，因为我已经下了很多年围棋。它非常复杂。我觉得在 AlphaGo 出现之前，人们都说：“好吧，围棋是 AI 永远无法攻克的游戏之一。”它的搜索空间比世界上原子的总数还大。怎么可能在其中搜索解呢？然后强化学习（RL）就把它攻克了，对吧？我想这就是我最初进入 AI 领域的原因。我真的对能够自我改进的模型或系统、智能体非常感兴趣。所以我到宾夕法尼亚大学读博时，就非常想做强化学习。我是联合指导的。当时我的两位导师都对 RL 感兴趣。其中一位导师更偏向机器人方向，他在伯克利机器人实验室做过博士后。这就是我进入机器人领域的原因。在宾大，我们有 GRASP 实验室，我认为是做机器人研究最好的地方之一。就这样，我在博士期间开始做面向机器人的强化学习。之后，我做了很多研究，思考如何将强化学习与人类数据结合起来，如何以非常严谨的方式做强化学习理论。然后我去了 NVIDIA。那时 GPT-4 刚发布。当时我们非常想解决转笔这个任务。我也不知道为什么。就像——
Swyx [01:01:35]: 是灵巧——是灵巧度的极限，对吧？你可以解魔方，然后你——
Jason Ma [01:01:39]: 当时，我在和——
Swyx [01:01:41]: Jinpeng
Jason Ma [01:01:41]: ……还有你在 UCO 认识的 Jinpeng，你们大概也知道他。就是这样，我们当时就说：“好吧，我们试着做灵巧转笔吧。”最初的想法是从人类视频里学习，对吧？我们想观察人类是怎么做的。但后来我意识到，好吧，今天我们根本没有一只能让铅笔转起来的灵巧手。那就算从人类学习真的可行，我又该怎么评估这个算法呢？所以我想：“好吧，我们得先在仿真里试。”然后我一开始着手为机械手和铅笔搭建仿真环境，就立刻发现了问题所在。问题是，如果我要构建这个仿真环境，为强化学习解决转笔设计奖励函数，那是不可能的。我根本列不出让 RL 学会正确行为所需要的所有项。接着我就想：“如果用一个会写代码的模型来做这件事呢？”这就是 Eureka 项目的由来，对吧？在我看来，我们拥有了第一个在仿真中递归自我改进的机器人智能体，因为我们真的用它解决了一个此前没人演示过的新任务。这让我看到了用语言模型、用代码模型来真正加速机器人技术的潜力。于是我就去了 Google DeepMind，因为无论当时还是今天，他们拥有 Gemini 这样的前沿模型之一，对吧？我当时在研究如何把 Gemini 用于机器人。但最终我意识到，做学术研究很有乐趣，但我心里总有一个疑问：“这些东西真的重要吗？”当你在实验室里做这类东西时，你会问我：“你们是怎么想出这么多有趣、好玩的任务的？”你其实是在给自己做评估，给自己批改作业。我想要更真实的东西。我想要世界上几百万人真正能用的东西。而我觉得二〇二四年，也就是我们创办 Dyna 的时候，二〇二四年底，正是把这些技术真正推向现实世界的合适时机。所以这就是
Jason Ma [01:03:45]: 我和 Lindon Gao 还有 York Yang 一起创办 Dyna 的原因。快进两年，我们打造了我们的平台、我们的模型。我们的机器人已经进入鼎泰丰。去看看吧，还有——
Vibhu [01:03:55]: 去吃饭。
Jason Ma [01:03:56]: 对，去吃饭。这一路走来。不过真正让我兴奋的是，很多我在创办 Dyna 时暂时搁置的想法——因为创业必须非常务实。我觉得二〇二四年仿真技术还没准备好。但现在，随着新的前沿模型以及我们在内部看到的东西，这可能正在改变。这非常令人兴奋。
Swyx [01:04:20]: 那我们再聊聊公司文化吧。你们是用什么原则来建设公司的。显然，你负责科学和研究议程。而我们接触到的工程师看起来都非常投入，很有主人翁精神，也很有干劲。
Vibhu [01:04:38]: 我觉得很有意思的是看到大家做了多少副业项目。我们看到的很多演示，其实就是负责的工程师觉得“嗯，这挺好玩的，那就做吧。”说到你提到的有趣的评估，就在这里，就在镜头后面两英尺——
Swyx [01:04:55]: 那个不能说。
Vibhu [01:04:57]: ……就是那个评估，就是几支荧光笔，四支荧光笔用橡皮筋捆在一起，对吧？谁能想出“对，我们需要测试把橡皮筋绑在高——”这种事。真是——
Swyx [01:05:07]: 有点裂变式的
Vibhu [01:05:08]: ……有趣的东西。这里的人非常……有创造力。这是个很棒的地方。
Jason Ma [01:05:12]: 是的，我觉得是文化。好，那我们先聊聊我们是怎么经营公司的，对吧？我们把自己看作最终是一个研究加产品的公司。有点像 OpenAI，既做前沿研究，但最终所有成果都会通过 ChatGPT 落到 Codex 里。我们也是这么想的。我们不是来做那种开放式、当时什么感兴趣就做什么的事情。我们始终以产品为导向。比如，我们想把我们的机器人、我们的平台部署给新客户。我们有哪些技术问题要解决，对吧？我们必须解决泛化。我们必须解决全身控制。我们必须解决如何快速适应。我们必须解决如何让机器人遵循语言指令。我们必须解决灵巧操作。所以一旦这些问题都明确了，那么，嗯，我们的工程师非常有能力。他们非常聪明。所以他们就会去创建这些任务的具体实例。他们会创建一些能对那些能力进行压力测试的任务，对吧？比如那个拿饮料的任务，就是我们测试语言遵循能力的方式，对吧？你只需说明你想要什么。如果模型能跟随意图、遵循指令，它就应该能做到。所以我们是这样思考的。在顶层，我们确定必须解决的问题。然后我们有很多底层的子项目来实际推动执行去解决它们。再就是要雇对的人。这里的每个人都对机器人充满热情。他们做这行很久了。他们热爱这件事。我们只是营造了一种让这一切自然而然发生的文化。这真的是个很好玩的工作地方。
Vibhu [01:06:44]: 公司里技术研究软件和硬件方面的比例是怎样的？
Jason Ma [01:06:51]: 我们最近增长得很快，所以我没有确切的数字。但我想说，在硬件方面，大概占百分之三十到四十，因为硬件需要更多的人。然后我们有大约十个人在做模型。还有软件工程师、机器人工程师。我们在业务方面也有很多非常有才华的人。创办一家机器人公司最有趣的地方就是你能看到一切。世间一切可能有用的东西都会有用，对吧？所以你会接触到很多来自不同背景、都对机器人充满热情的人。作为一名创始人，这对我来说真的非常开阔眼界。因为当我还在实验室做研究员或读博士的时候，我每天都是和研究人员交流，那很好，真的很好。现在我仍然每天都能这样做，但同时我还能向来自不同领域、不同生活背景的很多其他人学习。比如，我们一些收集数据的人，他们完全没有机器人方面的经验，他们之前在零售业或其他行业工作，然后来到了这里。他们也变得在机器人领域训练有素，我觉得这真的非常了不起。我觉得我自己也仍在学习。我认为自己在机器人领域一直是个学习者，而我现在学到的东西比以往任何时候都多。虽然你看现在的我，已经不再是学生了，我在这里经营一家公司、管理很多事情，但我仍然觉得日常的学习量非常大。
Swyx [01:08:29]: 最后收个尾，Dyna 会走向何方？两年、五年，愿景是什么？
Jason Ma [01:08:37]: 是的，我认为我们的愿景是真正地——高层次使命是真正把机器人和智能带入物理世界。也就是说，真正看到我们的机器人部署到成千上万的客户那里，甚至更多，数百万台机器人。这就是我们想要达到的目标。
Vibhu [01:08:58]: Dyna 这个名字是怎么来的？Dynamic 吗？有什么故事吗？
Jason Ma [01:09:03]: 是的，有很多故事。是我——Dyna 是我命名的。当时内部有很多备选方案。
Vibhu [01:09:09]: 领个功劳。
Jason Ma [01:09:11]: ……内部的、不同的方案。但这个名字的由来，有两点。第一，图灵奖得主 Richard Sutton，他是强化学习的先驱，很多年前写过一篇叫 Dyna 的论文。它讲的基本上是一个能够自我改进的智能体、世界模型。即使在我们创办公司的时候还没有做世界模型，但我当时就觉得机器人问题会这样被解决。而现在我们的技术方向正在向这个方向收敛。所以我觉得这是一个很妙的灵感来源，也因为我是做强化学习出身的，我对 Richard 非常敬重。第二点就更私人一些。我在日本长大，在我出生的那一年，正好有一部卡通片。我不知道你们看没看过奥特曼。
Swyx [01:10:00]: 当然看过。
Jason Ma [01:10:01]: 对，那年的奥特曼叫 Dyna。所以，是的，这是个很微妙的细节，没多少人知道，不过我猜现在大家都会——
Vibhu [01:10:10]: 团队也在查证。
Swyx [01:10:13]: 但我觉得 Richard 会欣赏的。我不知道你有没有跟他聊过，不过——
Jason Ma [01:10:16]: 没有，我在强化学习会议上见过他。
Swyx [01:10:18]: 你应该直接说：“嘿，这家公司——”
Jason Ma [01:10:20]: 是的，我会邀请他来——
Swyx [01:10:21]: 受你的启发。
Vibhu [01:10:22]: 大家都是因为 Better Lesson 认识 Richard 的，但你知道的。
Jason Ma [01:10:24]: 是的，还有 Better Lesson。
Swyx [01:10:27]: 好，有什么临别感言或行动号召吗？
Jason Ma [01:10:31]: 行动号召。是的，我觉得作为整个行业，机器人领域至今仍然非常以演示为导向。我在实验室做过很多演示，即使在这里我们也得展示一些演示。但我认为我们需要更多真正以使命为重心的人，不惜一切代价让机器人真正部署落地，让机器人基础模型真正与硬件集成，让它们出现在真实的客户现场。我觉得我们是这方面的先行者，我希望在这个领域看到更多的同行。而对于正在观看的观众，如果这个使命能激励你，如果解决当今最难的问题正是让你每天早起的动力，并且你想为此做出贡献，我们一直在招聘，是的，期待你的加入。
Swyx [01:11:14]: 湾区？还有其他地方吗？
Jason Ma [01:11:16]: 是的，目前只有湾区。
Swyx [01:11:18]: 湾区。
Jason Ma [01:11:18]: 不过随着公司发展，对其他地点永远不要说永远。是的，这就是我想说的，我希望看到世界上有更多的机器人。
Swyx [01:11:27]: 好。祝贺你们取得的这些成就。两年时间能有这样的进展，非常了不起。
Jason Ma [01:11:34]: 是的，非常感谢。谢谢你们来访。希望这次访谈有趣。
Swyx [01:11:40]: 我不后悔选择实地做这期节目。我们很多访谈都是在自己的演播室做的，但这次很值得。
Jason Ma [01:11:48]: 我觉得做机器人节目，就得实地来做。
Vibhu [01:11:51]: 收听音频的观众，请看视频版本。我们有不少有趣的补充镜头。
来源：Latent Space · latent.space