Google DeepMind 发布世界模型 Genie 4 研究预览版

2026年10月27日模型

Raia Hadsell、Diego Rivas 和 Hang Qi

今天，我们宣布推出新的世界模型 Genie 4，它带来了前所未有的真实感，并改进了实时交互式模拟。Genie 4 原生支持多模态，能够在生成世界的同时同步生成类似音乐的音频、环境噪音和交互式对话。

Genie 4 模型融合并扩展了 Gemini 系列的能力：Gemini Omni 为模拟提供真实世界的外观和行为基础，而其他 Gemini 模型则提供复杂的推理能力，帮助维持模拟的连贯性和连续性。

基于这一基础，你可以启动一个事件，Genie 4 会模拟接下来发生的一切：世界如何回应、声音如何响起，以及其中的人们如何移动、反应和说话。

理解并模拟世界是构建 AGI 的关键环节。Genie 4 提升了我们创建安全、无限可变模拟的能力，这些模拟可用于从开发机器人和智能体的训练环境到解锁全新交互式体验的方方面面。

我们已开始以研究预览版的形式向受信任的测试者推出 Genie 4——在面向消费者和开发者发布之前收集反馈，首先面向 Project Genie 中的 Google AI Ultra 订阅者以及 Gemini API 和 Google AI Studio 的抢先体验合作伙伴。前往这里加入 Project Genie 中 Genie 4 的等候名单。

Genie 4 的四大关键能力突破

以下是 Genie 4 实时交互的实录，用户使用标准键盘控制进行导航和视角控制，并通过文本提示引导场景的演变。

实时塑造世界模拟

借助 Genie 4，你可以用自然语言实时修改模拟——比如改变天气、移动镜头，或引入一个新的人物或物体——Gemini 会根据上下文调整你的提示以匹配周围场景。在你的输入之间，Gemini 还会监控并引导场景，让世界连贯地推进。

将物理和人类动作的真实感推向新前沿

Genie 4 为实时交互式模拟树立了真实感的新标准。建立在对世界先进的物理理解之上，Genie 4 能够模拟真实的物理场景，例如空气动力学、碰撞等等。

最惊人的飞跃在于 Genie 4 对人的模拟：它创造出的角色能够自然地移动、对环境做出自然的反应，并可被实时交互式地引导。

模拟世界的声音

Genie 4 是我们首个原生生成音频的实时世界模型。每个世界都带有其自身环境的环境音，从树林中的风声到海滩上拍岸的浪涛。

然而真正的尖端在于人类语音。Genie 4 引入了可即时适应的交互式对话。角色会与你的输入或世界中的事件进行交流并做出反应，全部实时进行。

借助 Gemini 模型模拟复杂事件

将 Gemini 与 Genie 4 结合，为世界模拟增添了一层新的推理能力，使我们能够模拟复杂的多步骤事件，并在将 AI 系统引入真实世界之前，测试它们如何在不同环境中导航。

为实现实时完成这一任务，Gemini 3.8 Flash 在循环中充当引导智能体：当 Genie 4 实时生成一个世界时，Gemini 持续观察场景，将目标分解为一系列步骤，并审查传入的画面以跟踪进度、验证每一步是否成功。当世界发生变化或用户进行干预时，Gemini 会即时调整其计划，从而解锁具有可靠因果性、程序化行为和多步推理的世界。

作为探索这一能力的一部分，我们也在试验将 Gemini 4 Argon 与 Genie 4 结合，把我们的前沿研究与 Gemini Robotics 汇聚在一起。

在下面的示例中，Argon 将用户指定的任务分解为若干步骤，供 Genie 进行渲染。在模拟渲染的过程中，这些步骤以文本字幕的形式交替输入给 Genie 4。由于 Genie 4 可以通过 Gemini 使用文本字幕进行实时引导，这为在模拟向任务完成推进的过程中对其进行调整开辟了道路。这一能力成为利用 Gemini 4 Argon 和 Genie 4 在想象世界中模拟各种场景的一条途径。

来自可信测试者的经验

虽然 Genie 4 是一项重大的研究里程碑，但它仍是一个早期的实验性模型。为了解交互式世界模型如何支持现实世界的工作流程——以及它们仍需在哪些方面成长——我们一直在与来自创意产业、新闻、教育、游戏和工程领域的可信测试者群体合作。

测试者强调，逼真度、原生音频和实时引导方面的飞跃，使想法和概念能够转化为逼真的模拟，解锁了跨学科的新能力：

• 创意指导：创意人员和技术专家正在测试将 Genie 4 作为用于预可视化和构思的快速“草稿模式”。例如，电影制作人可以进入一个场景的实时模拟中，实时进行多次“拍摄”，即时调整镜头角度、灯光、对话和动作。
• 历史场景与沉浸式照片：新闻摄影师正在探索如何让单张 2D 档案照片在几秒钟内变成对该环境的基于现实的模拟。团队正在测试如何利用有人物活动的动态世界来体验历史空间，或可视化短期环境事件（如山洪或野火）的演变过程。
• 交互体验概念设计：游戏开发者和技术专家正在测试用 Genie 4 在几秒钟内从初步构想过渡到可探索的原型，在编写任何一行引擎代码之前，通过自然语言提示测试视觉风格、材质美感和交互机制。
• 模拟：除机器人研究之外，各行业的企业合作伙伴正在评估将 Genie 4 作为快速“从零到一”场景生成的工具，并找出差距以进一步改进 Genie，从而更好地满足模拟需求。

未来工作：迈向混合世界模型

未来进展的一条有前景的路径在于混合世界模型，它将代码和语言模型的逻辑化、结构化推理与像素级模拟的丰富感官表征相结合。

让 Genie 与 Gemini 模型更紧密地结合，是朝这个方向迈出的早期一步。Gemini 在幕后工作，负责映射结构和规划叙事时间线，而 Genie 则生成眼前的物理现实——逐像素地渲染这个世界的样貌、声音和响应方式。两者互补的优势结合在一起，可以开启一类全新的世界模型，其连贯性、可控性和真实性都远超任何单一方法所能达到的水平。

负责任地构建世界模型

Genie 4 标志着一个融合实时生成与照片级真实感的前沿研究新领域，带来了我们希望以负责任方式推出和探索的一系列全新能力和维度。Genie 4 包含严格的安全防护措施，与其他模型的安全政策保持一致。在此预览版发布之前，我们通过内部严格的安全评估对 Genie 4 进行了测试，以防止生成有害或恶意内容。此外，我们有意先将其部署给可信的测试伙伴以获取早期反馈，然后再更广泛地发布该模型。

为了保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID——我们的隐形数字水印技术，可帮助识别视觉和音频模态中的 AI 生成内容。

了解当前的局限性

Genie 4 仍是一个处于早期且不断演进的研究领域。

虽然它可以在短时间的会话中保持环境的连贯性，但视觉细节和物体的持久性仍会随时间发生偏移或漂移——尤其是在模拟运行时间较长、经过多次复杂的提示词编辑之后，或在场景中导航时。复杂的物理交互、实时音频的准确性、渲染清晰可读的文字、空间准确性以及长期一致性，都是我们正在积极研究的领域。我们以预览版形式分享 Genie 4，是为了与社区共同学习，并安全地推进交互式模拟的前沿。

Genie 4 的下一步

Genie 4 已作为研究预览版发布给可信测试者，即将通过 Project Genie 面向 Google AI Ultra 订阅者推出，并通过 Gemini API 和 Google AI Studio 面向早期体验合作伙伴开放。请在此加入 Project Genie 中 Genie 4 的等候名单。

我们期待用户很快就能走进其中，进行实验，并构建属于自己的交互式世界。

致谢

Genie 4 的诞生离不开以下核心贡献者：Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。

Genie 4 还得益于与各合作团队的紧密协作，我们感谢所有让此次发布成为可能的跨职能合作伙伴：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。

感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的宝贵指导与支持。

最后，我们感谢值得信赖的测试者与早期访问用户，他们提供的反馈帮助我们推动研究不断前进。