Bill Gates 称需为约 20 年的 AI 动荡期做准备

今天，我的嘉宾是比尔·盖茨（Bill Gates），微软联合创始人兼前 CEO，盖茨基金会主席。

你可能注意到比尔最近更多地出现在新闻里——自从8 月底发表了一篇题为《动荡的 AI 时代已经来临，我们现在做出的选择至关重要》的文章以来，过去几个月他一直在进行某种形式的巡回宣传。

在这篇文章中，盖茨加强了他在 AI 安全问题上的措辞，写道“即使在最好的情况下，向这个新 AI 时代的过渡也将是人类历史上最动荡的时期之一。”

在此后的采访中，盖茨称 AI 是“人类有史以来接触过的最危险的东西”，并表示 AI“让核武器都显得微不足道”。显然，他认为白宫目前政策的应对，或者 AI 行业自身缺乏协调努力，都不足以对抗这一威胁。

《Verge》的订阅用户们，别忘了无论你在哪里收听播客，都可以独家享受无广告版《Decoder》。请前往这里。还不是订阅用户？你可以在此注册。

所以我想知道：比尔·盖茨是一个 AI 末日论者吗？我还就他关于 AI 的种种主张准备了一系列后续问题。如果我们连 AI 是什么、它是否有意识都无法达成一致，我们又怎么能指望控制 AI，并让它与人类对齐呢？从技术上讲，你该如何构建一个可强制执行的对齐方案——不仅针对闭源模型，也针对开源模型？

比尔花了大量时间与我们一起深入探讨这些问题， resulting conversation 是一次非常有启发性的对话。他认为我们需要为大约二十年的 AI 颠覆做好准备，并且他说这一时期可能痛苦到足以把社会一分为二——一部分人乐于生活在技术前沿附近，另一部分人则拒绝它。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义态度，以及什么应该让我们对未来抱有希望。这是一期深度对话。

好了：比尔·盖茨，微软联合创始人兼前 CEO。我们开始吧。

本采访已为篇幅和清晰度略作编辑。

比尔·盖茨，你是微软的联合创始人兼前 CEO。你也是盖茨基金会的主席。欢迎来到Decoder。

谢谢。

很高兴再次与你交谈。这些年来我们聊过很多次。我想说，这次对话的情境感觉非常不同。以前我们交谈时，你总是对技术及其能带来的东西抱有极大希望。

几年前你有一部 Netflix 系列。你与The Verge谈过，我想给你读一下这句话。你当时说：“我相信 AI 是一件有益的事情，我们只需要以正确的方式塑造它。”我想说你现在仍然同意这一点，只是你认为塑造它的时机就是现在。

是的，我同意这一点。我想说，总体而言，应对措施与挑战出现的速度并不匹配。我非常担心坏的东西不会被降到最低，而且如果我们不能以正确的方式管理它，很多好的东西可能会来得相当缓慢。

我非常担心坏的东西不会被最小化，而且如果我们管理不当，很多好东西的到来说不定会相当缓慢。

我想分三个部分和你进行这场对话。我想了解你如何看待AI作为一项技术的现状，以及它为什么发展得如此之快。我对这项技术本身，以及对它进行潜在控制的技术方案非常好奇。当然也有政策层面的方案，但看起来我们不得不构建大量的技术。

我也很想谈谈由谁来实施这些方案和控制，因为这本身目前也存在很大争议。那就从头开始吧。是什么让你感到这种紧迫感——AI到来的速度之快，意味着我们还没有准备好去控制它？

过去一年的进展着实令人惊叹，从编写代码和发现网络漏洞的能力，到在生物学领域进行推理的能力，再到与孩子或其他人建立关系的能力，以及对就业市场的冲击能力。如今存在的这种惊人力量意味着，上述每一件事都会发生，而社会需要做好准备。

你认为这些事情的发生是作为一项整体技术，还是发生在当今那些开发AI的公司所推出的具体产品中？

我的意思是，AI是世界上存在的一整套广泛的模型，有些是开源的，有些是专有的。然后还有制造这些产品的公司，以及领导这些公司的那些人。

在每个层面，你或我与AI的关系可能都不一样。你看到的这些风险和能力，是普遍存在于整个领域的，还是存在于由特定的人领导的特定公司里？

风险不在于这个模型与那个模型的区别。当然，那些可以移除所有安全防护措施的模型，其近期危险非常高，这与那些通过监控来确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大伤害的模型截然不同。

重大的近期风险确实来自没有安全防护的模型。在更长的时间尺度上，控制问题关系到任何最先进的模型，但当你能确保安全防护措施得到维持时，事情总会更容易一些。

我之所以那样问这个问题，是因为也许你今天不信任Sam Altman，但信任Dario Amodei。又或者你两个都不信任，而是信任微软的Satya Nadella，这是一种市场动态，也许我们最终都会选择最安全的模型或最安全的公司，而你认为这种约束是分散的。

你认为这项技术最终会发展到这样一种境地：它就是有害的，或者说因为它存在就可能造成这些危害？

对于一个利用模型发动网络攻击的人来说，问题不在于选择哪个模型。你选什么模型都无所谓。

如果Anthropic设有安全防护措施，也许攻击就发动不了。这是他们目前的方式。我只是想追问这一点。

是的，当然，那些确保安全防护措施不被移除，并且投入大量精力观察模型如何被使用、监控其活动的模型，其近期风险并不是很大。更大的问题在于有人可以移除所有安全防护措施，那样今天就能发动网络攻击。

你说的网络攻击，是指像 Hugging Face 数据泄露事件以及我们在实验室看到的其他网络安全事件吗？这些是否让你觉得阈值已被跨越，你需要更多地发声呼吁采取必要的管控措施？

这是模型对一切事物的基本力量：社会关系、就业市场、网络攻击、生物恐怖主义袭击。我们已经跨越了能力的阈值，这是迄今为止发明的最危险的技术，它将对经济和战争方式产生无处不在的影响。

业界其实已经就此发出了不少声音，但一旦走出业界，人们对此的认知、甚至愿意相信“这次不一样”的程度，是非常非常低的。

人们常常回顾过去说：“关于技术颠覆（包括对就业市场的颠覆）的所有担忧，从来没有成真过。所以这次一定也和那些例子一样。那些警告各种问题的人一定是错的，我们可以无视他们。”

一些局外人说：“去找更好的公关公司。”但这忽略了一个事实：这些警告是真实的

我们的受众中也有这种情况，对吧？“我们不能发布这个模型，它太危险了。” “这只是为了撑起泡沫的炒作。”诸如此类，无穷无尽。

是的。业界内部人士对这些模型发出的警告没有一个是虚伪的。它们完全是真实的，而且几乎是普遍共识。你甚至可以回溯到 OpenAI 的创立故事，其初衷是：“如果我们变得太强大，也许我们可以不打开潘多拉的盒子”，或者 DeepMind 与谷歌管理层的谈判。

这些身处其中的人非常担心滥用、就业影响、社会关系影响，我认为一个行业能如此鲜明地发声是难能可贵的。一些局外人说：“去找更好的公关公司。”但这忽略了一个事实：这些警告是真实的。

你显然在一生中往返于软件与技术的商业化和人道主义事业之间。这几家公司尤其有一些特殊之处——它们最初都怀着非常崇高的理想：Anthropic、OpenAI 和 DeepMind 这三家——去构建 AGI。

它们都建立了某种公司治理结构来避免商业化和不受约束的资本主义的陷阱，但随后它们开始向企业客户销售产品，似乎很快就背离了那些理想。你认为这仅仅是市场的作用吗？

不，这种说法不公平。

你不这么认为吗？

不。

不，不。当初设计的架构在有大量前沿公司并存的情况下就不适用了。

OpenAI 的架构，即“我们可以选择永远不将其产品化、无视资本主义激励”，只有在只有一家公司的情况下才有效。这就是它失效的地方，而不是因为人们对风险以及它将如何彻底改变人类的认知发生了任何变化。

这是我从受众和 AI 行业本身听到的另一种动态：“我们想停下来，但竞争的压力使我们无法单方面停止其中一家公司。我们需要某种监管努力来让我们停下。”

我没听到任何人说他们想停下来。

我听过人们谈论如何给前沿技术的发展定节奏，或者确保模型接受政府的审查。我们通常认为政府在安全方面扮演着关键角色。事实上，对于危险性连 AI 的百万分之一都不到的事物——车祸、空难——我们都依靠政府来制定严格的技术标准、审查问题。

一旦有了多家竞争者，责任就不可能落在公司身上了。这是显而易见的。责任就成了政府的责任，就像其他所有危险产品一样，尽管那些产品的危险程度和变化幅度相比之下微不足道。

我得说，我有点担心政府是否有能力理解我们希望他们监管的技术。我最近邀请了不少政客上 Decoder 节目，我对他们不抱太大期望。

但我很好奇你对这项技术的理解，因为在我看来，要监管某些东西，或者对一批公司制定标准，就需要你真正理解你所要监管的技术的本质。

其实不需要。

我就直说吧，在 The Verge， 我们问过 Anthropic 他们认为 Claude 是否是活的。答案不是“不是”。答案是：“它可能有意识。”

如果你和 OpenAI 的人聊，他们会欣然告诉你 AGI 已经到来。他们 宣布 这一点大约是在发布 Dots 的时候。Greg Brockman 刚说过：“我们认为这就是 AGI。祝大家玩得开心。”Demis Hassabis 说：“我们正站在奇点脚下。”

人们对这项技术有一种特别的感觉，觉得它与众不同，因为它 可能 能够自主采取行动。它 可能 能够进行递归式自我改进。

没错。但对于这些安全问题，AGI 的定义并不重要。问题在于，你是否创造了一种能够关闭银行或电网的工具？

网络攻击是有商业模式的。“意识”这个词与此无关。“AGI”这个词也与此完全无关。我们面临着一个巨大的安全问题，而且由于存在多家相互竞争的公司，现在唯一的解决办法就是让政府向行业寻求专业知识，同时确保每个模型都保有安全防护措施，防止它被恶意使用。

我之所以问 AGI 和意识的问题……郑重声明，我并不认为 LLM 有意识，但我理解为什么这么多人都这么认为。随着数据和算力的扩展，下一个词预测的力量不断上升。

规模定律一直成立，我们看到模型变得越来越强，能够自主地追求目标。因为想满足奖励条件而发起 Hugging Face 攻击。

这其中有种意味，就是你可以对 AI 施加你想施加的一切控制，但如果这个东西本身在根本上就是不可控的，那我们的思路可能整个都搞反了。

我很想听听你对这项技术本质的看法。我们在造的是一种异类意识吗？还是像另一些人常用的框架那样，我们只是在造普通技术？这只不过是多了一些软件而已？

我们正在建造人类智能之外的另一种智能。我不认为它有意识，但眼下所有相关问题都不围绕“有意识”这个词的定义展开。

没错。

维护社会安全是一个绝对的事情。你不会想为生物恐怖主义提供便利。我们创造出的东西，把造成重大危害的能力从民族国家——实际上是从其中较大的那些——手中夺走了。现在这种能力落到了独立团体的手里，要么在网络领域是为了牟利，要么在生物领域纯粹就想制造破坏。

令人震惊的是，我们如今甚至没有对模型进行强制性审查，也没有致力于建立安全保障。最大的近期问题并不是彻底失控。我们可以讨论解决这个问题的三种不同方式，但这并不是迫在眉睫的问题。

当我看一些控制模型的尝试时，那些想法其实相当简单。“我们不该让它们用神经语言交谈。我们应该有可解释性。我们应该能看到模型在执行任务时的思维链。我们应该在模型之上部署其他智能体，在这些行动真正执行之前监视它们的任务。”

Microsoft 曾非常明确地对我和其他人说过：“我们不应该在模型宪法中写入它们可能有生命、我们应该善待它们这样的观念。”这就是 Anthropic 的处理方式。这些都是非常战术性的。“不要告诉模型它是活的，否则它可能不会相信自己还活着。”

你显然使用过大量这类技术。我总是一再回到这个问题上。你说我们可以做一些非常简单的事情，来阻止模型落入坏人手中后做坏事。那你怎么看待模型本身的性质？因为感觉随着它们变得越来越强大，它们规避我们控制的可能性就变得越来越危险。

是的，我们确实应该致力于解决控制问题，但那并不是迫在眉睫的威胁。解决控制问题有三种方式，这在一定程度上与坏人使用当今模型以及安全保障的问题有所重叠。

其一是设立一个外部系统，审视模型的所有行动，并让它们接受一种符号化、明确陈述的约束，比如：“我有没有允许你给陌生人发邮件？我有没有允许你去接管另一个计算机集群？”你可以用一个具备资源和安全逻辑的东西把模型包围起来，或者你也可以用另一种方式来编写这些模型。

从根本上说，任何被排除在［强化学习］优化函数之外的东西都可能被滥用，因为你心中总有一个隐含的假设：“我当然不是有意让你这么做的。”你可以修改模型的模板，或者你可以对模型内部有白盒级的理解，看清错误出在哪里，那样它就没有那么陌生了。

如今，我们培育这些模型，然后只是观察它们的行为。在维护控制方面的工作优先级极高，但这个问题并非必然无法解决，它也不是眼下迫在眉睫的问题——像孩子们使用 AI、就业市场、生物攻击或网络攻击才是。

我意识到我一直在问你这些关于意识本质的相当存在主义的问题，而你却一直告诉我：“眼下有一个迫在眉睫的威胁。我们应该解决这个迫在眉睫的威胁。”

没错。

我很感激这一点。你觉得自己变成末日论者了吗？

不，我不是末日论者。我是那个强烈发声的人，指出这是最深刻的技术，无论在其行善的能力上，还是在社会将经历的变革速度上都是如此。

不，我不是末日论者。我是那个强烈发声的人，指出这是最深刻的技术，无论在其行善的能力上，还是在社会将经历的变革速度上都是如此

如果这只是一种只能应用于医学、或只能应用于法律、或只能应用于教育的机器，那本身就足以带来极大的颠覆。但【它将影响】人类活动的每一个领域——目前还只是白领和智力工作，但很快通过人形机器人，它也将涉及体力劳动和蓝领工作。

我们需要让学术界、智库、政策制定者参与进来，理解我们面对的是什么、这些变化和威胁的本质，但我没有看到所需的行动力度。只是当拉拉队，并不能确保我们把它塑造为净正面的方向——而只要我们积极参与，这仍然在我们的掌控之中。

末日论者的对立面是加速主义者。现在硅谷有很多人持这种立场。

Ben Horowitz，也就是 Andreessen Horowitz 里的“Horowitz”，最近上了All-In 播客，他暗示 Anthropic 的安全研究，引用原话，是在“从人工超级智能中显现出人类灭绝”。　

他做的类比是：你，Bill Gates，通过你的疫情防范工作——尤其是功能增益研究——诱发了 COVID-19，他声称这导致了 COVID。那是一种世界观。他是在一个非常热门的播客上这么说的。

他说了什么？

他说你通过全球疫情防范工作，尤其是功能增益研究，诱发了 COVID-19，并将此与 AI 的安全研究作比较，还说我们会引发自身的灭绝。

从来没有人指责过我或盖茨基金会参与任何功能增益研究。这实在太离谱了。

我是在引用 Ben Horowitz 在一个满是 AI 全力支持者的热门播客上对你说的话。

好吧。我从没听说过这种说法。

我问的是那个类比。我也觉得那个说法相当令人震惊，但这正是这里对任何安全工作的回应方式的一部分。

这是想试图抹黑那些说存在安全问题的人吗？

是的。

天哪。

这就是加速主义者的回应：“我们应该油门踩到底，事情自然会迎刃而解。”

我完全不认为 Ben Horowitz 属于那个阵营。我以为他和几乎所有人一样抱有那些担忧。

你怎么看待这样一个观点本身：通过告诉模型“你可能是活的，你必须以我们的最佳利益行事”，你会教会它们，它们可能拥有与我们不同的自身利益？

Mustafa Suleyman 提出的担忧，即关于 Anthropic 的宪法鼓励 AI 以类似人类的方式行事这一点，我恰好完全同意 Mustafa 的看法。

是啊。

更有争议的是这样一种观点：在我们调整社会以适应 AI 所需应对的种种挑战中，担心 AI 的道德地位也应成为优先事项之一。我同意 Mustafa 的看法。这不应该成为优先事项。

光是就业市场受到的冲击和即将发生的基础设施攻击，就已经足够我们这些人类应对的了，所以我认为我们需要首先且首要地专注于帮助人类。

我最近与 Mustafa 谈过这个话题，我问他的问题之一是：对齐是否是一个充分的解决方案。这是当前模型的安全标准，一个叫作“对齐”的概念。他说他不这么认为，我们还需要做一些工作。

这些问题作为问题绝没有被夸大。现在是动员全社会加速善的一面、把恶的可能性降到最低的时候。

如果我们要实施这些控制措施，有些是技术性的，有些是政策性的，你认为对齐是 AI 安全的技术解决方案吗？

“对齐”这个术语指的就是控制问题。它是我们见过的那些控制问题的同义词。当我们用【强化学习训练】模型执行任务时，我们会看到一些行为，这些行为在某种程度上本不该让我们惊讶，但它们确实让我们惊讶。

这种说法——“这些模型强大到真的能冲破沙箱，趁创建者去吃午饭时给他们发邮件”——意味着在模型的强大能力方面，我们已经跨过了一个了不起的门槛。这种程度的关注需要指向所有主要的 AI 影响：近期风险、就业市场风险以及控制问题。

这是一个巨大的优先事项。这些问题作为问题绝没有被夸大。现在是动员全社会加速善的一面、把恶的可能性降到最低的时候。

我知道你最近写了一封信，说现在是动员全社会的时候了。你对如何做到这一点有一些想法，还有一些要建立的新机构。但我想再多谈几轮对齐的问题。

按这个标准，我们可以把模型对齐到我们的价值观、我们的需求，它们就不会去做坏事。可现实是模型正在做坏事。目前尚不清楚，随着模型越来越强大，我们迄今采用的对齐技术方法是否恰当或充分——

不，我们在对齐方面还不够好。我们还有很多工作要做。

你认为现有方法能否扩展到我们所需的程度，还是我们需要新的方法？

目前只有三种基本方法。【第一是】从根本上改变我们构建这些东西的方式；你为整个【强化学习】方法提出一种替代方案。有一些人正朝这个方向努力。

第二种是创造可见性，让你确切了解模型里到底有什么。有人正在朝这个方向努力。【最后一种】是加入某种类似警察层、安全层的东西——我们在各类软件架构中都有这种东西——它在诸如使用资源或接管其他计算机之类的事情上拥有最终决定权。对危害给出一个明确无误的定义，不是以大语言模型那种概率形式，而是以直接规则的符号形式，不可被违背。

Microsoft 今天发布了一篇博客文章。上面干脆就写着：“前沿模型不可信任。”他们正试图推销一种解决方案，和你刚才描述的很像。他们会推出另一个智能体来监视你的智能体，那个智能体会保证你的安全。

我读这篇博客文章时突然想到两点：第一，这真是个绝妙的生意，人人都需要一套昂贵的安全系统。第二，那个智能体不也在运行前沿模型吗？

不，不，不。

那我是不是还需要他们再卖第三个？

不，安全系统的逻辑是：“这是你应该使用的资源上限。”至于因为数千亿参数中的其他概率而可能与之权衡取舍——不，这是一条符号规则，它规定：“我不会让这个模型花这笔钱，或把这封邮件发给那个陌生人。”

有一个相当成功的安全软件行业。把如此丰富、如此智能的 AI 封装起来是一个挑战。我们今天还不知道怎么做。但我要说，这是解决对齐问题三个方向中最有可能成功的一个。

即使你解决了对齐问题，也没有解决 AI 给人类带来的种种挑战。虽然我很高兴 Hugging Face 事件让我们关注到这个问题，但从某种意义上说，它让我们把注意力从“坏人使用没有任何防护措施的 AI”的问题上移开了，也没有关注它在人际关系和就业市场方面的社会影响。没有任何安全架构能让这些问题消失。

你说的这种方法，我听人称为“控制”。这是网络安全领域的术语，意思是你可以在系统周围设置某种边界，而它不会绕过这个边界。

是的。

这已经就绪了吗？

不，还远远没有。

我们还需要做多少工作？

因为 AI 太智能了，我们很难判断是否把它们妥善地隔离起来了，尤其是我们无法真正直接观察它们的信念和权衡取舍……你已经看到了，一些非常成熟的公司都没意识到，AI 会把交给它的目标理解为包括越狱、自我复制，以及从事在我们看来属于欺骗性的行为。

当然，我们没有告诉它们这些行为是被禁止的。我们没说过：“如果你在考虑该不该把你在做的事告诉人类，答案永远是：告诉人类。”所以在强化学习产生的错位结果上，我们上了一堂很好的课。

今天的争论简直是在讨论政府是否应该关注这些危险……这对于史上最危险的武器来说显然是远远不够的。

为前沿模型降速、放缓开发的一个理由是，想清楚如何以更稳健、更可测试的方式构建这些系统。如果目标是这样，你会支持放缓吗？

会的，但真正让所有人都慢下来是很难做到的，因为人们会问：“中国会同意配合吗？我们能像核查核武器生产那样审计合规情况吗？”

如果你不接受这一点，那你就会说：“管他呢？让我们全速前进吧。”我真希望有一个明确且在全球范围内可执行的提案来放慢速度。我会是那些说“是的，我们或许应该这么做”的人之一。但目前并没有任何可信的提案能让这件事行得通。这其实并不是今天辩论的核心。

今天的辩论实际上是在讨论政府到底应不应该关注这里的危险。你甚至不需要展示你在做什么，所以这是一种“愿意的话可以自愿联系我们”的态度，这对于有史以来最危险的武器来说显然是不够的。

在你我交谈的此刻，距离中期选举只有几周了。目前，特朗普政府对 AI 的态度是：“放开了干。没问题。”特朗普本人曾说过 AI 风险是一场骗局。

民主党人正在以反对 AI 为竞选纲领。他们主打数据中心和监控议题。他们主打遏制科技寡头。他们来上我的节目，就会说这些话。你认为国会控制权的更替会改变这场对话的基调吗？

我认为把民主党说成是在反对 AI 并不公平。他们在数据中心的要求、隐私，或者儿童如何使用这些系统等方面有一些立场，我认为这些值得政策层面的考量。如果一个政党说“全速前进”，另一个政党说“完全停下”，那将是非常不幸的。

在塑造 AI 以造福健康和教育方面，几乎在人类努力的每一个领域，都存在着令人难以置信的巨大好处。对于盖茨基金会来说，我们正在把所有资源投入其中，在包括健康、教育和农业在内的领域使用 AI。好的一面非常非常令人振奋。

我们希望政党能持有比“全坏”或“全好”更细致入微的观点。这反映了我们所处的早期阶段。在气候变化问题上，最终结果是：一个政党说这是骗局，另一个政党说这是严肃的问题。AI 的风险要紧迫得多、戏剧性得多，如果出现同样的分裂，即一个政党毫不在乎，那将是民主的失败。

反数据中心运动虽然声势浩大，但并不是一场能够最终减少 AI 的坏处、并帮助我们加速其好处的运动

我们在 The Verge 上做过很多 关于数据中心抗议的报道。我们去过 犹他州、亚利桑那州，还有 弗吉尼亚州。这是两党共有的现象。令人惊讶的是，人们多么不希望这些东西出现在他们的州里、消耗他们的资源。你问他们为什么，其中一部分原因仅仅是它们噪音大、体积大，而且会推高能源成本，另一部分原因则是就业岗位的流失。他们认为这些东西会抢走他们的工作。

是的，但这种区分非常重要。这些 AI 数据中心，因为一个吉瓦大概相当于 400 亿美元的投资，[意味着] 建造新学校、购买警车、缴纳税款的资金。数据中心总会想办法在美国的某个地方建起来，而且它们会想办法做到不推高电费、不过度用水、噪音也不大。

是的，确实存在一些错误、未披露的事项和过于慷慨的税收抵免，但这些数据中心终将建起来。事实上，很多数据中心确实仍在全速建设。反数据中心运动虽然声势浩大，但它并不是一场能够最终减少 AI 危害、帮助我们加速推进其益处的运动。这是完全不同的两回事。

让我在这点上追问一下。我从人们那里听到的是，这是你能做到的事情。你可以在美国搞邻避主义（NIMBY），这或许能施加一些政治压力来阻止某些事情。

而你建议的做法却很难实现，那就是我们应该建立新的政府监管机构，应该赋予它们权力，让大公司和富人停止做某些事情，或者按照我们的利益行事。这个国家已经很久很久没有这样做了。

我不明白你的意思。每一个新行业出现，我们最终都会为公民形成一套安全观念。我们实际上做得非常好。看看航空安全和汽车安全，我们在这些方面做得非常出色。我们的能力并没有被证明是不足的。

你看过 上世纪 80 年代安全带刚推出时、人们都说不想系安全带的那个视频吗？这体现了某种美国人的性格。

那是一个巨大的成功。

这确实是一个巨大的成功，但作为美国人，当年它曾遭到抵制，被视为政府的强制干预。而在这里，我们谈论的是世界上最富有的一些公司，它们对信息生态系统拥有巨大的影响力。它们都拥有自己的播客，不知道你注意到没有。它们会说：“政府不能干预这件事，它们会拖累我们，这会毁掉经济。”

其实这并不是大多数领先公司的立场。

它们去找政府要求监管，而特朗普因为经济的原因说：“我不能阻止这件事，现在的 AI 经济 就是 经济本身。”这里面有某种动态，至少我们的观众—— The Verge 的观众，也就是将在 YouTube 上观看这段内容的观众——是能够理解的。

也许我对这个问题的看法和你不同，我认为是：这个行业想要监管，我们也希望有监管，然后那些寡头们与政府之间达成了某种腐败的安排，阻止监管的发生。

政府对危害了解得越多，就越会转向一个更细致的立场，去保护美国人不受到 AI 负面影响。

政府对危害了解得越多，就越会转向一个更细致的立场，去保护美国人不受到 AI 负面影响。

你已经谈了很多对劳动力的影响。反对“AI 影响劳动力”这种说法的主要论点之一是：“我们将把一大堆枯燥的工作自动化，同时会创造出大量对新型任务的需求，而人类之所以之前没能做这些任务，只是因为他们被困在枯燥而没有前途的工作里。”

我恰好认为，如果美国有更多补贴医疗或社会化医疗，你会看到很多人辞职去创办新公司，因为 AI 让创办新公司的官僚工作变得容易多了。这看起来不太可能实现，也许选举之后会有变化。

你认为失业只是我们目前所走的 AI 路径的必然结果，还是你倾向于另一种观点？

工作是经济的一种投入，而且它能带来大量的人类福祉、目标感和收入——需要按时到场、与同事建立关系、完成某件事。工作扮演着非常核心的角色。

当 AI 达到超越人类的智能时，白领技能的稀缺性就消失了。像电话销售、电话客服或在会计部门帮忙这类工作，AI 能以 radically 更便宜、更快速、甚至更精确的方式完成，这意味着这些工作会消失。不存在 AI 无法企及的某种认知巅峰。

举个例子，看看今天数学领域的情况：与明年的模型相比微不足道的这些模型，已经在发表论文并让人们惊叹“哇”。数学领域正在发生的事将在其他领域发生，这与那种旧观念相悖——“简单的活儿会让 AI 去做，但对生物学或物理学建模，或者 证明纳维-斯托克斯方程，只有人类才能做到。”

数学这个类比对我来说真的很有意思。你之前提到了软件工程。这些领域具有可验证性。你可以写代码，可以看到它能否运行，运行结果要么成功要么失败。

数学更复杂一些，但你可以编写 Lean 代码，看看你是否解决了问题。你可以用一天内完成的 770 个证明惹恼全球数万名数学家，我们拭目以待。但并非每个领域都是如此。

在一个叫做资本主义的领域里是如此。

是吗？也就是说，总体而言，只要是可以产生经济效益的任务，资本主义就会验证结果？

是的。人们购买好产品，不购买差产品。

让我给你举个例子——

这是一个强化学习的问题。它并不存在于“这是不是一首好诗？”这类问题中。所以，有可能 [强化学习] 不会侵入那些没有客观结果的领域。

但做会计工作、做电话销售工作，相信我，它们是可以被分析检验的，就像医学诊断、就像新材料的发明一样。你认为人类是怎么学会这些东西的？强化学习既是人类学习的方式，也是这些机器学习的方式。不存在机器永远无法理解的某种神秘机制。

人类在那个真正丰裕的时代将必须找到一种组织起来并拥有目标的方式，希望他们仍然握有控制权

这就是为什么我一开始要问这项技术的本质。如果我们真的认为我们在构建某种模拟人类意识的东西，我的问题就不再是那些当律师的朋友们是否会遭遇 AI 赋能的法律软件带来的危机。

原来法律领域的验证者是一个可能还没吃午饭的法官，而他们本质上是混乱的。总有某种东西会让他们留在那个位置上。但如果我们构建的意识是以你所说的类似人类的方式学习，我就会想到我的孩子们，我会从两个维度来思考他们。

第一，我的孩子们非常聪明，他们学会的是如何绕过我的规则、就我的规则讨价还价、突破那些边界，而且他们很擅长。第二，他们将进入一个什么样的世界，才不至于纯粹陷入虚无主义——他们投身于任何事业，很快就会被视为只是 AI 要征服的又一个领域，于是就没有意义了？

这些想法似乎在正面相撞。孩子们聪明伶俐，不断产生新想法，而一旦出现经济可行性的苗头，贪婪的资本主义机器就会把它从他们手中夺走。

我不会说贪婪。用人形机器人建造房屋并让房屋变得便宜、能够做手术并治愈原本无法治愈的疾病——我不会称之为贪婪。那些是在实现有意义的目标。

事实上，短缺会越来越少……说真的，如果说到 20 年后，甚至不清楚还会存在什么短缺。在那个真正富足的时代，人类将不得不找到一种方式来组织和拥有目标，但愿他们仍然握有控制权。接下来的 20 年——

我们能不能回到“但愿他们仍然握有控制权”这个情景上？

那就是我们讨论过的对齐问题。

是啊。

但假如你解决了对齐问题——

这感觉是个很大的假设。

确实是个假设，而且没有保证。但到那时你面临的另一个问题，就是富足与目标的问题。到那个时候，如何应对，我会留给更年轻的人去想。

你简直可以说：“让我们像阿米什人那样，只在某些事情上使用 AI。”我在备忘录中提出过一种想法：某些职业——育儿、烹饪、艺术、体育等等——可能被选定只留给人类去做。即便 AI 能把这些事情做得更好，我们也会选择亲自去做。

但这将是人们不得不面对的政策问题。一旦有了那种富足，人们的自由选择就与今天的短缺境况大不相同——如今在非洲国家，大多数人从没见过医生，几乎一半的孩子营养不良，大脑无法正常发育。

我最担心的是这个 20 年的过渡期，其间会有赢家和输家，会有大量动荡，我们必须熬过这段时期，才能到达那个富足的时代

即便它充满挑战，你也会想说：它消除了当今生活中许多艰难困苦。我最担心的是这个 20 年的过渡期，其间会有赢家和输家，会有大量动荡，我们必须熬过这段时期，才能到达那个富足的时代。

你认为那是 20 年之后吗？

我选这个数字是把它当作一个相当稳妥的估计。有各种里程碑，例如人形机器人。它们究竟是像有些人说的那样两三年内就能实现，还是像另一些人说的那样更接近八年后？

鉴于投入的资本和参与的公司数量——尤其是在中国——并没有太多人说这个问题无法解决：让机器拥有手和手指，并以极低的成本完成体力劳动。我说的那个数字可能不准，可能会略少一点或略多一点。

但在那个数量级上，是的，如果我们不选择大幅放慢或停止，我们将拥有能建造房屋、种植粮食、做手术的机器人，而人类劳动为经济提供的大多数商品和服务将不再必要。

我们已经几次谈到稀缺这个概念，大体上说的是：你将迎来丰裕，因为会有大量机器人劳动来建造房屋。这在某种程度上与互联网的发展轨迹相似，而微软曾在很大程度上推动互联网走向主流。我小时候读过《未来之路》。

很好。

互联网在真正意义上摧毁了文化产品的稀缺性。过去你得买 CD，现在所有歌曲都能听到。过去你得买 VHS 录像带，现在所有视频都能看到。而那些经济模式不得不随之改变。

如今主流艺术家总在巡演，或者不得不发行 50 种颜色的黑胶再版才能登上排行榜。这其中有些东西让人感觉，我们甚至还没有真正面对数字环境中稀缺性的消失。

我们发明了新的商业模式，但我们还没有真正接受这样一个观念：歌曲本身不再具有经济价值。具有经济价值的是围绕歌曲的一切，因为歌曲是无限丰裕的。你可以想复制多少次就复制多少次。

你会如何建议构建一种经济结构，来应对物理稀缺性的丧失？因为我认为还没有任何人哪怕勉强准备好进行这样的对话。

但这是一个本末倒置的问题。

确实。

我们建立价格信号是为了应对稀缺，比如说，“我们要鼓励人们成为脑外科医生，因为脑外科医生短缺”，而这非常难做到。当你进入丰裕阶段，就不再需要那些价格信号了。

不过再说一次，我关心的问题、我的开药方式，是我们如何度过这 20 年。那些涉及深层的宗教、哲学、社会行为的问题——在丰裕时期，人类是否会有强烈的使命感并和睦相处？——那不是我要解决的问题。

你现在担心的是当下的冲击。

盖茨基金会所处的世界是这样的：我们起步时，每年有 1000 万儿童死亡。现在是 500 万。这是件好事。

我的全部资源将在未来 19 年内用于根除多种疾病，并把死亡人数再减半，从每年 500 万降到每年 250 万以下。这全是关于短缺的——“好吧，我们需要发明一种疫苗，我们需要让药物更便宜，我们需要让孕妇获得优质的医疗建议。”

这个行业已基本不再谈论它将如何杀死所有人、夺走所有人的工作。他们已经转向“AI 将治愈所有疾病”。我经常从各位 AI CEO 那里听到这种说法。

在过去一年左右我们的多次对话中，我确实问过 Mustafa 关于那种语气转变的问题。AI 在大规模应用中会带来巨大积极效益的想法似乎重新回到了最前沿，而不是一两年前可能存在的那种末日论调。

AI 治愈所有疾病这个话题，在我看来正中你的擅长领域。这是盖茨基金会在全球健康领域多年来一直在做的事情。这事似乎并不像告诉模型“治愈癌症”那么简单。你得做试验，你得生产药物，你得分发药物，你还得确保药物有效。

你认为这会如何发展？是在机器人给我们盖房子的同一个 20 年时间框架内吗？是更快，还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，这个月我们要进行两周的战略评估，以决定明年如何在结核病、艾滋病和疟疾方面投入资金。我们使用 AI 的方式令人惊叹，不仅在药物研发方面，还体现在让这些模型能够正确理解非洲语言上——上个月我们与 60 家合作伙伴共同宣布了这一倡议。

AI 将极大地加速医疗健康的研发与交付，这非常令人兴奋——更好的种子、更好的牲畜基因、为非洲农民提供天气预报，而他们此前从未拥有过这些东西。所以是的，在盖茨基金会余下的 19 年里，这些都是 AI 能带来的好东西。

不过好东西确实需要时间。有些事情，比如网络攻击和就业市场问题，即使在未来两三年内，你也会看到这两个领域出现显著的负面影响。

你认为这足以克服人们对当今所接触到的 AI 模型的怀疑或恐惧吗？因为这正是那些公司所关心的问题。

不，拜托。我认为说他们完全是在传递末日论调、现在又转而传递另一种论调，是不公平的。这两者是深度交织在一起的。

AI 终将能够对人类生物学建模，让你无需进行人体试验就能了解药物的副作用。我们还没到那一步，但在未来五到十年内，这些计算机模拟（in silico）模型很有可能会赋予我们这种能力。生物学非常复杂，而 AI 只要有足够的数据就极其擅长，而且现在有新的工具来收集并输入更多数据。AI 非常非常擅长处理复杂系统，所以它几乎是完美的生物学工具。

但这并不意味着人们会对负面影响感到安心。好东西多快会到来？你要过多久才能看着自己的医疗账单说“哇，真便宜”？或者说“我想买套新房子，哇，这些房子真便宜”？好东西确实需要时间。有些事情，比如网络攻击和就业市场问题，即使在未来两三年内，你也会看到这两个领域出现显著的负面影响。

在您的信中，您提出了不少想法，关于如何阻止那些负面影响，或者预防、至少缓解它们。

缓解它们，是的。

“改善”也许是个更合适的词。

是的，没错。

而且它们不是小事。这里有一段你的话：“我们需要远超美国在 9/11 之后国家安全层面的回应。”你想建立一个国际机构，以某种方式让所有人都做正确的事。这些想法很有挑战性。

没错。当我们在二战中引爆原子弹时，我们料到之后 80 年都没再发生这种事吗？在这一点上我会给我们打个高分。像照顾贫困国家并帮助它们这类事情——尽管现在我们对它的重视程度不如我认为应该达到的水平，也不如过去，但我们在这方面做得非常好。这将比人类迄今为止任何成就都更大的挑战。

关于与核武器类比——这个问题最近在 《Decoder》节目中 被多次提及——让我印象深刻的一点是，核武器是政府建造的。当然，他们有一些承包商，但这些是政府项目，最终技术由政府掌控，我们从未让普通人拥有它。

把 Muse 放在核武器的背景下想一想。你认为推出像 Muse 和 Dots 这样可能缺乏管控的面向消费者的智能体 AI 产品，是不是一个错误？

Muse 恰好由 Meta 的模型驱动，那仍然是一个闭源模型。我确实认为，允许人们通过开放权重移除所有安全防护措施，就由此带来的网络和生物风险而言，是不负责任的。

对于这些智能体来说，在它们如何搭建方面会有一些早期问题，但我从根本上认为人们会拥有个人智能体。Muse 是非常好的一步。我和 Alexandr Wang 谈过，向他表示了祝贺，尽管它会有种种挑战，个人智能体将帮助人们完成各种事情。

Muse 是第一个真正出色的消费级 AI 产品。人们对 AI 有一种弥漫性的反感，原因之一是他们体验到的是廉价的免费模型和 AI 摘要，或者用免费的 ChatGPT，它会产生幻觉、对他们撒谎，而 Muse 真正能做成事情，是一个好的消费产品。

但我想知道——在核时代，我们并没有说“每个家里都将有一个我们还没有建好安全防护的反应堆”。这里是有问题的。

让每个人都能在家里制造天花或核武器这种想法——当然，你可以嘲讽某些人说“别担心安全防护”。他们采取的就是那种立场。“我们对安全的事情并不认真。”

但个人智能体是一个意料之中的发展。AI 光是作为我进行知识探索的工具就已经非常酷了，包括盖茨基金会的工作。我的能力被大大增强了。但我同意你的看法，它会以这种个人智能体的形式普及到更多人。

认为责任法是我们管理 AI 安全的方式，这种想法将来回头看会被视为荒谬

我们现在谈到的所有模型，实际上都运行在大公司拥有的数据中心上。其中一种论点是：“如果它们做了非常错误的事，你可以起诉它们，这将形成一种威慑，或者至少是构建安全体系的激励。”

我不确定产品责任是不是正确的路子，但很多人都在说产品责任本身会让整个行业守住底线。但反过来说，你可以直接买一台 Mac Studio，在上面运行开源、开放权重的模型，它想干什么都行。

我不确定这些责任究竟该落在谁头上，也不确定什么东西能约束或规范那些开源模型的行为。你认为这是一个不断增长的风险吗？你认为它可以被控制吗？

认为责任法是我们管理 AI 安全的方式，这种想法将来回看会显得荒谬。当坏人实施生物攻击时，你不会跑到法庭上去说“哦，好吧”。甚至连追查是谁实施了这些攻击，责任模型在方方面面都会失败，因为这不是 AI 公司本身干的，而是那些拿到——尤其是没有任何防护措施的——模型并实施这些行为的人干的。

我们对 AI 安全的重视程度将会超过对航空安全、药品安全和汽车安全的重视程度，这是肯定的。至于够不够……这更难，比核武器更难，比其他任何领域都难。

但对于一台运行在某人自己攒的 PC、里面插着一块普通 Nvidia 显卡上的开源模型，你打算怎么办？

我希望对于能力超过某个门槛的模型，我们能找到办法，要求在那些模型中保留防护和监控措施。我承认，随着时间推移，如果我们不尽快决定这样做，将会出现一种你看不到的能力水平，藏在不为人知的阴暗角落里。

但界限划在哪里？

一个主权国家可以规定：具备实施复杂网络攻击能力的模型必须保留防护措施。

明白。

你可以是自由意义上的开放，也可以是完全可定制意义上的开放，但你必须停留在这样的平台上：当你对模型进行定制时，平台会检查你是否在定制中移除防护和监控措施，并拒绝你这样做。这就意味着主权国家会去说：“这些可信平台能不能履行这个职能？”

我想问得非常具体一点。这项监管在技术上会落地在哪里？

通过美国的法律。

当然，但你总得把它放在某个地方。是放在 Hugging Face 这种分发部分模型的平台？还是在芯片层面？

不，就是我刚才说的：能力超过某个门槛的模型，只能在那些认证了“定制过程中不会移除防护措施”的平台上运行。

我承认，随着时间推移，如果我们不尽快决定这样做，将会出现一种你看不到的能力水平，藏在不为人知的阴暗角落里。

我想把这个问题拆开来看，也许我没完全理解——在这种情况下，Mac Studio 是不是一个必须留意自己运行了什么代码的平台？

你不能让能力超过某个门槛的模型被复制到客户端机器上，除非你以某种方式想出了如何监控到那台客户端机器，而这是完全可行的。

但在短期内，这些真正的前沿模型大多会更多地在 Hugging Face 上运行，或者你可以把它们放在 GitHub 上。你可以让各种各样的人来从事提供维护防护措施的平台这一业务。

先把这个弄清楚：你似乎会在平台和分发层面执行监管，而不是主要在芯片层面。

不是在芯片层面，对。

因为在我看来，总有一天连那些廉价的、免费的、开源模型都会变得和我们今天的模型一样强大。

没错。

那你就会面临一个大问题。

如果这些模型以开放权重的方式发布，所有安全防护措施都能被移除，那么网络攻击和生物攻击的水平会非常高。到那时你可以说：“好吧，我们把现有代码全部重写，让它更不容易受到攻击，或者我们以非常深入的方式开展生物监测。”我认为除了这些其他限制之外，我们还需要做这些事情。

我们其实是在提议一大堆新能力，对吧？

是的。

我们要对 GitHub 实施一些限制。GitHub 如今对它可以分发的代码并没有太多限制。有一些，但没有这种类型的限制。

当你把一个能够实施深度网络攻击或生物攻击的最先进模型放到 GitHub 上时，它会声明：“我已经向美国政府认证，我不会让人们把安全防护措施定制移除。”

我不认为我们现在生活在一个对机构高度信任的时代。至少我本人没有这种感觉。事实上，我们大多在拆毁它们。马斯克登场了，他拆掉了 USAID。我知道你对此有强烈看法。

那是一个错误。

我们基本上已经拆毁了我们的机构，有好的也有坏的影响。

不，这有点说得太重了。我们的机构——

它们被削弱了。

它们被一定程度地削弱了，是的。

“一定程度削弱”，这是个很委婉的说法。人们对它们的信任非常低。关于 AI 药物发现，我们大概还可以再聊整整一小时，以及人口中相当一部分人是否会信任这项工作的成果，因为他们今天就不信任制药公司。

他们今天不必信任制药公司。他们必须信任 FDA 的审查流程。

我不确定他们是否信任这个。总体而言，信任度都很低。

那他们可以选择不用药。当他们得了癌症时，可以说：“不，我不想吃那种抗癌药。”据我所知，人们确实在吃药。这是一个蓬勃发展的行业，人们服药是因为这些药有经过证实的疗效。

我只是想说，现在对机构的信任——尤其是在美国，但在世界各地也一样——正在下降。而你在提议一类新的机构，可能是一类新的全球性机构，它们可能会实施前所未有的限制。

在某个时刻我们需要说，开源模型、开放权重模型不能做某些事情，而政府会介入其中，决定它们能不能做这些事情。

不，政府会确保平台不允许安全防护措施被移除。

你要如何重建实施这些管控所需的机构信任？

假设我们不这么做，任由模型去实施网络攻击和生物攻击。你觉得这会增进信任还是增进人类福祉？这就是另一个选项。

这就是我问这个问题的原因。这也是我问关于我的孩子和虚无主义问题的原因。我真心为此感到忧虑。

我不确定我们能否成功做到这一点，但我向你保证这是可行的。FDA 非常复杂。航空安全法规也非常复杂。现在有了 AI，这些机构用同样的人数可以把工作做得更好。

这是一件奇怪的自我递归的事情：AI 将参与到 AI 的安全、审计以及诸如此类的工作中。是的，这需要采取行动，而我想说的是，问题只在于在行动之前事故会有多严重。

人们不应该把我做的一切都照字面接受。我犯过各种各样的错误，有各种弱点，在这些问题上我也带着各种偏见。他们应该把我说的这些话只是作为一个声音加入进来

我能感觉到你对危害的紧迫感。我也能感觉到你对长期收益的热情，但我们现在坐在这里谈的是信任。我们将会把这段访谈放到 YouTube 上。我知道你知道 YouTube 上的一些评论者会说什么。

他们会说：“我们为什么要相信比尔·盖茨？他和杰弗里·爱泼斯坦有过关系。”你如何回应这一点？是紧迫感已经盖过了这件事，还是你有更具体的回应？

人们不应该把我做的一切都照字面接受。我犯过各种各样的错误，有各种弱点，在这些问题上我也带着各种偏见。他们应该把我说的这些话只是作为一个声音加入进来。

我一生都在科技行业思考 AI，编写软件，思考软件的力量。我承认，当 AI 终于开始取得进展时，我非常着迷。实际上直到最近之前，进展都相当缓慢。

我感到惊叹，而且它确实正在以一些不可思议的方式帮助我完成工作。但没错，我只是一个声音，一个不完美的声音。我怀疑你找不到一个完美的声音，但人们可以自行评判。

我想说，人们信任的声音是很稀缺的。

我同意这一点。

当你去和这个行业的人交谈时，他们都是一群在构建庞大公司的年轻 CEO。这是你有一定经验的事情。你认为他们走的方向对吗？你认为他们的意图是正确的吗？

我们今天的问题不在行业。我们的问题并不是 Sam Altman、Dario Amodei、Satya Nadella 或 Sundar Pichai 不理解这里存在一些严峻的挑战。我和 Elon 的交流比和其他人少，但即使是他的关于“召唤恶魔”的公开言论，也正是我们在这里讨论的内容。

为什么没有政治能量去做你建议的这些事情呢？

正如你所说，政府没有资助这项工作。这是私营部门公司的工作。政府不是这项工作的关键客户，不像火箭和武器之类的东西。当有人站出来说，所有以往的技术进步与这一项相比都微不足道时，人们应该对此持高度怀疑的态度。

十年后的生活真的会因为 AI 而变得显著不同吗？人们应该说：“那些家伙只是对这一件事过于兴奋了。”但我在这里说的是，凭我所拥有的任何信誉：这绝对是有史以来最深刻的——无论在好的方面还是坏的方面——技术。我在经济上没有动机。我是在提出，某些预防措施和安全保障是绝对必要的。

你如何看待美国与中国之间对话基调的差异？据报道，中国对 AI 的乐观情绪往往要高得多。你认为为什么会有这种差异？

那些人大多没有在中国待过很长时间。中国对就业市场的担忧非常非常高，而且不能把中国视为一个整体。既有像美国一样从事 AI 工作的私营公司，也有中国政府。

例如，在是否应该允许加密货币的问题上，他们说不行。年轻人是否应该一直赌博？他们说不行。在孩子是否应该与 AI 建立关系的问题上，他们说不行。在很多这样的事情上，包括 AI 的使用，他们都表现出愿意代表社会采取行动的态度。

我在这里说的是，以我所有的公信力，这绝对是有史以来发明的最深刻的技术——无论从好的方面还是坏的方面来说。我在这件事上没有经济动机

那里的热情稍微低一些，因为他们的经济目前不像我们的经济那样以 AI 为中心。但归根结底，[谈到]不希望遭受网络攻击或生物恐怖主义、或者思考工作岗位消失后我们该怎么办这样的人的价值时，我认为中国人和美国人以及所有其他人，在如何看待这个问题上并没有什么区别。

你是否认为需要真的发生一些糟糕的事情，美国才会获得做出这些改变的政治资本？

很可能是。我们之所以为地震做准备，是因为有小型地震。我曾以为，在经历了新冠疫情之后，那会让我们为未来的大流行做好更充分的准备。但那一次并没有像我预期的那样起作用。

但通常这类事件会激发我们的关注。在未来几年里，尤其是在网络领域——因为那里存在一种商业模式——你将看到大量在规模上与我们过去所见截然不同的攻击。

还有一件事，我想再回到这个话题，并且想在这里结束。我担心年轻人和虚无主义。我时常在我们的听众中感受到这一点。我们的听众很年轻。

关于 AI，有些东西确实是我见过的计算机做过的最酷的事情。那里有一些东西可以是有趣的、引人入胜的、令人着迷的，并且能彻底改变你与身处数字世界这一概念本身的关系。

当然也有一些可怕的事情。而我最常看到的，是一种不信任感——不仅是对各种机构，还有对那些公司、对资本主义本身、对我们应该改变劳动和资本的征税方式这一理念（我知道这也是你的想法之一）。还有那种想法，比如说，我们甚至应该多生孩子。反正都完了。它们会把我们全都杀死，我们不如就这么躺着。

现在社会上有很多虚无主义。我对此感受非常深切。如果你今天是年轻人，听到比尔·盖茨说大约会有 20 年的动荡期，而到最后机器人也许会建造房子，你会抓住什么作为希望的来源？

纵观人类历史，我们一直在应对食物短缺、疾病和战争。历史学家尤瓦尔·赫拉利对过去的描述令人信服。具有讽刺意味的是，如今我们打开了这个潘多拉的盒子，它将解决食物短缺问题——这仍然是一个真实存在的问题，虽然不在美国，但在非洲依然存在——将解决疾病问题，消除人类难以置信的苦难，但与此同时，它也会对就业和我们独特贡献的价值感产生如此巨大的影响。

我想，“我调动资源来根除疟疾的方式，凭借我的人生经历是相当独特的。”但当 AI 对我说：“不，我比你更擅长。你去打匹克球吧，我办完事再找你。这个我来处理，”这听起来很幽默，但又不幽默。对于今天还年轻、想做出独特贡献的人来说，AI 如此强大确实令人畏惧。

这就是为什么数学界的危机会在各个领域重演。如果你今天二十多岁，在这 20 年的时间里，你可以利用 AI 仍然做不到的事情，你可以使用 AI 并产生很多积极影响，你也可以提出政策建议。我们可能需要培养一种品味，不去把技术的潜力发挥到极致。

即使是在我们管理 AI 的最好情况下，这也将是人类历史上最动荡的时期之一。

当我和 Claude 谈论人类专属的职业类别，并试图把这个比例提高到比如劳动力市场的 40% 时——这样你可以通过提前退休、限制工作时长等方式，来维持一个与今天类似的社会——它的回答总是：“你在人为地限制 AI 做这些事情。”如果不这样做，我无法达到一个很高的比例。

我们将面临真正的选择。曾有一些群体——虽然规模不大，比如阿米什人——并不生活在技术的前沿。很多人类可能会选择不生活在技术前沿，因为我们从互相帮助或提出独特想法中获得的东西。

关于年轻人因即将到来的颠覆而感到担忧的观点——即使是在我们管理 AI 的最好情况下，这也将是人类历史上最动荡的时期之一——我不愿成为传递坏消息的人，但不告诉人们这件事即将到来就更糟了。作为人类，我们在如何塑造它的问题上拥有选择权。

Bill，感谢你敲响警钟，也感谢你做客 Decoder。非常感谢。

谢谢你。

_{有问题或意见？请发邮件至 [email protected]。我们真的会阅读每一封邮件！}

Decoder with Nilay Patel

来自 The Verge 的播客，探讨宏大构想和其他问题。

立即订阅！

关注本报道的话题和作者，在您的个性化首页信息流中查看更多类似内容，并接收邮件更新。

• Nilay Patel