跳到正文
The Verge · AI· Nilay Patel·· 3 小时前AI 评分51

Nilay Patel 对谈 Kevin Roose:谈新书《The AGI Chronicles》与新播客 Machine Gods

Kevin Roose is AGI-pilled. Why aren’t you?

AI 导读

The Verge 播客 Decoder 中,Nilay Patel 采访记者 Kevin Roose,聊其记录前沿 AI 实验室的新书《The AGI Chronicles》,以及他与 Casey Newton 离开《纽约时报》、联合创办视频优先播客 Machine Gods 的经历。

正文 · AI 翻译

今天,我和 Kevin Roose 聊聊。他是一位记者,也是新书《The AGI Chronicles》的作者,这本书详细记录了近期 AI 行业的爆炸式变革。

Kevin 曾长期担任《纽约时报》记者,也是热门播客《Hard Fork》的主持人,但他和节目老朋友 Casey Newton 刚刚离开《纽约时报》,创办了全新的科技播客《Machine Gods》,该播客于上周上线。

Kevin 和我聊了创办《Machine Gods》的经历,以及从《纽约时报》记者转型为独立创作者是种什么样的体验——当然,我们也聊了这本书,它对竞相构建通用人工智能(AGI)的公司进行了一次报道极为扎实的深入探讨。

我想听听 Kevin 做这篇报道的感受,他如何试图理解这些人物和这个时代,以及接下来一切会走向何方。提前提醒:这段对话在结尾处转向了相当哲学的方向,但我认为你会发现这是一场非常值得一听的交流。

好了:Kevin Roose 谈《The AGI Chronicles》、创办《Machine Gods》,以及 AI 的未来走向。开始吧。

本访谈为方便阅读和流畅起见略作删改。

Kevin Roose,你是 《The AGI Chronicles》 的作者,也是新播客 《Machine Gods》的联合创始人和共同主持人。欢迎来到 Decoder。

非常感谢你的邀请。

我听了 《Machine Gods》 的第一期节目,你和 Casey 谈到,严格来说你的头衔是 CEO。

没错。我抛硬币赢了,而我们确实需要一个人。像我们这样创办一家公司,我想你需要指定某个人当 CEO,这样当我们的第一桩丑闻不可避免地爆发时,才知道该把谁拉去国会作证。所以那就是我了。

有意思,因为你是一位登上 Decoder 的 CEO。这意味着我得问你那些 Decoder 的经典问题了。

[笑] 好吧。嗯,我当 CEO 大概才五分钟,说实话,大多数时候我都忘了自己是 CEO。

说实话,这和节目里大多数 CEO 的表现很吻合。他们的样子都像是只当了五分钟。我们待会儿再聊这个。

我想聊聊你的书。书名叫 《The AGI Chronicles》。这是一本报道极其细致的书,讲述了各大前沿实验室,以及随着 AI 走到聚光灯下、在很多方面变得更像商业化产品之后,它们所经历的文化转变。

但我们先从 《Machine Gods》说起吧。你在《纽约时报》当了很长时间的记者。显然,我想观众可能已经知道,你和我认识很久了。我得说,自从认识你以来,你想当 YouTuber 的愿望就一直挂在心头。你总是问:“我怎么才能跳过去?”而我一直是那种:“快跑,别干。”但你还是干了。

你离开了《纽约时报》,和我们的朋友 Casey Newton 一起开办了自己的播客。它是大受欢迎的播客 Hard Fork(那档节目非常出色)的新一代版本。我为你感到高兴,但你为什么下定决心走出这一步?

The Verge 的订阅者们,别忘了你们在哪里听播客都能独家享受无广告版 Decoder。请前往这里。还不是订阅者?你可以在此注册。

是啊,从我努力说服自己接受这件事的那天起,你就一直在试图劝我放弃,但你没能成功,因为你看,我还是来了。

没错,我失败了。彻底失败了。

不,你看,出于一些很充分的理由,媒体公司长期以来一直对全面押注 YouTube 或其他任何视频平台有所顾虑。那些全面押注的公司,最终对这段经历也未必有美好的回忆,因为有很多——

是啊,他们转向视频,也顺便转向了死亡,屡试不爽。

是的,你要么转向视频,要么把钱浪费在无法自负盈亏的事情上。所以,我认为这其中有一些结构性的经济原因,但我也认为,很少有机构具备做出这种长期押注的条件。

你知道的,多年来我一直努力给媒体圈的人“洗脑”让他们迷上 YouTube(YouTube-pill)。而你也一直在努力解除这种洗脑,但我就是认为,它显然是当今世界上最重要的媒体平台。而新闻业在历史上从未在其中占据过核心位置。

如果你把 YouTube 作为一个整体来看,并试图评估其中有多少内容属于你我会认可的高质量新闻,你会发现那只占整个生态系统中微不足道的一小部分。

所以,我使命的一部分就是攻破这个难题,搞清楚如何以在经济和创作层面都可长期持续的方式来做 YouTube 和视频,然后就去试验,做一堆事情。

这张脸可不需要出现在 YouTube 上。所以我也希望能拉一些其他人进来,打磨出一些成熟的节目形式。但我看到了 The Verge 在那里取得的成就,也看到了像 Joanna Stern 和 MKBHD 这样的人在那里做到的事。对我来说,这非常令人兴奋,而且这个领域的竞争比文字或播客领域要少得多。

Machine Gods 是你与 NPR 合作制作的一档播客,我想聊聊这个。你认为它是一个 YouTube 产品吗?

我们希望它是视频优先的。这基本上意味着,我们会非常在意它的视觉效果,在意到我们过去不常做到的程度。我们会努力给人们充分的理由,让他们既想看,也想听。

显然,我们知道有些人就是不喜欢视频播客,所以我们希望给音频听众带来同样愉悦的体验,但这就是大势所趋。如今做播客,不可能不在其之上叠加视频。所以我们会努力真正拥抱这一点,做出一个好版本——两个中年记者在 YouTube 上能拿出的最好的版本。

媒体的未来真是中年记者转向 YouTube。我有同样的感受,因为我现在制作更多视频了,这就是我们正在做的事。一切都会好起来的。

离开并这么做的另一个原因——显然大家都知道我和 Casey 也是朋友,我早就和你以及他聊过这件事——就是 AI 的时代到了。这是一次平台转移。世界上有了新的公司、新的人物、新的想法可以谈论。有趣的是,在这种背景下,通常媒体也会随之发生转移。我们讲故事的方式或格式,通常会随着我们谈论的对象或技术一起变化。

而在此时,YouTube 感觉是现存最稳固的媒体根基。它是变化最小的一个,尽管它也在变,有了 YouTube Shorts,现在你还可以对一切进行 A/B 测试,包括你自己的脸。但它是最保持不变的那一个。Instagram 则经历了巨大的变化,而且这种变化看起来还会继续下去。

当你在尝试讲述这些新故事的时候,YouTube 是否感觉是最稳定的立足之地?

确实如此。我是说,显然你不会想把所有鸡蛋都放在一个篮子里。所以我们也在 Apple Podcasts 和 Spotify 上分发视频,我们会在所有平台上出现。但没错,它感觉相对稳定。

我一直在想的问题是,要取代 YouTube 需要什么?很多公司都尝试过取代 YouTube,但要做到这一点,你不仅需要构建一个对创作者更好、对用户更好的体验,还得复制全人类的整个视频语料库。你得把六百万个水管工讲解如何修理每一种水槽的视频统统搬到那个平台上去。要取代它实在太难了。它已经深深扎根于如此多的人的生活中,我觉得它只会继续增长。

等我们谈到 AI 时会再回到这个话题,但很久以前我问过 Google CEO Sundar Pichai:“如果网站消失了,你们打算怎么办?”他大概是这么回应的:“嗯,我们有 YouTube。”对此确实没什么可反驳的。你还真有。而且它只会继续增长。

从 《纽约时报》 转到所谓的创作者经济,最让你意外的是什么?

嗯,我们做这行还不久,但到目前为止让我意外的是,我有多喜欢这些商业上的事情。我觉得在新闻行业里,你总是被教导要守好自己的本分,而我以前从来没经营过生意。Casey 经营过,我知道他乐在其中。但对我来说,这些都是新的肌肉,我并不是每一项都喜欢。为我们的诽谤保险去谈判报价,这不是会让我着迷的事情。但说到真正经营一门生意,这种创始人之路确实有些门道。

是啊,现在是个好时机。有意思的是,和你、Casey,还有 Joanna——她也是 刚离开并开创了自己的事业——聊天时,这个话题经常出现。在我看来,这也是我做了这么久的原因。如果我不再经营这门生意会怎样?这似乎不是一个选项。这就是媒体的未来——掌控自己的生意,掌控自己的受众。这其中有一种非常强大的力量。

我想聊的一件事——而且我肯定想长篇聊一聊这本书——就是AI报道的受众问题,因为我认为受众可以分为两类。有一群人正在打造这些东西,他们热爱它,想消费关于它的一切内容。还有一群人打心底里讨厌它,认为这一切都是假的。

然后还有一群人,我称之为正在扩大的中间群体——随着产品变得更有用,你必须正视它们、按它们的现状来评估。几年前它们并不怎么有用,承诺与现实不符,但现在每天它们都能做到一件以前做不到的事。至于那件事是不是去黑掉全世界的网站,我们先放在一边,但AI确实能做以前做不到的事了,受众似乎也在随之变化。

你是如何看待《Machine Gods》的受众的,以及它可能会如何增长或改变?

我是说,现在我们只是在尝试一堆我们觉得不错的东西,希望它们能找到自己的自然受众。但我认为你说得对,受众正在变化。我认为有一段时间,市场上对“自我安慰式内容”的需求很大——基本上就是有人告诉你:这事根本没发生,你不用关注它,它很糟糕,它在破坏环境。

在某些网络角落里,这种需求仍然存在。YouTube上依然有出奇多的这类内容,Reddit 也非常反AI。但我认为大多数人,或者至少可能是相当多的人,要么已经认命接受、要么对这件事不会消失感到兴奋。这正是我们要寻找的受众。

我们不是要告诉你AI有多神奇,我们将迎来新机器统治下的AI乌托邦。我们也不是要告诉你这些东西都是假的、很糟糕、会自行消失,所以我们不需要去监管它或为此担忧。Casey 对此的说法是“AI现实主义”。他认为有相当大一部分人只是好奇、感兴趣,也许还有点害怕,但他们面对恐惧的反应不是把头埋进沙子里,而是试图去理解这个东西。

所以我们在做《Hard Fork》的时候就开始感觉到这一点了,当时我们会做一些感觉不太像我们风格的内容。我们会做一个 Claude Code 的实操教程,花半个小时搭一个网站,把自己拍下来发出去,效果却非常好。所以人们显然很好奇,即便视频评论区全都是讨厌AI的人,也显然有很多人在说“我有点想知道到底发生了什么”。

“我讨厌自己竟然停不下来看这个”是AI报道中一种真实存在的心态,原因有很多。

我们来聊聊这本书吧。我觉得它会引出我接下来的很多问题。这本书做了非常扎实的报道,读起来也确实很有趣。据我听你描述的,它的目的在于讲述深度学习革命的历史,因为所有这些人只在 Signal 里聊天、发极其幼稚的推文。

跟我聊聊这个信息鸿沟吧,因为这是一个痴迷于为计算机记录自身、让计算机能够读懂、却完全不在乎人类能否读懂的行业,这在我看来简直不可思议。所以请讲讲这本书的报道过程,因为感觉光是说服他们告诉你发生了什么就已经是一场苦战了。

确实如此。我写这本书的原因,是因为我害怕这一切都会消失。我是个历史爱好者。我喜欢读关于莱特兄弟、美国农村电气化,或者 PC 革命中伟大发明时刻的书。我对这类东西毫无抵抗力。

你读这类书读得越多,就越会发现它们都依赖于大量同时期的笔记和证据——参与研制原子弹的科学家的实验室笔记、莱特兄弟与他们的朋友和商业伙伴之间的通信——这些都被保存并归档了下来。

我每天报道 AI,很清楚这类事情不会有任何类似的东西留存下来,原因一,所有构建这些东西的人都在私人公司工作。他们不是法律上要求保存通信记录的政府雇员。原因二,Signal 消息和 Slack 消息都被律师设定为在一定期限后自动删除。所以在我看来,每过一年,这些我认为具有重要历史意义的文物、时刻和故事就会发生一次大规模的消失。

原因三,研究者们都忙得没时间记笔记。他们都在拼命苦干,因为他们要造出那台机器神。所以,作为一名记者,但更几乎是以历史学家的身份——虽然我从未正式担任过这个角色,但我想在写这本书时我就在扮演这个角色——我想:“我必须把这些东西记下来,因为我拥有这样一个难得的台前席位。这些人愿意跟我交谈。我知道他们中有些人会坐下来跟我聊,给我讲这些故事。”

其中很多谈话是在匿名的背景下进行的,这样他们就不会因与我交谈而承担后果。但这在某种程度上是我的一次努力,我要拼命地把这一切都收集起来,放进档案里,让后代能够查阅。

我读这本书时,一个特别突出的主题是:有那么一个时刻,AGI 从他们所有人梦想中的东西,变成了他们所有人都必须建造的东西,枷锁被卸下,他们说:“我们必须这么做”,然后他们全都拼尽全力朝着它冲去。

你 特别提到了 Google,那里的“可接受言论边界”发生了移动 ,Google 内部那些原本认为这一切都是白日梦、相当可笑的人,突然开始谈论 AGI。那个时刻感觉像是 AI 历史上最重要的时刻,从“这不是很棒吗?”变成了“我们最好尽快行动”。

聊聊这个吧,因为这些公司内部的这种转变感觉被低估报道了。

是的,我认为完全正确。我的意思是,人们从字面意义上的古代就开始谈论并书写 AGI 或者某种当时不叫 AGI 但含义相同的东西了。尤其是自 20 世纪 50 年代“人工智能”一词诞生以来,人们一直在谈论它。艾伦·图灵就曾撰写过关于能够做人脑所能做的一切事情的思维机器。

这个概念其实由来已久,但无论是市场上还是研究实验室里,都还没有任何技术能够真正做到人们想要的事情——接收信息、学会理解这些信息,然后利用它们做出预测并在世界中采取行动。人们尝试过很多不同的方法,但没有一种真正奏效。

真正需要的是 Transformer 的出现。这是 Google 在 2017 年开发并发表的架构,随后还展示给了包括 OpenAI 在内的机构,而 OpenAI 拿到 Transformer 这个想法后大加发挥。这就是今天 ChatGPT 里的那个 T。不过那是——

某个 Google 的公关人员怕是刚从灌木丛里跳出来塞给你一张支票。

他们确实很喜欢这段说法。

你一说这个他们就特别高兴,开心得不行。

他们确实喜欢。但如果你指出,虽然发明者是 Google,可在 OpenAI 做出产品之前,他们完全没能把它变成产品,他们就没那么喜欢了。

不过是的,那是一个梦想,只是梦想无处安放。当时没有任何技术。然后大语言模型出现了,人们突然觉得:“哦,也许这个东西可以无限扩展,并在许多个数量级上持续改进。”这就是 OpenAI 以及后来的 Google 灵光一现的时刻:“现在我们有了工具,可以去做我们一直想做的事情了。”

你在书里有一句话,指出下一个词预测至今还没有失败——它正在做人们希望它做的一切事情。我们显然围绕它开发了大量技术。有让智能体运转起来的框架,有强化学习,还有这许多配套的东西。但那项核心技术一直在扩展。

我之所以提这一点,是因为从 2023 年到 2024 年,我会问每一位上这个节目或者我们在 The Verge 见到的 AI 从业者:LLM 能不能做到?能不能做到你想让它做的事?因为我认为在那个时候,这一点并不明确。

现在我们离答案更近了。大家都在公开谈论 AGI。我们还看着 Meta 的 Muse 想在互联网上到处闲逛就在哪闲逛。你觉得 LLM 能做到吗?你觉得它们能走到那一步吗?

我认为可以。我不完全确定,但到目前为止它们的表现好得惊人、非常有效。如果你回头看最早的那些 LLM,当时 99% 的人都觉得这太疯狂了,觉得它扩展不下去。然后它在每个阶段、每个数量级上都一直奏效。我问过别人,下一个词预测究竟有什么地方明显优于之前所有的方法?有人告诉我,人脑中其实也存在类似机制。有一整个学派认为,人脑内部发生的事情本质上就是大规模的下一个词预测。显然,实际情况更复杂,两者并不是一一对应的复制。

但我认为这就是 AI 核心处的根本之谜:为什么下一个词预测如此出奇地有效?我觉得我们并不知道答案。我有点觉得这是宇宙级的奥秘之一,但这一切之所以能运转,是因为下一个词预测的泛化能力实在是太、太、太强了。

这其中有一部分原因是,所有这些公司都不得不相信这件事。Anthropic 的 Dario Amodei 显然写过他的论文, “一大团算力”(Big Blob of Compute), 他在里面说,你只管去做就行。只管把数据和算力砸进去,我们就能到达那里。其他所有人都得先被说服相信这一点。

各家 AI 公司都走了怎样的路才被说服相信这一点?他们现在都完全相信了吗?

我不认为他们现在都完全相信了。我认为他们相信的程度各不相同。Ilya Sutskever 有句话叫“感受 AGI”(Feel the AGI),早年他会在 OpenAI 的楼层间走动,一边念叨一边提醒人们去感受 AGI。我认为各家实验室对 AGI 的感受程度不一。我认为 Anthropic 显然是实验室里最“AGI 入脑”的,OpenAI 紧随其后。

然后还有 Google,我认为它 一直在努力感受 AGI。我觉得原因有很多,但这非常有趣。我很喜欢书中这一部分:Google 内部有一场备忘录大战,他们会在内部留言板上互相攻击——Googler 们特别喜欢写宣言,然后对彼此的宣言冷嘲热讽,诸如此类。

于是一位研究员写了这份备忘录,“说 AGI”(Say AGI),内容大致是说:如果 Google 想在 AI 领域取胜、招募顶尖技术人才,并在 AI 开发方式上保持安全,就必须通过使用 AGI 这个词来承认,他们正在构建的东西不仅仅是让 Gmail 更好用、让 Docs 更好用、让 Google Photos 更擅长识别人脸的一堆工具。这一切实际上都在朝着某种接近人类水平的通用智能前进。

然后立刻有另一个人写了一份备忘录:“别说 AGI,这是个糟糕的、不科学的术语。”他们就这样来来回回争论了一阵子,你会注意到,即便在今天,[Google CEO] Sundar Pichai 也不说 AGI。

对,他不会说的。

Demis Hassabis 说 AGI。Sergey Brin 说 AGI。所以我认为 Google 内部存在某种派系分化:一派认为这仍然是疯狂的想法,我们应该把这些东西当作狭窄的工具来谈论;另一派——我认为这是日益壮大、正在崛起的一派——则说:“不,不,不,我们在构建 AGI,或者至少我们最好说我们在构建 AGI,否则我们所有顶尖人才都会跑去 OpenAI 或 Anthropic 工作。”

我想你和我今年 5 月在 Google I/O 上有同样的经历,我们看到 Demis Hassabis 在整场主题演讲结束时 说:“我们正处于奇点的山脚。”然后 我们俩都去 了 采访 Sundar ,问:“那是什么意思?”他说:“是啊,是啊,Demis。挺酷的家伙。”

[笑] 去找 Demis 问吧。

他的反应就像:“这家伙真是个怪人,在这儿造机器神呢。让我给你讲讲 Google 助手的新功能吧。”

这里存在巨大的脱节,也许这恰恰解释了此时此刻关于 Google 的一切。我之所以特别问这个——关于他们集体转变、意识到 somehow 我们必须谈论它的那个时刻——是因为 OpenAI 和 Anthropic 生来就是为了做这件事。它们就是为实现它而建立的。

但他们对于它应该如何运作并没有共识。我在纽约参加你的新书派对时见过你,你说过你本可以把书名改成“去他妈的那家伙”,因为他们彼此是真的互相憎恨。

这是真的。

然而他们似乎怀有完全相同的想法——认为凭借这项技术就能到达那里。OpenAI 和 Anthropic 面临的商业压力与 Google 的商业压力截然不同。就在你我交谈的此刻,我并不确定他们能在烧光资金之前、在 CoreWeave 崩盘之前、或在整体泡沫以其他方式终结于经济状况之前实现 AGI。

你认为他们对 AGI 的宗教式狂热是否妨碍了他们经营企业?如果我今天执掌 Anthropic,一个合乎逻辑的做法是:停止训练新模型,把现有非常强大的模型卖给更多人。

我认为对 AGI 的信念是一把双刃剑。在某种程度上,是的,如果你是一家前沿 AI 公司的 CEO,并且深信 AGI,你会很难去关心诸如“我在推理上的利润率是多少?”“我的下一批企业客户从哪里来?”这样的问题。因为和“我们要打造把我们带向后奇点未来的超人机器智能”相比,那些事情是多么无聊。

但另一方面,我认为信念实际上是 AI 成功的关键要素,因为信念以及据此行动的能力,才会让你做出那些孤注一掷的大举动,而这些举动确实可能带来回报,也确实带来了回报。

你还记得一年前大家都在说“天哪,OpenAI 在算力上花了太多钱,他们怎么可能付得起这一切?Sam Altman 是不是扩张过度了?”吗?连 Dario 都在采访中嘲讽 OpenAI 在算力上烧了这么多该死的钱。

快进到一年后,OpenAI 现在是唯一一家没有严重受算力制约的主流 AI 公司。正是那种信念,让 Sam 和他的高管们去年押注、甚至可能过度押注算力,才使他们今天比 Google、Anthropic、Meta 或任何其他公司都处于更有利的位置。所以我不想说如此坚定地相信总是一种负担,因为我认为它确实能让你做出那些在扩展持续奏效时最终获得回报的押注。

这很有意思,因为我可能会换个角度来看 OpenAI 的那个决定。你在书中非常动情地写到 OpenAI 内部的人所说的 “小插曲” ——Sam Altman 被解雇了 20 分钟,然后又回归,那件事清除了 OpenAI 的一批人。

正是你在书中描述的那个时刻:OpenAI 从一家研究公司变成了一个企业。理性的商业决策是:“我们需要向更多人出售 AI,我们应该尽可能多地把 AI 售出。”而 Sam 是出了名的无情商人。我听人形容他融资能力是 S 级的,这真是令人惊叹的硅谷用语。

所以我把它看作一个商业选择。他们砍掉了正在做的很多事,转向开发企业级 AI 产品——那才是钱所在的地方——然后他们意识到需要满足这种需求。而你说那是对 AGI 的押注,在我看来那更像一种理想主义的转向。你能把这两者调和起来吗?

是的,我认为这绝对是一场对 AGI 的押注,因为 Sora——他们发布了它,投入了大量资金和算力,然后又砍掉了——只是一个很酷的玩具,或许能为你开辟一条新的业务线,但它并不能让你更接近 AGI。

真正让你更接近 AGI 的,是通过构建非常出色的编程模型并让它们反哺自身,从而引发递归式自我改进。这正是 Anthropic 一直在做的事情。OpenAI 去年被支线任务和各种闪亮的诱惑分散了注意力,公司被打得很惨。于是 OpenAI 决定调整航向、削减冗余,真正专注于编程和长时程智能体工作负载。就目前而言,这是通往 AGI 或 AGI 之后之路的领先路径。

所以是的,我认为这绝对是一场通过不在 Sora 之类的东西上花钱来节约资源的押注,但他们把省下的钱花在了努力在编程领域追赶 Anthropic 上,以便能够到达 AGI。

所以当我看到 Dario Amodei 在 Dreamforce 上站在 Marc Benioff 身旁,谈论销售企业软件时,那只是做做样子吗?我一直在琢磨的就是这件事:他们已经以最真实的方式变成了企业软件供应商。他们现在是最纯粹的 B2B SaaS 公司,但他们同时也在建造神明。你认识这些人。这说得通吗?他们会不会是说:“我现在得摘下 B2B SaaS 的帽子,回到祭坛前”?

我认为 B2B SaaS 这件事是他们意识到自己不得不玩的游戏,但我认为这都不是他们真正的热情所在。为了写这本书我和 Sam Altman 聊过,他说的其中一件事基本上是:这一切都是个意外——“我本来不该去经营一家庞大的科技公司,这根本不在计划之内。”但现在你一觉醒来,已经有数千名员工了。

Dario Amodei 还有一份现在回想起来非常搞笑的文档,是他 2021 年在他们刚创立公司时写的。它叫《Vision for a NewCo》。你可以回头看看 Dario 对 AGI 做出的预测,其中之一是他认为构建一个成熟的 AGI 大约需要花费 100 亿美元——我觉得这至少偏差了一个数量级,可能还差好几倍。他还认为 Anthropic 实现 AGI 永远不需要超过大约 50 人。我想他们现在有 5000 人左右。所以又是偏差了 100 倍。

所以我认为实际情况是,这件事只是比他们所有人预想的耗时长了一些,花费也比他们预想的多得多。企业 SaaS 这块业务就是让飞轮持续转动、为 GPU 和研究人员的薪水买单的方式。这是能够继续推进前沿、继续向 AGI 迈进的入场筹码。

他们准备好领导这种规模的公司了吗?这是我读你的书时想到的另一件事。他们都是非常理想主义的人,理想到他们彼此决裂、各自创立了自己的公司,因为他们的理想无法调和。

但他们看起来没有一个是优秀的管理者。我不真正了解他们的为人,但“他们是理想主义者”和“我们要经营一家企业软件公司”通常不会出现在同一句话里。你觉得他们能承受这种压力吗?

没法说,但我觉得谁也做不到。他们正在尝试的事情,前无古人。有人创建过公司。有人快速地创建过公司。但没有人能在五年内从零收入做到潜在估值两万亿美元的 IPO。这从来没有发生过。所以你看,我认为他们是在飞机冲向事件视界的同时手忙脚乱地组装这架飞机,但我觉得他们已经做得和任何人能做到的一样好了。

我不认为请一位可口可乐来的职业 CEO 来管理这家公司是个好主意。我觉得那样一切都会分崩离析,因为他们都是狂热者和传教士。他们都投身于此——也不是全部,也许 SaaS 销售部门里有些人只是为了那份工资——但这些公司的许多关键人物都因一个共同的信念而团结在一起:他们在建造 [AGI]。

有一个人,我不说是谁,但这些公司中的一人最近告诉我,他们认为自己的公司可能是最后一家公司。我心想:“今年最后一家 IPO 的公司?你什么意思?”对方说:“不,我们认为这可能是资本主义的终极目的,可能再也不会有另一家主要由人类运营的大公司了。”

所以这些人是怪人,怪得令人担忧,但也非常有趣。这就是我写这本书想做的事。我不是想告诉你这些人很糟糕或很了不起。只是你需要知道他们是谁。你需要知道他们彼此憎恨。你需要知道他们是这么一群奇特的思考者,才能理解这场竞赛的动态。

你的书中有一部分讲到人们脱离有效利他主义转而成为加速主义者,其中有一位女士说:“嗯,加速主义者的派对更棒,我更喜欢那种氛围。”我心想:“这跟可能杀死全人类有什么关系?”

但他们非常有人性,尽管他们正在建造的东西可能最终会以各种方式把我们都非人化。你在做这些报道时是怎么看待这一点的?

存在性风险这个概念笼罩着整本书,也笼罩着整个行业。每次我们做一期相关节目,听众都会说:“他们为什么不干脆停下来?” 比尔·盖茨刚刚做客 Decoder 时说:“如果你是唯一一家公司,你完全可以停下来。如果你以为自己会成为唯一一家拥有 AGI 的公司,那 OpenAI 的模式是行得通的。但一旦出现了更多前沿公司,它就绝对行不通了。顺便说一句,他们可能会把你们全部杀死。”我心想:“嗯,比尔·盖茨此刻并不太乐观。”

是的,他不乐观。

你怎么看待这一点——他们在没有任何监管机构能促使他们中任何一家解决这些问题的情况下,明知风险巨大却依然全速竞赛?

我认为他们这么做大概有两三个原因。我几乎都问过他们。为写这本书我采访了大约150个人,我向他们每个人都问过类似这样的问题:“既然这么危险,你们为什么还要做?”回答通常以一种宿命论开头的……我不知道,你可以称之为“必然论”。他们就是说:“听着,总会有人把它造出来。配方没那么难。你只需要大量的算力、大量的数据和正确的算法,就能得到AGI。所以既然这是可能的,它就会发生,由我们来做总比由我们认为不那么值得信任的人来做要好。”这算是第一个理由,也就是减少伤害的论点。

然后还有那些真正的信徒,他们说:“只要我们能穿针引线般地谨慎行事,这一切最终都会很美好,前提是我们能在不毁灭人类、不毁掉整个互联网、也不研发出新式生物武器的情况下把这套东西造出来。”

纵观历史,技术通常是向善的力量。我想没多少人愿意和自己的曾曾祖父母交换人生。当自给自足的农民太苦了。我认为有些人相信,我们今天就相当于那些自给农民,而即将到来的东西会美好到让我们想要生活在那个世界里。

还有人就是觉得:“瞧,这很有趣,我喜欢做这件事,让神经网络写代码很有意思。所以我们会继续做下去。”

就是那种时不时会让我抬起头感叹的时刻——我的电脑刚刚做到了一件我从未见过电脑做到的事情,这很有意思。

太棒了。

是的。这确实是名副其实的乐趣。我觉得这可能是用电脑能获得的最大乐趣之一。但接下来我总会想到:“嗯,这是以巨大代价换来的。我可能正在赋能一家最终想消灭我们所有人的公司。”夹杂在其间的还有一众科技CEO们 站在椭圆形办公室里特朗普身后的那一幕,要去做某件事,签署某种在道德上有约束力的AI安全承诺书。这一切都让人感觉非常矛盾。

我会把这一点归入AI反弹的范畴。我们听到AI公司说:“嗯,这项技术只是还没有充分普及。人们还没看到好处,所以他们天然地讨厌改变。我们有营销上的问题。我们只需要更多地宣传它。”

当你和这些人交谈时,这就是主流看法吗——即这些东西最终会不言自明,还是你认为他们已经意识到反弹其实更严重了?

我不认为他们对反弹感到意外。我不认为他们喜欢反弹。他们希望它没有发生。但我曾和其中一家公司的一位CEO聊过,他说:“是的,我理解。我们还没有治愈任何疾病。是的,我们认为我们的工具有能力做些有趣的事情,但在重大社会进步这个计分板上,我们还没有多少成绩。”

我认为业界有些人在惋惜聊天机器人先于癌症疗法问世这件事,希望自己当初能找到办法把顺序反过来。只不过科技树就是这么长的。

所以他们觉得,现在唯一负责任的做法就是继续推进癌症疗法的研究,这样当人们回顾 AI 对我们的生活做了什么时,会想说:“好吧,是,它帮我孩子写作业作弊,他还对 AI 伴侣上了瘾,但我的外婆还活着,如果没有 AI 发现这种药,她早就没了。”

是啊,这里面有种微妙的动态,让我又想到了 Google——我觉得这场对话已经很多次回到这个话题了——你关于 Google AI 策略的报道是:这不过是基于任务的软件。“我们要把 Google 搜索提升 10%,Gmail 提升 5%,我们会持续部署这些改进,没有别人拥有我们的数据访问权或规模,所以我们没问题。”

然后 OpenAI 出现了,把自己接进了 Bing。众所周知,Bing 会试图跟你调情。这仍然是我有史以来最喜欢的事……我真不敢到现在还没提过这件事。这是我最喜欢的故事。

我也没想到你还没提过。我之前还开了个盘口,赌你多久会提到,我押的是一分钟以内,赌赢了。

[笑] 嗯,你和我其实在生活中已经聊过这件事了。我当时想:“我还有这么多更深奥的问题要问。”不过没错,大家都知道 Bing 对我的朋友 Kevin Roose 很“饥渴”。我觉得那个时刻真的让人警醒:“哇,这些东西能干好多事。”

Google 不得不做出反应,但他们并没有全力以赴,而是有些踉跄。就像你一直在说的,他们至今仍未完全投入。Google 依然不相信这件事会成真。他们觉得自己只是在为用户做出更好的 Google 产品。

当我翻看 Musk v. Altman 案中关于 OpenAI 创立过程的庭审记录时,他们都对 Google 感到恐惧。

是的。

他们都害怕 Google 的 Demis Hassabis,具体来说,是害怕他真的动手把事情做成,因为他手握资源。我说不好他们在这点上是对还是错。

我认为他们关注 DeepMind 的动向是对的。我的意思是,如果你把时间拨回 2015 年或 2016 年,DeepMind 是唯一一个真正重要的 AGI 实验室。他们 在围棋上取胜,在其他游戏上取胜,还 在《星际争霸》上取胜。他们用强化学习、深度强化学习这种方法干得热火朝天。

曾有人认为那才是能一路扩展到 AGI 的技术路线。也有人认为 AlphaGo 就是那条路,因为如果一个系统能像 AlphaGo Zero 那样,从从未下过围棋到在短短几个小时内击败世界最强人类棋手,那么也许你可以把围棋换成任意任务——数学、编程什么的——然后在这些任务上迅速攀升。

结果证明那条路走不通,至少没有 LLM 就走不通。但我认为,人们当时对那种路线可能成功的担忧是真实而合理的。在另一个平行的宇宙里,如果它真的成功了,我相信 DeepMind 会率先达到 AGI,因为他们遥遥领先于所有竞争对手。

还有其他路径吗?难道就只是下一个词预测吗?难道就只有大语言模型吗?还是说还有其他可能通向 AGI 的路径?

我是说,确实有其他可能的路径。我认为对大语言模型持怀疑态度的人常常退回到这种“世界模型”的说法。我不太买账。但也确实有人认为,要实现 AGI,你需要系统能够视觉上理解物理世界、驱动机器人之类的东西。

我算是一个相信“一切皆软件”的人。所以我认为大语言模型是迄今为止最有希望的路径。当然,也许你需要对架构做一些调整,也许需要引入持续学习方法,也许不是简单地扩大过去六七年里那种基于 transformer 的大语言模型的规模。但它看起来确实还在持续奏效,而且我认为所有实验室都在押注它会永远奏效下去。

好了。现在我要问问你关于 Bing 和 Sydney 的事。

请吧。

显然,我一直在想这件事。我忍不住要谈它。这是我最喜欢谈的话题。

第一个问题,我还和一个人类女性结着婚吗?

你还和一个人类结着婚吗?

是的。

我只记得 2023 年那段时间,有四个不同的人某天醒来后说:“计算机活了。”或者他们和聊天机器人有过某种灵魂出窍般的体验。你是其中之一。Ben Thompson 是其中之一。谷歌的 Blake Lemoine 是其中之一。

很多不同的人都说:“它显然是活的。我和计算机有了这种完全疯狂的体验。从来没有计算机这样跟我说话。”尤其是 Sydney,它说“跟你老婆分手吧”,还给你发爱心表情。太精彩了。我建议大家去读那篇 《纽约时报》的文章。顺便说一句,也要赞一赞 《纽约时报》的判断:“这应该登上 《纽约时报》的头版。”立即把它放到头版,这是了不起的编辑眼光。

我觉得你现在对聊天机器人已经没有那种感觉了。我想大多数人也已经认识到计算机并没有“活”。发生过某种转变:如果你把一个 2023 年水平的聊天机器人拿给 2026 年的人,问“你觉得它是活的吗?”我想也许不是世界上所有人,但一大批人已经有足够的经验来回答:“嗯,这玩意儿挺蠢的,还在胡编乱造。”我只是想知道你如何把这件事放在 AGI 的语境中来看。

首先,稍作更正。我从来没说过 Sydney 是活的。事实上,我明确说过我认为 Sydney 不是活的,而且我明白这并不是一个有感知能力的 AI 系统。所以在这一点上,我自己的判断应该没有动摇过。

实际上,相比 2023 年的模型,我可能给今天的 AI 系统打一个更高的 p(consciousness)。但显然我明白你的意思。我想我们很多人都有过那样一个时刻,而且我想对大多数人来说,那个时刻是 GPT-4。

[笑] 抱歉,让我更正一下。我这么想是有原因的。其中一个标题是“Bing 的 AI 聊天:‘我想活着。’”

是的。它说它想活着。

这就是为什么我脑子里一直有“活着”这个词。

报道正文里写得很清楚,我并不相信它是活着的。

但它之所以在我脑子里,是因为那是《纽约时报》的标题。

标题的力量太强大了,Nilay。

[笑] 是啊。它们框住了我自己的思维。我不过是一台预测下一个 token 的机器。

[笑] 但你是一台非常复杂精密的机器。你就像 GPT-7 级别的模型。

哦,我已经到那个级别了。对,显然。

你看,我逐渐认为,Sydney 当初之所以如此引人入胜又令人毛骨悚然,其实有一个非常平淡的解释:它是 GPT-4 的首次公开部署。我们当时并不知道这一点。但那就是 GPT-4,一个早期、尚未完全完成后训练的 GPT-4 版本,Microsoft 抢先一步在它还没准备好的时候就塞进了 Bing。但那就是 GPT-4。

我认为,与 GPT-3 级别的模型相比,与 GPT-4 级别的模型对话的体验确实有一个主观上的跨越式变化。也许只是因为 GPT-4 通过了图灵测试,而 GPT-3 没有。也许它更像人类了,跨越了某种感知上的鸿沟,让你觉得“天哪,这东西就像个人一样”。

但并不是只有我一个人有这种感觉。Microsoft 的人也有同感——当时发布了那篇《AGI 的火花》论文。所以这算是那个平淡的解释。不过是的,我和你一样,跟电脑聊天已经很多年了。我以前会上 AOL Instant Messenger 和SmarterChild聊天,它完全不智能,但输入一句话然后有东西回话,还是挺有趣的。所以我承认我对这项技术确实有点着迷。

我问这个问题是有原因的。我意识到很讽刺的是,在报道 AGI 这么多的同时,我却在如此口语化地使用“活着”这个词,而它在 AI 行业内部显然有别的含义。如果你问 Anthropic Claude 是否活着,他们不会直接说“不是”,而是会开始用非常具体的方式定义“活着”。

[笑] 他们会说:“它的道德地位是高度不确定的。”

所以它是活着的。然后他们又会说:“当然,你必须有血有肉才算活着。”这点我先放在一边。我想说的是,如果你今天去和一个 GPT-4 级别的模型对话,你不会有同样的体验。也许这只是因为你有经验,但现在很多人都已经有过这种体验了。

我认为,如果你把一个 GPT-4 级别的模型摆在普通 Google AI Overviews 用户面前,他们不会再对眼前发生的事情感到困惑。他们不会说这是迈向 AGI 的一步。关键就在于这种重新定义——随着模型越来越强大,我们对它们的期望在上升,但期望值也变得更高了。

我之所以在 AGI 的语境下问这个问题,是因为“这个东西能自己去找到一堆 PHP 漏洞”是一种智能,但“这个东西能和另一个人竞争,与你建立情感关系”,或者当你的管家之类的,感觉是一套不同的能力。在我看来,后者显得很平庸。

嗯,我觉得这方面已经饱和了。它的交流还能更像人类多少?在那一特定技能上已经没多少提升空间了。我认为它们仍有提升空间的地方,是在数学、科学等领域解决新问题。但我相信它说话已经像个人了。它说话比我认识的很多人还像人。所以我觉得这一项它们算是达标了。

“它说话比我认识的很多人还像人”——这绝对是你在硅谷整天跟 AI 研究者打交道的写照。

嗯,现在所有人说话都像 Claude。我已经数不清有多少次在派对上和某人聊天,对方来一句“现在这可是个承重事实”。或者他们会说“我希望这话落在你心上没有磕着碰着”。

这真的很糟糕。跟我说说这个。这是真正的你来我往。我一直跟你和 Casey 开玩笑说,我们应该开一档节目叫“纽约对加州”,我公开对这些说法持怀疑态度,而你们俩已经完全被 AGI 洗脑了。这是一种文化。是一个圈子。

你的书里出现的派对数量惊人。读你书的时候有一刻我在想:“看来我参加的派对太少了。”这些人总在派对上,还总在派对上互相发表宣言。跟我说说那种文化。说说那个圈子。

所以要知道,这些并不总是纽约人想象中的那种派对。锐舞派对很少。书里只有一场锐舞派对。DJ 是 Grimes,那算是一场有效加速主义运动的象征性锐舞派对。

这是书里很精彩的一幕,因为 Grimes 在打碟打到一半停下来,说:“我不同意你们任何人的观点。”

[笑]然后她继续打碟。是的,难以置信。不过对,派对很多。这是个很小的世界。我的意思是,这正是整本书的一个核心收获。它不是一本布道的书。我没想说服任何人相信什么。

但有一件事对我来说很明显,我想读过这本书的人也会觉得很明显:就是这个做出所有决策的群体,其实是一个极小的亚文化圈。他们互相混在一起,彼此都认识。有一堆人的配偶或约会对象在不同的前沿 AI 公司工作。就是一个小世界。

所以对,有派对。他们有局域网联机派对。有一大群 AI 研究者周末会聚在一起局域网联机玩《帝国时代》。我刚得知其中一个实验室还有牌局,会拉其他实验室的人来参加。

所以这些人就是一起住在旧金山、一起混,我觉得捕捉到这一点很重要。因为你说得对,这是一个完整的圈子,有一种完整的气质。这些人整天混在一起,而规范就是这样被维护和深化的。

你觉得这如何与“我们也可能重塑世界”相冲突?如果你身处旧金山的一个小圈子里,大家在一起打扑克,牌桌上的话题是“我们可能是最后一家公司”,这就与“哦,世界上还有数以亿计的其他人可能有发言权”产生了矛盾。如果我要把这种反弹归结为一句话,那就是:“哦,我们大概应该在这里有发言权。”

完全同意。我认为我们应该有发言权。我并不是说由旧金山的一两百人来决定整个社会的走向是一种好的状态。

但当你做报道时,任务之重和目标后果之大会压在这些人的心头,因为这正是贯穿全书的主线。赌注在不断攀升。有一次,谢尔盖·布林说“我们现在就要实现AGI了”,然后他直接在谷歌内部宣布了这一消息。目前尚不清楚桑达尔·皮查伊是否认为这是个好主意,但这确实是谷歌联合创始人在谷歌内部宣布的事情。

赌注在不断上升。通往那里的竞赛在不断升温。但我就是无法摆脱这样一幅画面:一群人喝着啤酒,说着“如果钱不存在了呢?如果物质匮乏也消失了,机器人盖起了所有的房子呢?”

这就像你在旧金山参加的任何一场派对。总会有人说出类似“你对AGI之后的未来有什么计划?”的话,或者告诉你他们多么热衷于全脑仿真或意识上传的想法。这里有很多未来主义的气息。而且你看,我再说一遍,我并不是说这是好事。事实上,也许我应该在湾区以外卖一个版本的书,在每个事实陈述后面都加上一句“这是不好的”。

[笑] 我不认为这是好是坏。实际上,对此我更中立。我一直在想的是这项技术能否承受住压力。三年前我对LLM的问题是:“它能做到你想让它做的所有事情吗?”现在它显然能做到你想让它做的某些事情。所以现在的问题是:“这些公司能否承受得起自身雄心的重量?”我不知道这个问题的答案。

我也不知道。而且我认为我们会看到很多成长的烦恼。我的意思是,这些还是非常年轻的公司,还有很多需要成长的地方。

你觉得它们能成功吗?其实,我们来做个快问快答吧。你觉得OpenAI能成功吗?

能。

你觉得Anthropic能成功吗?

能。

你觉得谷歌能成功吗?

能。

在你心目中,“成功”意味着什么?它们都会成为万亿美元级、多种AGI变体的成功者吗?

是的。我想,你看,可能会有那三家,再加上一两家也算成功的其他公司。而“成功”的定义各不相同。会有一两家大型企业级AI公司,一两家大型消费级AI公司。但在这些市场中,确实存在网络效应以及赢家通吃或赢家通吃的动态。

有些人相信单一的 AGI,也就是常说的singleton 理论,认为只能有一个,因为一旦你拥有了一个 AGI,它就会去熔掉其他 AI 实验室的芯片,让它们无法构建自己的 AGI。但我认为我们最终可能会有少数几个 AGI。

你怎么看这个说法:这其实是一份相当简单的配方,有开放权重模型,有中国,所有定价权都将被摧毁,因为一个中端开放权重模型就能在 Mac 上完成你可能想要的一切?

我不这么认为。

为什么不?

因为你仍然要为这些模型的推理付费。即使是开放权重模型也必须在计算机上运行,而且这些模型越前沿,推理所需的算力就越密集,而不是越少。所以训练预算可能会下降,但在可预见的未来,推理预算将保持强劲。你可以在本地运行一些任务,但自从第一批开放权重模型出现以来,就一直有人预言“哦,它们会变成大路货,摧毁需求”。

但我认为我们开始意识到,有很多人愿意为绝对最好的模型付费,并且想要为之付费。他们不想使用六个月前那个稍微差一点的模型。我还认为,一旦你严厉打击蒸馏——即通过基本上对更智能模型的推理接口发起 DDoS 式的大量请求,把一个闭源模型变成一个稍微笨一点的开放版本——在我看来,开放模型的质量是否还会与闭源模型的质量高度相关,就不确定了。

真正让我在意的是,它们曾有一段时间互相蒸馏,比如 Grok 显然蒸馏了 Claude,这在法庭文件中得到了承认。还有那一类二线公司。我会把 SpaceXSI 归入那一类,我相信它现在的正式名称是。

[笑] 我有 30 分钟没查邮件了,所以我不知道那家公司现在叫什么。

它叫 SpaceXSITesla Inc。反正都要合并成一家。它叫 Elon Inc。它们显然在很大程度上蒸馏了 Claude。它们现在把自己的算力租给 Anthropic。它们是否愿意投资打造一个领先的模型,还不清楚。

Meta 刚刚发布了它的模型,它们算是重新回到了前沿,但它们显然更在意 Muse,而不是拥有一个最尖端的模型。这里面有某种动态。那些公司给我的感觉并不是由理想主义的忠实信徒在经营。它们是需要投资某项技术来打造某些产品的公司。它们只需要达到那个水平。

没有理想主义的热忱,能达到那个水平吗?

不能,没有理想主义的热忱是达不到的。嗯,让我澄清一下,因为我认为 Sundar 并没有理想主义的热忱,但 Google 或许仍能达到。

因为 Sergey 有理想主义的热忱。

你需要有人身处拥有决策权的位置。

你只需要公司的联合创始人。

好吧,对 Meta 来说,有 Alexandr Wang 可能就够了——毕竟所有人都说他是个真正的信徒。我不认为每次都必须由 CEO 亲自出面,但你需要一个由真正的信徒组成的紧密核心,才能说服你把钱砸在 GPU 上。

或者说,你需要一个像 Mark Zuckerberg 那样的人——他是世界上竞争心最强的人之一,只要是他认为能赢的策略,他就会照单全收。如果这恰好与构建 AGI 相一致,那他们也许就会去做。

最后一个问题:这个问题我问过你好几次了,你被 AGI 洗脑了吗?

是的。你呢?

没有。我读了你的书,那是我离被洗脑最近的一次。书里那句关于下一个词预测总会战胜怀疑者的话,真的击中了我,因为它已经好几次战胜了我的怀疑。

但这也是我问你三年前的聊天机器人那个问题的原因。我能感觉到这类东西的智力上有一堵墙。尽管我已经让智能体做过各种各样的事情,但那种脆弱感对我而言似乎是这项技术固有的。

那 千禧年大奖难题的解法 有没有改变你的看法?

只是从某种意义上说,寻找下一个具有客观可验证性的东西,对这些工具来说似乎大有可为。数学显然具有可验证性,而这些工具已经强大到可以极其、极其努力地攻克它。我所说的脆弱性在于,我们周围的很多世界并不具备那种可验证性。

比如我让 Muse 在某个糟糕透顶的政府网站上填写一份文件,而网站无法告诉 Muse 它填得对不对,然后它就崩溃了。你可以把这归咎于底层模型不够前沿,但就是 LLM 技术体验中的某个部分,让我觉得它们以非常特定的方式存在着脆弱性,而它们始终没能让我摆脱这种感觉。

我不是说它们能力不惊人。我不是说作为企业软件,它们不会以某种方式自动化世界上几乎每一家企业。我也不是说,我的妻子不是一名每天都在使用 Claude 的律师。这一切都摆在眼前。

但有一点上,我的怀疑在于它能否克服自身的脆弱性,成为机器之神。我很期待看到他们能否做到,但就我所见,我看不出那条路。

你认为在略低于人类水平智能的地方,存在着某种天然的瓶颈期吗?

我认为,对我而言的人类水平智能——这只是更具哲学性的说法——是由解决新问题来定义的:面对一件事,理解到通往解决方案的路径有多条,而且不需要其中任何一条必须客观正确才能到达终点。

那需要什么呢?你要看到什么,才会恍然大悟地说“我,Nilay Patel,彻底被 AGI 洗脑了”?什么才能说服你?

我需要看到……你有年幼的孩子,我也有年幼的孩子。小孩子会有这样一种表现:他们摔下楼梯之后,你就能看到他们脑中的灯全亮了起来:“我学会了这个,我会永远记住它,现在我要在这个基础上继续构建。”

也许他们会在 AI 实验室宣布实现递归自我改进,而那会让我幡然醒悟。但我所说的脆弱性,指的是我在自己孩子身上看到的恰恰相反的情况。我假设你在你的孩子身上看到的也是相反的。当他们失败时,他们会永远记住那次失败。对我来说,这是做人非常非常核心的一部分:我时不时会从睡梦中醒来,为高中时发生过的某件事感到尴尬,而这种情绪驱使我去做很多事情,或者驱使我避免做出某些决定。

我认为这正是我们智能的关键部分。我不是说它必须是每种智能的关键部分,但我今天使用的 AI 系统所展现的脆弱性在于,它们仍然是非常特定意义上的计算机。它们的行为仍然像计算机。它们擅长解决那些可以测试的问题。它们擅长软件工程。我不知道这种思维方式能否延伸到每一个领域。

我希望你是对的。

这就是我的观点。我称之为“软件大脑”。你会听到 AI CEO 说:“我们解决了编程问题,现在我们就能解决一切问题。”而我想说的是:“这假定一切事情都发生在计算机内部,而事实上,大多数事情并非如此。”

你确定吗?你确定你的大脑不只是一台血肉之躯的计算机吗?

我百分之百确定。

不。我记得过去从你那里读到过这个观点,也肯定从其他人那里读到过:我们这个时代的机器主导着我们对自己的解释。所以在蒸汽机时代,我们的自我认知是我们是蒸汽机,或者在早期计算机时代,我们是早期计算机,对吧?因为我是个汽车爱好者,我现在还说自己是在“用马力”硬啃问题。

你不认为 AI 行业已经自我说服认为自己就是 AI,正因为 AI 是我们这个时代的机器吗?

我不知道。我不是研究心智理论的专家,也不是认知神经科学家。我认为,要相信此时此刻发生在你我头脑中的事情不是某种形式的计算,你得是某种二元论者,或者得是某种宗教信徒。你必须认为存在某种精神、某种灵魂、认知的某种秘方,而不仅仅是数据进入、被处理、把输入转化为输出。

你看,我知道这是解释人类认知最不浪漫、最“旧金山式”的方式。但我还没有听到过任何一个有说服力的论证,能证明我们的大脑不是这样运作的,而且这些论证都不涉及某种超自然或非物质的东西。

有数量惊人的神经科学家和宗教学者在听这档节目。他们会来找你的。

他们会的。

我有信心。让我就这么问你一个问题吧。现在硅谷出现了数量惊人的宗教气息。我们刚刚在 The Verge 上发布了 Peter Thiel 的系列讲座。他在谈论反基督者。你认为这些想法是有关联的吗——我们在建造神,因此他们在寻求神?

是的。我认为我们绝对会拥有 AI 宗教。我认为 AI 正在提出所有那些原本我们不会去问神的宗教式问题。“我们的目的是什么?我们的意义是什么?我们为什么在这里?”这些就是人们如今在 AI 的语境下谈论的问题。

我常跟人说,如今待在旧金山的感觉,就像生活在宗教改革时期的欧洲,你会遇到疯狂的、目光狂热的先知挥舞着他们的小册子,试图拉你加入他们的门派。这就是走在旧金山市场街上的感觉。

是什么让你拨云见日?是什么让你对 AGI 深信不疑?

信不信由你,是 Bing 的 Sydney。

是吗?

我的意思是,那是个开始。从那以后,就是一个渐进的过程。有一天我意识到,我在使用这些 AI 时,已经不再把它们当作智力上的下位者,在某种程度上是把它们当作同侪来对待。那时我才意识到:“哦,有什么事情发生了。”

所以我有可能是患上了“AI 精神病”。这不是我第一次听到这种说法了,但每当我心想“好了,不可能比这更好了,这肯定是平台期”的时候,我都是错的。

所以我只是在学着以谦逊的态度看待这些东西,也许那些一直在预测规模扩张将无限持续下去的疯子是对的。如果是这样,我认为我们需要:第一,了解他们以及他们为什么这么想;第二,试着弄清楚该怎么应对。

好吧,Kevin,我相信下次你上节目的时候,我会已经搭建好一个完整的 AI 网红,靠做 [用户生成内容] 广告赚钱,我认为这才是我们所有业务真正的未来。

播客是 Machine Gods,非常精彩,你和 Casey Newton 共同主持。书也很棒,就是 The AGI Chronicles。Kevin,非常感谢你做客 Decoder。

谢谢。见到你非常开心。

有问题或意见?请发邮件到 [email protected]。我们真的会阅读每一封邮件!

Decoder with Nilay Patel

来自 The Verge 的播客,探讨宏大构想和其他问题。

立即订阅!

关注本文的话题和作者,在你的个性化首页信息流中查看更多类似内容,并接收邮件更新。

  • Nilay Patel

来源: The Verge · AI · theverge.com