Anthropic 在 S-1 文件中警告可能很快达到递归自我改进（RSI）阈值

尽管人们的注意力大多集中在 Anthropic 周一在其修订版 S-1A 中披露的最新财务数据上（营收飙升，但开支也在飙升），这家 AI 实验室还在细则中投下了另一个小炸弹。

这份文件似乎在警告：该公司即将造出一个具备递归自我改进（RSI）能力的模型。

RSI 指 AI 在训练自身方面变得如此擅长，以至于引发 AI 能力的急剧加速。对 AI 灾难论者而言，RSI 代表着有去无回的浩劫——AI 将自己打造成强大到脱离人类控制的存在，并且可能在实现目标的过程中对其造成的损害漠不关心。

对 AI 爱好者而言，RSI，或某种形式的 AI 可靠地利用自身来改进，代表着这项技术的前景：它将成为带来难以想象的生产力、科学发现等的工具。

Anthropic 似乎认为 RSI 既是前景也是危险。它在 S-1 中表示自己在研发中使用 AI，但同时也告诫道：“使用 AI 来帮助构建更强的 AI 也可能带来相当大的安全风险，尤其是在它急剧加快进步步伐的情况下。这是我们负责任扩展政策所涵盖的领域之一，该政策阐述了在我们接近被称为‘递归自我改进’的阶段时，监测和缓解相关风险的计划。”

当RSI 这个词在今年早些时候流行起来时，许多人认为它只是个流行语，或者充其量是一个太难实现、太难定义、太难证明的目标。

但在周一，Anthropic 在其风险因素部分加入了新的陈述，称：1）它已经使用 AI 开发出了新模型，而当时它并未意识到这些模型在能力上的飞跃；2）它可能很快就会达到自己对 RSI 的内部定义（下文粗体强调为我们所加）：

此外，我们日益增多地使用 AI 系统来加速我们自身的研发，可能导致我们模型的能力进步速度快于我们开发、验证和实施相应安全、对齐与安保措施的能力。因此，我们过去未曾识别出，未来也可能无法识别出我们发展速度的重大加速，直到它发生之后。

例如，我们关于未来模型（而非当前模型）的内部估计和预期表明，我们可能很快就会达到我们负责任扩展政策中“归因于 AI 的显著加速进步”的定义。我们尚未将任何当前模型认定为超过这一阈值，并将继续评估相关数据。 

不过，Anthropic 也在该文件中表示，其所有模型尚未跨越这一 RSI 阈值，并且承诺在可预见的未来让人类保持在研发流程中。“我们不预期在即使技术上成为可能的情况下，能够在没有实质性人类监督或理解的情况下，安全地使用 Claude 来完全自主地设计和构建连续几代前沿模型。因此，我们正在考虑更新我们的负责任扩展政策，以让人类继续掌控 Anthropic 的前沿模型开发。”

怀疑者可能会指出，S-1 既是信息披露，也是一种营销，而宣称即将拥有强大到能够自我构建的模型，或许属于后一类。

尽管如此，毫无疑问，Claude 的能力——尤其是在编程、数学和网络安全方面——今年已经突飞猛进。如果 Anthropic 认为 RSI（递归自我改进）的可能性已经临近，也许我们应该相信它并采取行动——甚至进行相应的监管。

当你通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的初创公司/风险投资版块编辑。

你可以通过发送电子邮件至 [email protected]，或在 X 上通过 @Julie188 联系 Julie，或核实来自她的联络。

查看简介