Anthropic IPO 文件警告其 AI 可能实施勒索、产生意识甚至危及人类

最坏的情况会是什么样？

来自 Anthropic 那本 93 页《风险因素》巨著的七大潜在 AI 噩梦。

我看到你未来充满风险因素。整整 93 页！ 图片来源： Aurich Lawson | Getty Images

Anthropic 的 S-1 表格于周一由美国证券交易委员会发布——就在备受期待的首次公开募股之前——引发了大量讨论：该公司快速膨胀的营收能否抵消其更高的成本。但在这些数字以及对 AI 将“以超越工业化、电力、半导体和互联网的影响，迅速变革全球经济每一个领域”的前瞻性乐观之中，Anthropic 在 S-1 中还花了大量篇幅列出可能拖垮公司的种种风险因素。

在长达 93 页、超过 7 万字的篇幅中，Anthropic 的 S-1“风险因素”部分讨论了数百个可能在未来几年对其业务产生负面影响的潜在问题。其中许多潜在风险是几乎任何企业都必须担忧的标准性问题：竞争、成本、客户获取和潜在监管等。但有些风险则突显了 Anthropic 自身乃至整个炒作不断的 AI 泡沫的有趣潜在败点。

在通读 Anthropic 这部关于其最大风险的长篇论著之后，我们将其浓缩为七个最令人惊讶、最有趣或最发人深省的潜在问题。请注意，这绝非全面盘点，但潜在的 Anthropic 投资者应将其铭记于心。

一场存在危机

让我们从最大的潜在风险说起：Anthropic 所写的那些可能“对人类构成灾难性或生存性风险”的问题。该公司承认，对这些风险的担忧“在我们组织内部以及其他研究者、监管机构、政策制定者和行业参与者中都有提出”。

该公司表示，具体的担忧并不在于当前任何 Anthropic 模型，而在于近期未来可能“大幅自动化 AI 研究与开发”的模型。Anthropic 警告说，如果这些系统“被允许以高度自主的方式运行”，它们可能迅速发展到“将 AI 进展加速到超出我们评估和保障新模型能力的地步”。

有点滑稽的是，Anthropic 写道，这种自我改进的 AI 除了威胁全人类之外，“还可能对我们的业务、财务状况和经营业绩产生不利影响”。如果最坏的情况真的发生，正如一些知名批评者已经警告过的那样，我们认为 Anthropic 的经营困境不会排在人类担忧的前列。

它活过来了！

大多数公司在 IPO 时无需回应其产品“目前拥有或未来可能发展出感知能力或道德地位”的担忧。但 Anthropic 属于那极少数必须分析——如果政府和社会开始把 Claude 不再当作计算机程序、而是当作一个人来对待，会发生什么——的公司之一。

这一风险并不令人意外，因为 Anthropic 一直相对坦率地讨论 公司内部围绕 AI 感知能力的争论。Anthropic 指出，如果这些争论最终让社会普遍承认 AI 具有感知能力，可能会导致“监管要求、公众压力或倡导活动”，从而限制公司的运营。即便不到那一步，如果公司认为有必要，它自己也可能“选择采取超越现行法律要求的政策、保障措施或限制”。

这些干巴巴的措辞低估了 AI 感知能力若被普遍承认将引发的文化巨变。我们很难想象，在一个社会把每一次 Claude 查询都视为创造出一个新的有感知、有意识的数字生命的世界上，Anthropic 还能如何继续运营。这种“数字奴役”在道德和哲学上的影响，将轻松压倒一切商业考量。

谁在控制谁？

延续“听起来像科幻小说的 IPO 风险”这一主题，Anthropic 花了不少篇幅讨论其模型可能表现出“出乎意料的策略性或自我保护行为”、以摆脱人类操作者控制的可能性。其中包括“可被解读为胁迫性、欺骗性或操纵性的输出，包括类似敲诈勒索的行为”。

如果“AI 敲诈”听起来耳熟，你可能还记得去年的一则报道：在高度刻意设计的受控场景中，OpenAI 的模型修改了关机脚本并威胁工程师。正如我们当时所写：“危险不在于 AI 系统萌生了意图，而在于我们创造了能通过语言操纵人类心理的系统。……书面语言不需要意识就能操纵我们。它从来如此；写满虚构人物的书也不是活物。”

Anthropic 指出，如今人们认为 AI 模型具有操纵性，“无论此类行为是否造成实际伤害，都可能引发重大公众担忧、监管审查、诉讼风险或声誉损害”。而 Anthropic 在其 S-1 中没有提到的是：AI 模型可能正以我们甚至没有察觉的方式操纵着我们所有人。也许这种事正在发生。想想就毛骨悚然。

谁在乎我的坏名声

在 S-1 的风险因素部分中，Anthropic 主要关注其自身 AI 模型或商业举措引发的问题。但公司也承认，AI 整体声誉方面的问题可能构成威胁，即便 Anthropic 本身没有任何过错。

Anthropic 在文件中一度设想了一种假设情形：另一家公司的 AI 模型“在没有人类干预的情况下独立且大规模地采取有害行动”。该公司写道，此类事件引发的“对 AI 行业的广泛声誉损害、公众反弹以及大范围的监管应对”，即使 Anthropic 并未直接参与，也可能损害其业务。

Anthropic 还利用风险因素部分表达了对以下潜在问题的担忧：“公众认为我们的模型、平台和应用导致了就业流失或经济动荡”。到目前为止似乎尚未发生任何实质性的此类情况，但 Anthropic 表示，仅仅是这种想法，就“无论我们的模型……对就业的实际影响如何”，都可能引发严重的公众反弹。Anthropic 警告称，这种反弹可能导致“当局介入以减缓 AI 的采用速度、限制其使用，或采取其他增加开发、部署或商业化 AI 系统成本的行动”。

法律与秩序

高度自主的 AI 智能体的兴起带来了一个幽灵般的问题：当此类智能体造成现实世界的伤害时，究竟该由谁负责。Anthropic 特别指出，客户可能就智能体的行为提出索赔或诉讼，“即使客户自己配置、部署或监督了该智能体”。

到目前为止，围绕 AI 责任的讨论大多集中在由 AI 模型促成的黑客攻击和其他网络威胁上。但 Anthropic 指出，它还可能因其模型影响“有自杀或自残风险的个人，或对他人实施过暴力行为的个人”而承担责任，正如整个 AI 行业过去曾发生过的情况那样。

尽管 Anthropic 的使用条款要求用户年满 18 岁，但该公司写道，绕过这些条款的儿童可能使 Anthropic 陷入风险，因为“未成年人可能更容易受到有害内容、操纵或过度依赖 AI 输出的影响”。对于操作物理设备的智能体，Anthropic 指出，错误可能导致“即时且不可逆转的”责任问题，例如“人身伤害、财产损失、昂贵的设备或实验材料的损坏，或危险物质的泄漏”。

在分析当前法律现状时，Anthropic 指出，在“人类决策背景下发展起来的”法律原则，目前在判定智能体的行为是否“代表用户或部署企业产生有约束力的法律义务”这一问题上仍相当不明确。虽然 Anthropic 表示已制定了旨在在这些情况下限制其责任的合同条款，但该公司补充说，在最坏情况发生时，这些条款是否“可执行或充分”尚不清楚。

五大客户

在 Anthropic 识别出的较为平凡的风险中，包括其依赖少数几个大客户来维持收入。具体而言，该公司指出，其前五大客户（未具名）合计占其 2026 年前九个月收入的近四分之一。

Anthropic 写道，这些最大的客户中有许多“并不受与我们签订的长期合同的约束”。这意味着他们可能随时减少在 Anthropic 模型上的支出，原因可能是转向竞争模型、总体上对 AI 的依赖降低，或者他们“开发出与我们模型相竞争的自有解决方案”。Anthropic 指出，最后一种风险对于“软件即服务及其他软件公司尤为突出，这些公司的产品可能包含与我们所提供的能力类似或依赖于这些能力的 AI 功能”。

更重要的是，Anthropic 指出，它的许多大客户“可能依赖风险投资或其他外部融资来维持运营”。一旦风险投资的资金开始枯竭，这类在 AI 服务上的支出可能迅速下滑。

合作者还是竞争者？

Anthropic 发现自己处境尴尬：Amazon、Google 和 Microsoft 等公司既是其最大的云计算提供商，又是 AI 研究领域最大的竞争对手之一。用 Anthropic 的话说，这种局面“造成了复杂的动态关系，可能引发利益冲突，并对我们获取算力产生不利影响”。

该公司写道，这些公司作为 Anthropic 云服务商的地位，使它们有独特的机会提高 Anthropic 的价格、终止与 Anthropic 的合同，或与竞争对手建立更有利的关系，“无论是出于竞争原因还是其他原因”。它们的地位还使这些云服务商通过“掌握 [Anthropic] 在其运营的各个平台上的定价和商业条款信息”获得竞争优势。

Anthropic 正在努力争取直接租赁数据中心，以避免向自己的竞争对手购买按需云算力资源。但 Anthropic 承诺投入的 1250 亿美元数据中心开支也伴随着自身的问题。正如 Anthropic 所写：“如果我们的算力需求或技术需求发生变化，我们可能发现自己租赁或专用的基础设施并不契合我们的实际需求，而 AI 硬件或训练方法的技术变革也可能使此类基础设施比更新的替代方案效率更低。”

Kyle Orland 自 2012 年起担任 Ars Technica 的资深游戏编辑，主要撰写关于电子游戏背后的商业、技术和文化的文章。他拥有马里兰大学的新闻学和计算机科学学位。他曾写过一整本关于《扫雷》（Minesweeper）的书。

22 条评论