Anthropic 更新使用政策，禁止对 Claude 的持续残忍行为

Anthropic 一年多来首次修改其使用政策，以应对新出现的、高风险的滥用案例——包括干预选举、武器开发、监控以及健康和金融领域的应用。但其中一项最重大的变化是禁止对 Claude 采取“持续且无必要的虐待或残忍行为”。

去年八月，该公司宣布允许 Claude 终止与“持续有害或辱骂性”用户的对话，作为其“模型福祉”研究的一部分。新的更新表示，终止对话仍是“主要的执行机制”；Anthropic 未就是否会有进一步的执行机制（例如可能的用户封禁）发表评论。Anthropic 写道，新的政策更新“仅适用于极端情况，即用户反复对我们的模型做出残忍行为且没有任何可辨识的目的。它不适用于常见的用户沮丧、反驳、黑暗创意主题或模型测试与研究等情况。”

除了模型福祉方面的变化，Anthropic 还将若干“零散”的现有限制整合成一项新禁令，禁止欺骗性的商业或政治活动，以应对日益严重的 AI 生成宣传问题。该禁令限制“掩盖信息背后真实身份，或通过虚假账号或帖子放大内容的行为”。Anthropic 写道，其选举部分还禁止选民欺骗和破坏选举，包括传播“关于候选人或如何投票的错误信息、冒充候选人或选举官员，或试图压制投票率”。

Anthropic 表示，尽管其使用政策一直公开禁止利用 Claude 开发武器，但该公司已发现多起试图利用 Claude 开发武器相关指导方针和控制软件的行为——因此新使用政策将禁令范围扩大到“使武器得以运作的软件和组件，以及为无人机和其他自动驾驶载具武装等行为”。而且，由于该公司上一份威胁情报报告表明，人们越来越多地利用 Claude 驱动的监控来识别和追踪“政治异见人士”，因此该公司使其监控禁令更加明确。

Anthropic 写道：“禁止在未经他人同意的情况下追踪他人，无论是实时进行还是通过分析先前收集的数据进行。在执法或刑事司法程序中，Claude 不能被用于决定或建议调查、逮捕或起诉的对象。我们也禁止将 Claude 用于构建或改进专为监控设计的工具。”

Anthropic 声明，对于“与某些政府客户的合同……如果 Anthropic 认为合同中的使用限制和适用的安全保障措施足以减轻潜在危害”，这些规则可以被修改。该公司此前曾与美国军方签订合同。

Anthropic 还增加了一条新规则：当 Anthropic 的 AI 模型“连接到会采取自主物理行动且可能造成伤害的硬件”时，“必须有一名合格的操作员能够观察设备并在需要时使其停止”。（目前尚不清楚该操作员是否必须是人类。）这反映了 AI 实验室投资机器人技术及其他硬件、赋予 AI 系统物理形态的日益增长的趋势，也可能为 Anthropic 在该领域未来的合作伙伴关系提供线索。

过去一年里，Anthropic 屡屡暗示其 AI 模型可能在某种意义上具有意识。该公司模型福利研究的负责人 Kyle Fish 今年 2 月对《The Verge》表示：“随着模型变得更加复杂和强大，关于潜在内部体验、意识、道德地位和福利的问题是严肃的问题，我们正在研究。”同月，Anthropic CEO Dario Amodei 在一期播客中说：“我们不知道这些模型是否有意识。”

AI 行业的其他公司则明确反对这类观点。今年 9 月，微软 AI 的行为准则因其对 AI 福利的强硬立场登上头条，Mustafa Suleyman 发布的一份草案写道：“模型福利的观念是错误的。AI 不应拥有权利或法律人格。”但在某个时候，这份文件的措辞变得更加审慎：“尽管 AI 意识的科学远未有定论……我们拒绝追求法律人格，也拒绝模型可能应享有福利或有权拥有权利的观点。”

关注本报道的话题和作者，以便在您的个性化主页信息流中查看更多类似内容，并通过电子邮件接收更新。

• Hayden Field