OpenAI、Google、Microsoft 和 Anthropic 将支持 robots.txt 中新的抓取退出标准

Emma Roth

是一位新闻撰稿人，报道流媒体大战、消费科技、加密货币、社交媒体等诸多领域。此前她曾是 MUO 的撰稿人和编辑。

OpenAI、Google、Microsoft 和 Anthropic 表示，他们将采用出版商可用来拒绝 AI 抓取的新标准，正如 Search Engine Roundtable 此前报道的那样。借助这一控制手段，出版商可以将他们的 AI 训练偏好应用于多家 AI 公司，而不必逐一单独设置。

共享的“策略令牌”信号由 Anthropic 的标准技术负责人 Kevin Kelley 提出，作为互联网工程任务组（IETF）的一部分。它将存在于网站的 robots.txt 文件中，该文件长期以来一直用于标明哪些网络爬虫可以或不可以抓取网站——无论是用于搜索索引、存档还是 AI 训练。目前，网站必须分别向每家 AI 公司传达自己的 AI 训练偏好。

这一消息发布之际，出版商正为不断涌入的 AI 爬虫抓取其网站并将其内容输入 AI 模型而苦恼。一些公司和组织已尝试对抗未经授权的抓取，例如 Really Simple Licensing（RSL）标准让出版商能够向访问其网站的爬虫收费，以及 Cloudflare 默认阻止 AI 爬虫。

OpenAI、Google、Microsoft 和 Anthropic 表示，如果遇到共享令牌，它们将限制其 AI 爬虫访问相关网站。不过，Microsoft 将提供更细粒度的控制，让出版商能够选择退出 AI 训练或 AI grounding，即将 AI 模型指向经过验证的信息来源以减少幻觉的过程。Microsoft 指出，无论网站的偏好如何，其页面仍会出现在 Bing 的搜索结果中。

虽然 Anthropic 已经采用了该信号，但 Google 和 Microsoft 计划在明年支持它。OpenAI 表示将在“未来几个月内”实施。

关注本文的话题和作者，以便在您的个性化首页信息流中看到更多类似内容，并接收电子邮件更新。

• Emma Roth