OpenAI、谷歌、微软和Anthropic支持新标准，让出版商统一拒绝AI抓取

这项新标准由Anthropic的技术负责人Kevin Kelley在互联网工程任务组（IETF）中提出，核心是一个共享的「政策令牌」信号，放置在网站的robots.txt文件中。robots.txt长期以来用于告知网络爬虫哪些页面可以抓取，无论是用于搜索索引、归档还是AI训练。目前，网站需要分别向每家AI公司表明自己的训练偏好，而新标准将这一过程统一化。

OpenAI、谷歌、微软和Anthropic均表示，如果遇到这一共享令牌，将限制其AI爬虫访问网站。不过，微软提供了更细粒度的控制选项，允许出版商单独选择退出AI训练或AI接地——后者指让AI模型引用验证过的信息来源以减少幻觉。微软同时强调，无论出版商如何设置，其网站仍会出现在必应搜索结果中。

在实施进度上，Anthropic已经采用了该信号，谷歌和微软计划明年支持，OpenAI则表示将在「未来几个月」内落实。这一消息背景是，出版商正面临AI爬虫持续抓取内容并用于模型训练的困扰。此前已有一些应对措施，例如Really Simple Licensing（RSL）标准允许出版商向访问的爬虫收费，以及Cloudflare默认阻止AI爬虫。