本文共字，预计阅读时间。

11月1日消息，OpenAI、谷歌、微软以及Anthropic近日宣布将采用一项新标准，内容发布方可以借助该标准选择拒绝AI抓取自家网站内容。借助这项管控机制，内容发布方可以一次性向多家AI企业统一申明自身针对AI模型训练的内容使用偏好，而不必为每家企业单独设置规则。该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出，并将集成在网站的 robots.txt文件中。长期以来，robots.txt文件用于告知网络爬虫哪些网站内容允许抓取、哪些禁止抓取，适用场景包含搜索索引、网页归档以及AI模型训练。目前，网站必须向每一家AI企业分别单独声明自己的AI训练相关内容使用偏好。在此背景下，各类AI爬虫持续抓取网站内容、将网页素材输入AI模型训练，内容发布方正为此焦头烂额。

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。