一条 robots.txt 规则,让 Google、微软、OpenAI、Anthropic 集体签字:你的网站内容终于有了”不许训练 AI”的统一开关

这些年做网站、写内容的人,心里都憋着一股火:自己辛辛苦苦写的东西,转头就被 AI 公司抓去喂了模型,连声招呼都不打。想反抗吧,连个统一的”不”字都没处说——每家 AI 公司的退出规则各写各的,站长得像集邮一样给每家单独写声明,写完了人家还不一定认。

2026 年 10 月 30 日,这个局面第一次被打破了。Google、微软、OpenAI、Anthropic 四家巨头共同宣布:支持一个统一的 robots.txt 指令,网站主只用写一条规则,就能声明”不许拿我的内容训练 AI”。这是内容创作者的数据主权,第一次有了一个全行业认的统一开关。

以前想说”不”,得说四遍,还不一定管用

在统一信号出现之前,网站主的处境堪称憋屈。各家 AI 公司对”退出训练”的约定五花八门:有的用自家特有的爬虫标识,有的干脆挪用原本干别的用的指令——比如 NoArchive(不存档)、NoCache(不缓存),这些本来是管搜索引擎快照的规则,被硬拗成”顺便也别拿去训练”。

结果就是:你想保护自己的内容,得先去研究四家公司的四套文档,写四套不同的声明;写完了,执行力度还各凭良心。更要命的是,很多中小站长根本不知道这些门道,内容就这么悄无声息地进了训练集。不是大家不想反抗,是反抗的成本被故意抬得太高了。

新开关长什么样:一条规则,名字叫 __usage_ai-training

这次的统一信号,名字叫 `__usage_ai-training`。提案是 Anthropic 的工程师 Kevin Kelley 提交给 IETF(互联网工程任务组)AI Preferences 工作组的一份 Internet Draft,走的是互联网标准的正规流程,而不是某家公司的”家规”。

用法上对站长极其友好:在 robots.txt 里加一条声明即可,不用再给每家单独写。时间线也已经排出来了:

  • Anthropic:已经开始实现,走在最前面;
  • OpenAI:表示未来几个月内支持;
  • 微软:2027 年 2 月 1 日开始执行,届时将停用 NoArchive/NoCache 作为训练限制的老做法;
  • Google:计划 2027 年初支持;
  • Meta:口头表示支持,但没给出落地承诺。

看得出来,这不是某家公司的公关秀,而是一次行业级的协同。连平时打得头破血流的四家,能在同一天签字,说明”训练数据合规”这件事,已经从道德议题变成了实打实的商业风险——官司打多了,谁都想有个明确的规则来自保。

先泼三盆冷水:这个开关救不了已经发生的事

别急着欢呼,这个统一开关有三个硬伤,得先说清楚。

第一,不溯及既往。 你在 robots.txt 里加上这条信号之后,才开始算数;加之前已经被抓走、被吃进模型的数据,吐不出来。模型权重一旦训练完成,里面”记住”的东西是删不掉的。这本质上是个”亡羊补牢”式的开关——羊已经丢了一大群,现在才把圈门修好。

第二,它是自愿遵守,不是强制标准。 Internet Draft 目前还是提案阶段,四巨头是”宣布支持”,靠的是行业自律。万一哪天有家小公司或者某个开源爬虫不认这个信号,你拿它也没太多办法。法律层面的强制力,还得看各国后续的立法。

第三,执行细节各家自己定。 “支持”这个词弹性很大:是爬虫看到信号就整站跳过,还是只跳过训练用途但照常索引?边界情况怎么处理?这些都得看 2027 年各家落地时的具体实现。

对内容创作者真正的意义:从”被白嫖”到”有筹码”

抛开这些冷水,这个信号的真正价值可能不在”退出”本身,而在它顺手搭起来的另一套逻辑:既然”不许用”有了统一的表达方式,那么”允许用,但是得付费”也有了统一的谈判框架。

你想啊,以前 AI 公司白嫖内容的借口之一就是”规则太乱,我们也不知道你让不让用”。现在规则统一了,这个借口就没了。不退出的内容,理论上就可以谈授权、谈价格——已经有出版商在和 AI 公司谈内容授权合作了。对普通站长和自媒体来说,手里的 robots.txt 从一张废纸,变成了一张谈判桌上的筹码:退出,是底线;不退出,是可以明码标价的。

当然,个人小站的议价能力依然弱,授权价格也不透明,这条路不会一夜之间走通。但方向是对的:数据的价值,第一次被写进了互联网的基础设施层,而不是停留在律师函和口水仗里。

写在最后

`__usage_ai-training` 这串字符看起来不起眼,但它可能是近几年内容行业最重要的一个技术细节。它承认了一个朴素的道理:你的内容,你说了算——至少从现在开始,往后算。

已经被吃掉的数据要不回来,这是现实;但往后每一天新产生的内容,都有了一个统一的”不”字可说。对写作者来说,这不是胜利,是终于拿到了上谈判桌的入场券。至于这张入场券能换来多少钱,得看接下来各家怎么落地,以及内容行业自己争不争气。建议所有做网站、做内容的朋友,现在就去了解一下这个信号——2027 年各家正式执行前把规则写好,别等到又一批内容进了训练集,才想起来修圈门。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注