互联网

四大 AI 实验室统一 robots.txt 训练退出标记,微软另加页级 AI Grounding 偏好

来源:微软Bing    作者:Krishna Madhavan      2026年11月12日 15:40

导语:微软 10 月 30 日宣布,为网页发布者提供"训练"与"落地(grounding)"两套相互独立的偏好设置,取代 2023 年的 NoArchive 与 NoCache。

摘要

微软 10 月 30 日宣布,为网页发布者提供"训练"与"落地(grounding)"两套相互独立的偏好设置,取代 2023 年的 NoArchive 与 NoCache。训练偏好采用 IETF AI 偏好工作组推动的 robots.txt 共享语法,站点写上 User-Agent: __usage_ai-training 与 Disallow 即可一次表达不用于训练,微软还把该偏好下放到单页层面。落地偏好由微软自定、仅页面级可用,新增 DisallowExtended:只允许在 AI Mode、AI Overview、Copilot、Microsoft 365 等微软自营体验中落地,排除 Web IQ 与 Foundry API 等对第三方提供的落地服务。新偏好自 2027 年 2 月 1 日起随抓取生效,沿用旧标签的站点须在 3 月 1 日前完成迁移,过渡期落地偏好可先在 Bing 网站管理员工具登记,最迟 2027 年 9 月 30 日失效。微软强调这些设置不改变 Bing 搜索结果资格,也不构成授权或付费安排。

正文(译文)

你的内容,你做主:更清晰的训练与落地偏好

微软通过为训练与落地提供相互独立的偏好设置,在行业共同训练偏好的基础上扩大网页发布者的选择权,同时不改变 Bing 搜索结果的收录资格。

发布者不应被迫在"在 Bing 中被发现"和"决定生成式模型如何使用自己的作品"之间做选择。2023 年,微软是首家通过 NoArchive 和 NoCache 标签为发布者提供 AI 训练与落地控制的企业。今天,我们在这项承诺的基础上推出更新、更简单、更清晰的偏好设置,让你可以就训练、落地或者两者分别作出选择,同时保持被 Bing 搜索结果收录的资格。

本公告涉及网页发布者对于经由我们爬虫采集、用于训练或用于生成回答(包括 Bing、Copilot 和 Microsoft 365 中基于网页的回答)的网页内容的偏好。

扩大网页发布者的选择权与透明度

微软正与其他行业参与者合作,把一套共享的 AI 训练偏好带给站长和发布者。这一步推进了互联网工程任务组(IETF)AI 偏好工作组一年多的努力,目标是形成全球统一的 AI 偏好实践,相关成果见一份 Internet-Draft。该 AI Training 语法为网页发布者提供了一种更简单、更通用的方式,在 robots.txt 中表达训练偏好,目的是降低同一份内容在不同平台之间适配偏好的复杂度。尽管 IETF AI 偏好工作组仍在推进最终标准,我们认为当前成果已经取得值得采纳的重大进展。我们清楚仍有工作要做,微软将继续积极参与这一全球标准进程。

微软在共享的 AI Training 偏好之上,新增了一套独立的 AI Grounding 偏好,为网页发布者提供更细粒度、彼此独立的训练与落地选择:

AI Training 是在 robots.txt 中针对站点或路径表达的共享偏好。微软将把同一偏好扩展到页面层级,以便在需要时覆盖单个页面的 robots.txt 设置。

AI Grounding 是微软提供的独立页面级偏好,让你管理内容如何被用于帮助形成生成的回答。除用于阻止落地使用的 Disallow 之外,微软还推出一项新的细粒度偏好 DisallowExtended。它把落地使用限制在微软自营体验内,例如 AI Mode、AI Overview、Copilot 和 Microsoft 365,并排除微软向第三方提供的落地服务,例如 Web IQ 以及通过 Foundry 中 API 访问提供的落地。若未表达落地偏好,你的内容可能被用于帮助形成生成的回答。

这些偏好将取代微软现有的 NoArchive 和 NoCache 训练与落地偏好,带来更大的灵活性与更清晰的偏好表达。自 2027 年 2 月 1 日起,微软将在抓取时遵循新偏好:robots.txt 中的 AI Training 偏好适用于相应站点或路径,页面级的 AI Training 与 AI Grounding 偏好适用于单个页面。页面级设置的 AI Training 偏好会覆盖 robots.txt 设置。如果我们在站点上检测到新的 AI Training 或 AI Grounding 偏好,将不再理会该站点上可能残留的 NoArchive 和 NoCache 偏好。

这些偏好让你能够管理内容是否可用于未来的 AI 生成模型训练与落地体验。

如果你为落地选择 DisallowExtended 或 Disallow,你在 AI 体验中的品牌曝光将会减少。落地在生成回答时把生成内容与网页内容连接起来,将相关来源和网页发布者的专业能力带入回答。允许落地会使你的内容有资格参与形成这些回答,并通过链接与引注提供通往原内容的路径。允许训练则有助于改进未来的生成式模型。两种选择都不保证被收录、带来流量或获得付费。

请在 2027 年 3 月 1 日前采取行动

新偏好将于 2027 年 2 月 1 日随微软抓取生效。如果你的站点目前使用 NoArchive 或 NoCache,我们建议改用这些新偏好来管理内容是否可用于训练和落地,并在 2027 年 3 月 1 日前完成相应步骤:

AI Training:在 robots.txt 或单个页面上发布你的 AI Training 偏好。

AI Grounding:在单个页面上发布 AI Grounding 偏好,并在 Bing 网站管理员工具中登记临时的过渡落地偏好。对每个页面,临时偏好有效期至页面被重新抓取或 2027 年 9 月 30 日,以较早者为准。

若要维持你所选的偏好,请在 2027 年 3 月 1 日前完成上述步骤;此后,NoArchive 和 NoCache 将不再作为训练或落地偏好被读取。


(文章为作者独立观点,不代表艾瑞网立场)
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们

Copyright© 沪公网安备 31010402000581号 沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号