Cloudflare 升级 AI 爬虫管控：从一键拦截转向三段式分类策略

事件概述

Cloudflare 宣布重新设计其 AI 爬虫管控机制，从原来的统一拦截模式转变为三段式分类管理。这一调整意味着网站所有者可以根据 AI 爬虫的用途、来源和请求频次等维度，选择更细粒度的处理方式。

核心变化

• 三段式分类：将 AI 爬虫划分为不同类别，每一类对应不同的响应策略（如允许、限制、拦截）。
• 从“一刀切”到分级治理：此前用户只能开启或关闭所有已知 AI 爬虫的访问，现在可以针对不同类别的爬虫独立设置规则。
• 面向网站所有者的控制面板：新的管控界面提供了更清晰的爬虫分类视图，并支持批量调整策略。

值得关注

此次升级反映了行业对 AI 数据采集日益精细化的管理需求。Cloudflare 作为 CDN 和安全服务商，正在从被动拦截转向主动分类治理，以帮助网站在保护内容的同时，为合规的 AI 训练数据抓取保留通路。