随着人工智能技术的飞速发展，以 ChatGPT、Claude 等为代表的生成式 AI 正在重塑信息检索的方式。然而，这背后隐藏着一个巨大的挑战：数据来源。为了应对这一挑战，全球领先的网络安全与边缘计算服务提供商 Cloudflare 近日正式宣布了一项影响深远的新规，旨在重新定义互联网上数据的访问权限。
根据 Cloudflare 于 7 月 1 日发布的公告，从 9 月 15 日起，Cloudflare 将默认阻止 AI 代理爬虫抓取其网络上的网页。这一举措意味着，除非网站所有者明确给予许可，否则任何旨在实时获取数据以回答用户查询的 AI 机器人将被无情地挡在门外。
这一变化的核心在于将“数据抓取”的默认逻辑从“允许”转变为“需要许可”。长期以来，搜索引擎（如 Google）的爬虫一直享有“默认通行证”，它们可以自由地浏览和索引互联网内容。然而，AI 代理的出现打破了这一平衡。不同于传统的搜索引擎，AI 代理不仅仅是索引页面，它们会在后台实时“阅读”内容，并将其转化为答案，甚至直接执行操作。这种更深入的数据访问方式，使得内容所有者面临着前所未有的数据泄露和版权风险。
值得注意的是，虽然大多数科技媒体在报道这一新闻时，首先关注的是 Google 的动向，但 Cloudflare 宣布的这一规则实际上具有更广泛的影响。它不仅仅针对 Googlebot，而是涵盖了所有 AI 代理爬虫。这意味着，OpenAI 的 GPTBot、Anthropic 的 Claude Bot 以及其他任何使用 AI 代理技术的服务，都将受到这一规则的约束。
对于网站所有者而言，这无疑是一个重大利好。这一新规赋予了网站主对自身数据的绝对控制权。在过去，网站主往往难以区分哪些爬虫是友好的搜索引擎，哪些是恶意的数据挖掘者。而现在，通过 Cloudflare 的新机制，网站主可以精确地控制哪些 AI 服务可以访问他们的内容，哪些则被拒之门外。
那么，网站所有者该如何利用这一新规来保护自己的利益呢？Cloudflare 提供了清晰的指引。网站管理员可以通过修改网站的 robots.txt 文件，或者直接在 Cloudflare 的控制面板中进行配置，来明确列出允许访问的 AI 代理标识符。例如，如果一家网站希望允许 Google 访问但拒绝其他所有 AI 代理，他们可以精确地设置这一白名单。这种精细化的管理能力，是过去从未有过的。
这一变革在行业内引发了广泛的讨论。支持者认为，这是互联网迈向“数据主权”时代的重要一步。随着内容价值的不断提升，内容创作者和拥有者理应获得相应的收益和尊重。通过要求 AI 公司在抓取数据前获得许可，可以促使这些公司更加尊重版权，甚至可能推动数据付费模式的兴起。另一方面，也有人担心这可能会阻碍 AI 的发展。如果大多数网站选择拒绝 AI 爬虫，AI 模型的训练数据来源将大幅缩减，从而影响生成式 AI 的能力。
无论如何，Cloudflare 的这一举措已经改变了游戏规则。它标志着互联网正在从“开放抓取”时代进入“授权访问”时代。对于 AI 开发者来说，这意味着他们需要更加主动地与网站所有者沟通，寻求数据访问权；而对于网站所有者来说，这把钥匙已经交到了他们手中，他们可以决定谁有权窥探他们的数字花园。
信息来源：AI News，原文链接：https://www.artificialintelligence-news.com/news/ai-agent-crawlers-cloudflare-rules/
封面图片来源：Unsplash / 摄影师 Brett Jordan
