Web服務提供商CloudFlare已推出了一系列新的AI爬行者工具，例如AI Audit和Block AI刮刀和爬網。這些工具旨在使網站所有者，創建者和出版商更容易決定是否允許AI爬網訪問其內容。在這方面，Cloudflare說：“當AI爬網訪問網站內容時，所有CloudFlare用戶都可以對其進行審核和控制。”
AI審核可以監視AI爬網的類型和特定活動。具體而言，AI審核從網站訪問中收集的日誌，並尋找與已知AI爬網的用戶代理，並彙總了每個爬網的活動。它還將提供過濾器，以便網站管理員可以從特定來源看到AI爬網的活動。通過AI審核，網站管理員可以查看AI爬網的各種行為，包括訪問的頻率和訪問的特定內容。此外，網站管理員還可以通過AI審核查看網站的“最受歡迎的內容”，以掌握相關內容在一定時期內被抓取的次數。
Cloudflare的博客文章說：“我們認為您應該知道為什麼，何時以及多久爬行您的網站。使用此數據，您可以開始分析AI爬網訪問您的網站的方式。透明此外，Cloudflare指出了“許多人工智能公司使用多個爬行者來完成不同的任務。這些差異很重要。從不同類型的爬行者中進行掃描會影響您的網站的流量或內容歸因。“
另一方面，阻止AI刮刀和爬網工具允許網站經理一鍵阻止所有AI爬行者。關於這個工具，Cloudflare說：“此單鍵選項將根據Cloudflare維護的列表阻止已知的AI爬網訪問者訪問您的網站。透明阻止時，您和您的團隊可以對接下來的內容做出更舒適的決定。”
據報導，如果網站管理員決定“不允許爬行，”它只需要保留阻塞AI刮板和爬網。如果您想允許某些AI爬行者有選擇地爬網，CloudFlare還支持網站管理員這樣做。管理員還可以創建規則喜歡“阻止所有AI爬行者，除了特定平台的爬行者S。”Cloudflare強調了這一點“除了應用這些新過濾器外，我們還建議客戶考慮更新其服務條款以涵蓋此新用例。“
值得一提的是，Cloudflare還宣布將於明年推出一個市場，使AI公司可以為網站內容的刮擦權付費。根據CloudFlare的說法，網站運營商可以將其網站放在這個市場上，如果AI開發人員願意為其內容付費，他們可以為後者提供一個界面，用於刮擦網站內容以培訓大型AI模型。
