Cloudflare新市場將讓網站向AI機器人收費進行爬蟲

Cloudflare宣布計劃在明年推出一個市場，讓網站所有者向AI模型提供者出售訪問權以爬取其網站內容。該市場是Cloudflare首席執行官Matthew Prince的更大計劃的最後一步，旨在讓發布者對AI機器人何時以及如何爬取其網站擁有更大控制權。在一次接受TechCrunch採訪時，Prince表示：「如果您不以某種方式償還創作者，那麼他們就會停止創作，這是必須解決的問題。」 作為新計劃的第一步，Cloudflare於週一推出了名為AI Audit的免費可觀察性工具，供客戶使用。網站所有者將獲得一個儀表板，可以查看為什麼、何時以及多久AI模型在爬取他們的網站信息。Cloudflare還將允許客戶通過點擊按鈕阻止AI機器人訪問其網站。網站所有者可以使用AI Audit阻止所有使用AI的網站爬蟲，或者如果有協議或發現其爬取有益，可以允許某些網站爬蟲訪問。 TechCrunch分享的AI Audit演示顯示了網站所有者如何使用這個工具，該工具能夠查看訪問您網站的每個爬蟲來自哪裡，並提供選擇性視窗，看看OpenAI、Meta、亞馬遜等AI模型提供者的爬蟲訪問您網站的次數。Cloudflare正試圖解決AI行業面臨的一個問題：如果人們前往ChatGPT而不是其網站，那麼小型發布商在AI時代該如何生存？如今，AI模型提供者爬取數千個小型網站的信息，以供其LLM使用。雖然一些較大的發布商已與OpenAI達成協議授權內容，但大多數網站卻一無所得，但其內容仍然每天被餵入熱門AI模型。這可能會破壞許多網站的業務模式，減少它們迫切需要的流量。今年夏天早些時候，AI動力搜索初創公司Perplexity被指控爬取明確表示不希望被爬取的網站，使用機器人排除協議。不久之後，Cloudflare推出了一個按鈕，以確保客戶可以一鍵阻止所有AI機器人。Prince說：「那是我們聽到的挫折感，人們感到他們的內容被盜用。」 一些網站所有者告訴商業內幕，AI機器人爬取其網站的頻率如此之高，使其感覺像是一場破壞其服務器的DDoS攻擊。您的網站被爬取不僅可能令人惱火，還可能增加您的雲端費用並影響您的服務。 但如果您想要阻止Perplexity的機器人，但不想讓OpenAI的機器人進入？Prince告訴TechCrunch，Cloudflare的客戶正在要求允許他們選擇何種AI模型可以訪問他們的網站的工具。今天推出的Cloudflare的新工具將允許客戶阻止一些AI爬蟲，同時允許其他爬蟲訪問。根據Prince的說法，即使已與OpenAI達成授權協議的大型發布商（如TIME、康泰納仕和大西洋），也對ChatGPT爬取其網站的次數了解相對很少。他們中的許多人必須接受OpenAI告訴他們的內容，但這個答案將決定這些發布商是否得到了良好的授權協議。但Cloudflare的市場，預計在明年推出，也旨在讓小型發布商與AI模型提供者達成協議。Prince表示：「讓你們所有人都能做的事情只有Reddit、Quora和世界上的大發布商以前才能做到。假如我們讓你設定，有效地為訪問和取得您的內容以吸收這些系統。」 儘管這是一個大膽的想法，Cloudflare並未分享其市場將是什麼樣子。Prince表示，網站可能根據AI爬取個別網站的速率收費，但尚不清楚他們將支付多少。此外，他表示，網站可能收取一筆金錢費用以進行爬取，或者只是要求AI實驗室給予他們信譽。細節尚不明朗。 儘管AI公司最初可能對於支付他們目前免費獲得的內容並不感到興奮，但Cloudflare首席執行官表示，他認為這對AI生態系統來說是好事。Prince表示，當前的局面，一些AI公司永遠不會為內容付費，這是不可持續的。