本文來自：游云庭，題圖來自：AI生成
隨著人工智能產業(yè)的快速發(fā)展，其引發(fā)的矛盾也日益突出，AI在訓練階段使用了互聯網上的海量版權材料，卻未向版權人付費。最近全球頂尖的互聯網基礎設施企業(yè)Cloudflare公司推出了一套新方案，希望幫助網站建立AI內容授權與收費機制。而他們最大的絆腳石，則是互聯網頭號搜索引擎和AI巨無霸谷歌，今天就和大家聊下這個事情。
一、Cloudflare如何幫網站向AI公司收費？
先說下Cloudflare是干什么的？Cloudflare是互聯網流量的一層底層關卡，它有能力在內容到達源服務器之前，就決定誰能進、誰不能進。很多朋友訪問海外網站時會遇到一個五秒等待頁面，那就是Cloudflare在替網站過濾網絡攻擊。Cloudflare以CDN（內容分發(fā)網絡）和網絡安全服務起家。目前全球超過20%的網絡流量經過Cloudflare的基礎設施處理，其中包括36%的全球最高訪問量網站。
Cloudflare推新政策時機很微妙，其公布的數據顯示，目前全球互聯網流量中，機器人流量已經首次超過人工流量，其中AI機器人占比快速增長。與此同時，OpenAI、Anthropic等公司商業(yè)模式逐漸成熟，外界普遍預期未來一兩年內將進入資本市場。
而隨著人工智能產業(yè)商業(yè)模式的確立，其和版權人的矛盾卻日益突出。主要矛盾在于，AI在訓練階段使用了全球幾乎所有可獲取的版權材料，卻未向版權人付費。此外，AI若想進一步發(fā)展，需使用版權人創(chuàng)作的新內容，如何為這部分新內容付費成為矛盾焦點。
7月1日，Cloudflare宣布將AI爬蟲正式分為三類：搜索類（Search）、訓練類（Training）和智能體類（Agent，即代替用戶在線執(zhí)行任務的自動化程序）。每一類爬蟲必須明確聲明身份，配合使用獨立的訪問令牌和可驗證的IP段，讓網站主可以精細管理：哪類爬蟲能進、哪類要付費、哪類直接封殺。通過匿名方式或偽造身份爬取的服務商，將可能被Cloudflare在全網范圍內攔截。該方案的核心在于，迫使AI產業(yè)心甘情愿或不得不付費。
二、為什么谷歌被針對了？
但Cloudflare這套新政策要確立，首先得跨越一座叫谷歌的大山。
為什么是谷歌？因為Cloudflare方案的核心是把AI機器人的功能分拆成搜索、訓練和代理三類，而谷歌則是混合用途機器人（Mixed-use Crawler）的代表，Google的AI機器人既承擔搜索，也承擔AI概覽（AI Overview）等AI搜索功能，因此網站難以只允許搜索、拒絕AI概覽。而對網站來說，要么接受谷歌的爬蟲，要么屏蔽，沒有第三種選擇，所以說，谷歌的這個混合用途機器人有點霸道。
但其實本來谷歌建立的搜索商業(yè)模式還算合理：谷歌作為搜索引擎給網站引流，網站獲得了流量，而谷歌則收到了廣告費。但人工智能興起后，谷歌的搜索模式受到了OpenAI和Perplexity等人工智能公司的沖擊，尤其是搜索即時增強功能（RAG模式）的人工智能搜索，可以向用戶直接展現搜索答案，比傳統(tǒng)搜索功能更強大。
為保住市場留住用戶，谷歌也推出了自己的RAG模式，AI概覽功能，直接給用戶答案，不是引流。但AI概覽功能也導致用戶停留在谷歌，被谷歌索引或抓取信息網站的訪問率大減。而且為了強推AI概覽功能，谷歌規(guī)定，被其索引的網站要么接受谷歌的爬蟲，抓取的信息要么屏蔽，沒有第三種選擇。
網站所有人，也就是版權人對此很不滿意，還不得不從。因為如果不接受谷歌的政策，屏蔽其爬蟲，搜索引擎帶來的流量也沒有了，但接受的話，谷歌的AI概覽功能對網站的替代性太強，多家媒體報告稱，AI概覽上線后點擊率和跳轉流量明顯下降。因此，有網站因此起訴谷歌壟斷，利用自身的市場支配地位逼迫網站二選一。
三、為什么兩家公司并非你死我活？
實際上這個事情根子上還是商業(yè)模式的問題，谷歌沒有找到一個公平的商業(yè)模式，使用網站內容，但是要向網站返還商業(yè)上合理的利益，但這個不僅僅是谷歌的問題，而是整個人工智能產業(yè)的問題，所以現在Cloudflare，他作為全球20%流量的入口，推了這樣一個方案，要求人工智能就其使用網站的內容進行訓練付費。
當然，Cloudflare和谷歌的這場博弈并不會一開始就演變成你死我活的斗爭。Cloudflare的新規(guī)則采取了非常克制的推進方式。按其計劃，2026年9月15日以后，新接入Cloudflare的網站默認采用新的AI機器人分類策略，而此前已經接入的網站并不會被強制修改配置，管理員仍然可以自行決定是否調整。這種漸進推進，一方面降低了對互聯網生態(tài)的沖擊，另一方面也給谷歌留下了緩沖和調整空間。
不過Cloudflare這次政策能否成功，并不完全取決于谷歌。真正擁有決定權的，其實是全球數以百萬計的網站背后的版權人。如果頭部出版商網站大規(guī)模跟進，比如美聯社、時代周刊、大西洋月刊等大型媒體已經明確支持Cloudflare的新規(guī)，如果這個形成潮流，AI公司將不得不正視這套框架，要么付費、要么被屏蔽。
但谷歌也不是吃素的，他們雖然忌憚反壟斷法，不會硬頂，但也可以采取軟磨硬扛的策略：一方面通過摻沙子，丟石頭，挖墻腳，直接簽約頭部內容網站，分化對手，繞開Cloudflare的規(guī)則框架；另一方面利用搜索流量的不可替代性靜觀中小網站的反應，想辦法繼續(xù)維持現有格局，如果中小網站不敢輕舉妄動，這套規(guī)則的實際約束力就會大打折扣。
四、Cloudflare方案和著作權集體管理方案的區(qū)別在哪？
同樣為了解決AI訓練素材的合規(guī)問題，此前我國著作權集體管理組織曾提出：以集體管理組織的名義，就人工智能訓練向AI公司收取法定許可費。即訓練行為屬于法定許可范疇，AI服務商需向版權人付費，由著作權集體管理組織作為版權人代表收取該費用，并向版權人進行分配。同時還配套以權利人的選擇退出機制和AI公司對訓練內容的強制披露制度。
但著作權集體管理的方案是法定許可，需要立法先行，而立法流程時間較長，相比之下，Cloudflare的方案實際上更靈活，操作方便，把訓練許可權完全交給了生產內容的互聯網網站，站長可以選擇允許或者不允許AI公司使用其內容用于搜索或者訓練，如果許可訓練的，就可以從Cloudflare的授權機制里獲得相應的許可費。這也是筆者認為Cloudflare方案值得關注的真正原因。
而Cloudflare的方案如果能走通，國內CDN服務商如又拍云、七牛云等以內容網站為主要服務對象的廠商也會跟進，國內的內容網站作為版權人也可以通過此方案獲取授權收入。
最后，AI大模型依靠互聯網內容快速成長，但隨著替代效應越來越明顯，版權訴訟越來越多，AI公司繼續(xù)免費獲取高質量內容的時代正在結束。雖然Cloudflare這次推出的新政策，最終未必能夠完全建立AI內容收費體系，但這個政策將對全球人工智能生態(tài)和內容生態(tài)產生重大影響。AI公司為高質量內容支付成本，很可能只是時間問題。關鍵在于是按自己的規(guī)則付費，還是按Cloudflare或者著作權集體管理組織制定的規(guī)則付費。
本文作者：游云庭，知識產權律師。Email: yytbest@gmail.com，本文僅代表作者觀點。