本文來自微信公眾號(hào)： 碳基智 ，作者：碳基智
兩年前我參加了機(jī)械工業(yè)出版社的年度作譯者大會(huì)，了解到了出版行業(yè)所面臨的挑戰(zhàn)與困境，總體上看，整個(gè)行業(yè)是很明顯走在下行路線上的。機(jī)工社是國內(nèi)在計(jì)算機(jī)科學(xué)等方面做得很突出的出版社，很多高校在使用的計(jì)算機(jī)教材也是機(jī)工社出的，但這樣的頭部出版社的日子都不好過。
我還有一個(gè)朋友，畢業(yè)以后就去了北京的某出版集團(tuán)，這兩年年終獎(jiǎng)也是從晚發(fā)到不發(fā)，集團(tuán)也開始了改制，員工都要去二級(jí)單位下放掛職，美其名曰鍛煉，不愿意接受的，年紀(jì)大的可以提前退休，沒到年紀(jì)的可以協(xié)商離職拿大禮包。
出版行業(yè)的境遇已經(jīng)大不如前，AI時(shí)代下出一本書的周期尚且還要3個(gè)月左右的流程，而從openclaw剛開始火到無人問津的時(shí)間，滿打滿算都到不了3個(gè)月。人類學(xué)習(xí)的主流方式，已經(jīng)從閱讀書籍轉(zhuǎn)向AI交互了。一句簡單的“豆包豆包”，比買一本書，翻到具體的章節(jié)，再去自己思考咀嚼文字，沉淀為自己的知識(shí)，省心太多。
但最近，事情有了新的變化。
1
在生成式AI大行其道之前，互聯(lián)網(wǎng)上的信息爆炸已經(jīng)持續(xù)發(fā)生了很多年，人類生產(chǎn)者各種各樣的文本數(shù)據(jù)，文章也好、商品說明也好、論壇撕逼蓋樓也好、包括所謂的內(nèi)容農(nóng)場生成的各種垃圾信息，歸根結(jié)底的默認(rèn)前提還是——由人或團(tuán)隊(duì)組成。
但當(dāng)生成式AI開始流行之后，這個(gè)前提失效了?；ヂ?lián)網(wǎng)史上積累的海量文本數(shù)據(jù)，迅速地被模型訓(xùn)練這個(gè)無底洞給吃空了，以至于現(xiàn)在甚至是AI生成語料數(shù)據(jù)以供AI訓(xùn)練，一整個(gè)左腳踩右腳，武當(dāng)梯云縱了。模型數(shù)據(jù)團(tuán)隊(duì)面對(duì)的問題從“哪里還有更多文字”變成了，“這些字究竟從哪里來”。
這時(shí)，紙質(zhì)舊書說，Now you see me。
2022年后，各大內(nèi)容平臺(tái)的AI過擬合現(xiàn)象已經(jīng)開始達(dá)到令人發(fā)指的狀態(tài)：無論是各類文章文案中的不是而是句式，還是各大短視頻平臺(tái)的AI短劇中，男男女女老老少少，同樣的皺眉瞪眼表情神態(tài)，都說明了同樣的一個(gè)問題，當(dāng)模型訓(xùn)練數(shù)據(jù)開始趨同時(shí)，AI的外顯表現(xiàn)將會(huì)產(chǎn)生令人不適的特征，說人話就是沒有活人感。
前一陣看到雨果獎(jiǎng)得主郝景芳說自己最新小說一半由AI完成，這令我非常反感。但凡你在寫作方面深度使用過AI，你就能知道AI寫不出一個(gè)稍微有點(diǎn)文字審美追求人所能接受的東西。
2022年前出版的舊書，不能保證內(nèi)容正確，也不能保證寫得好，卻能在很大程度上排除現(xiàn)代生成式AI參與到正文生產(chǎn)流程。對(duì)訓(xùn)練團(tuán)隊(duì)來說，這種排除能力就是確定性。
當(dāng)互聯(lián)網(wǎng)上的訓(xùn)練語料已經(jīng)被窮盡時(shí)，那些沒有被傳到網(wǎng)上的，冷門的、無人問津的舊書，反而開始值錢了。
2
舊書的優(yōu)勢常被縮成一句“沒有AI污染”，這只說完了一半?；ヂ?lián)網(wǎng)上沒有被AI“改造”過的舊網(wǎng)頁也很多，其中照樣充滿轉(zhuǎn)載、營銷軟文、斷章取義、標(biāo)題黨和沒人校對(duì)的廢話。
紙質(zhì)出版物真正有用的地方，在于它通常經(jīng)過一條專業(yè)的生產(chǎn)鏈的檢驗(yàn)：作者完成長篇表達(dá)，編輯判斷是否值得出版，校對(duì)處理錯(cuò)誤，章節(jié)結(jié)構(gòu)維持上下文，出版社承擔(dān)品牌和法律責(zé)任。
從機(jī)器學(xué)習(xí)的視角看，這套流程很像人類提前完成的篩選、標(biāo)注和格式化。一本三百頁的書圍繞同一主題展開，術(shù)語和敘述口徑相對(duì)穩(wěn)定，論證能跨越數(shù)萬字保持上下文。
普通網(wǎng)頁往往只有幾百字，鏈接失效、廣告插入、頁面模板和SEO內(nèi)容又制造大量噪音。書籍當(dāng)然并不天然正確，出版業(yè)也出過無數(shù)爛書，但從平均來看，它依然提供了比隨機(jī)網(wǎng)頁更密集、更連續(xù)的語言信號(hào)，而這，對(duì)大語言模型就是足夠珍貴的價(jià)值。
3
傳統(tǒng)舊書市場里，冷門通常意味著賣不動(dòng)，但模型訓(xùn)練改變了這個(gè)關(guān)系。
暢銷名著已經(jīng)被多次數(shù)字化、引用、節(jié)選和討論，它們很可能重復(fù)出現(xiàn)在公開語料中；一本地方鐵路志、九十年代軟件手冊(cè)、少數(shù)語種植物圖譜或絕版行業(yè)年鑒，讀者很少，反而可能提供模型從未見過的術(shù)語、事實(shí)和表達(dá)。
Nature 2024年關(guān)于模型坍塌的研究解釋了這個(gè)現(xiàn)象。模型遞歸學(xué)習(xí)模型生成的數(shù)據(jù)時(shí)，最早丟失的是原始分布的尾部，也就是低概率事件和少見表達(dá)。高頻內(nèi)容會(huì)越來越高頻，冷門知識(shí)更容易被抹掉。研究還發(fā)現(xiàn)，保留一部分原始訓(xùn)練數(shù)據(jù)能明顯減輕退化。對(duì)下一代模型來說，舊書的價(jià)值不只在干凈純粹，還在于保存那些統(tǒng)計(jì)意義上不常見的東西。
西班牙書商Mar?al Font發(fā)現(xiàn)，有買家愿意為四本長期積壓的加泰羅尼亞語非虛構(gòu)支付35歐元書款和67歐元運(yùn)費(fèi)。荷蘭書商收到的清單包含指定語言和版本。相關(guān)買家的真實(shí)用途仍有爭議，Zoom Books也公開否認(rèn)參與AI抓??；這些訂單至少說明，過去由終端讀者決定的“有沒有用”，正在被另一套采購標(biāo)準(zhǔn)改寫。
冷門舊書沒有突然擁有更多讀者。它只是突然擁有了一個(gè)不閱讀、卻愿意為稀有信息付錢的新買家，并且這個(gè)買家又有錢，胃口還大得驚人。
A÷就曾花費(fèi)數(shù)百萬美元購買數(shù)百萬本紙質(zhì)書，拆解掃描，每本生成帶有機(jī)器可讀文本的PDF，它還從盜版庫里取得大量電子書，用于模型訓(xùn)練。
而因?yàn)樗蛇^的這些事，讓它在和解時(shí)支付了超過15億美刀的費(fèi)用，但它老老實(shí)實(shí)掏錢買的作為訓(xùn)練用途的，則被法院認(rèn)定是可以支持的。
這還是挺有意思的，你覺得類似這樣的現(xiàn)象還會(huì)發(fā)生在哪些領(lǐng)域？