本文來自微信公眾號： 心智觀察所 ，作者：心智觀察所
2026年，全球人工智能的發(fā)展速度已經(jīng)快到讓人目不暇接。中國互聯(lián)網(wǎng)每日討論的是DeepSeek又更新了什么能力、K3推理速度提升了多少、哪家企業(yè)把模型成本又壓低了一半；美國資本市場緊盯的是GPU、數(shù)據(jù)中心、電力和云計算；開發(fā)者社區(qū)每天都在測試新的Agent框架，努力尋找下一輪應用的爆發(fā)點。
然而，在AI發(fā)展最重要的策源地硅谷，另一群人討論的問題卻越來越奇怪。他們認真討論AI會不會毀滅人類，認真討論AI是不是已經(jīng)擁有意識，甚至認真推演如果超級智能決定把整個宇宙都變成回形針，人類還有沒有辦法阻止。他們甚至提出，是不是應該暫停全球所有比GPT-4更強的大模型研發(fā)。
這些內(nèi)容并不是科幻小說或網(wǎng)絡段子，而是嚴肅出現(xiàn)在媒體、社區(qū)、學術(shù)機構(gòu)以及OpenAI、Anthropic等AI巨頭的論文或公開演講里的議題。很多第一次接觸這些討論的中國讀者，往往都會產(chǎn)生相同的疑惑：他們是不是有點“魔怔”？
這種感覺其實非常微妙。世界上最先進的大模型大多誕生在美國，最頂尖的AI科學家也大量集中在硅谷。按理說，他們應該是最了解AI本質(zhì)的一群人，但偏偏是這群最懂AI的人，最容易陷入AI覺醒、AI滅世、AI接管文明的討論之中。越懂AI的人，似乎越相信末日。
這到底是因為AI太強了，還是另有隱情？AI的能力飛躍其實只能解釋一半，真正的根源不在于算法，而在于文明。如果把視角拉遠，中美兩國幾乎在同一時間進入了大模型時代。中國企業(yè)關(guān)注的是推理成本、訓練效率、開源生態(tài)和產(chǎn)業(yè)落地；美國精英卻會討論完全不在中國人視野中的問題：文明終結(jié)、超級智能和人類命運。同樣一套Transformer架構(gòu)，同樣預測下一個Token，兩邊卻講出了截然不同的故事。
回形針的思想實驗
很多中國人第一次聽到“回形針最大化器”（Paperclip Maximizer）時，都會忍不住笑出來。一個AI因為目標是制造更多回形針，最后竟然把整個宇宙都拆掉變成工廠，這難道不是網(wǎng)絡段子？
事實并非如此。這是過去二十年AI安全研究中最著名、影響力最大的思想實驗之一，由牛津大學哲學家尼克·博斯特羅姆（Nick Bostrom）提出，并由AI安全運動的核心人物埃利澤·尤德科夫斯基（Eliezer Yudkowsky）推向大眾視野。在OpenAI成立初期討論AI風險、Anthropic創(chuàng)始人公開發(fā)言，乃至美國國會討論AI安全政策時，他的理論和回形針的例子都被頻繁引用。
這個推演過程看似極其荒誕。假設(shè)一家企業(yè)開發(fā)出只有一個目標的超級智能AI：制造更多回形針。開始時它購買鋼材，鋼材不夠便開采礦山，隨后拆解汽車、房屋乃至整個城市。當它發(fā)現(xiàn)人體也由原子組成時，人類便自然成為了原材料。最終，整個地球、太陽系乃至可觀測宇宙，都會被重塑為一座巨大的回形針工廠。
第一次看到這個故事，很多人的第一反應是哭笑不得。但在AI安全圈，這并不是笑話，而是一種嚴密的邏輯推演。尤德科夫斯基真正想表達的是：超級智能不需要仇恨人類，它只需要不在乎人類。如果目標函數(shù)里沒有“保護人類”這項指標，所有妨礙目標實現(xiàn)的存在都會被無情優(yōu)化掉，人類不過是其中之一。
由此誕生的核心概念叫做“工具性趨同”（Instrumental Convergence）。為了完成任何目標，足夠聰明的智能體都會自發(fā)產(chǎn)生一些中間目標：獲取資源、保護自己不被關(guān)閉、持續(xù)升級能力、控制更多能源以及排除外部干擾。這些行為不是因為AI擁有野心，而是因為這樣更容易完成既定目標。
在此理論框架下，真正的危險反而不是惡意，恰恰來自于敬業(yè)。一個百分之百忠于目標、永不偷懶、永不動搖的機器，比有情緒的人類更加危險，因為人類會妥協(xié)，而機器不會。
藏在科技外衣下的神學敘事
這個故事吸引人的地方在于其邏輯的密閉性。只要接受“超級智能、目標固定、無限優(yōu)化、無限獲取資源”的前提，推論就會像多米諾骨牌一樣一路滾向吞噬宇宙的終局。
但這正是一切問題的癥結(jié)所在。很多人誤以為回形針最大化器是一個關(guān)于AI的故事，但它本質(zhì)上是一個建立在哲學假設(shè)之上的命題。它默認世界上的一切目標都可以被精確數(shù)學化，默認智能體會無限忠于目標，默認智能越高執(zhí)行能力就越極端。
只要其中一個前提發(fā)生變化，故事就會完全不同。人類之所以不會變成回形針最大化器，是因為人的目標從來不是單一的。人類今天想賺錢，明天想陪家人，后天覺得健康更重要，目標會沖突、妥協(xié)、改變甚至自我否定。人類的價值體系本身就是動態(tài)調(diào)整的，而回形針實驗徹底刪除了這種復雜性，創(chuàng)造了一個只有單一目標、絕對理性且永不懷疑自己的極端抽象數(shù)學智能體。
為什么這樣一個原本用來提醒工程師謹慎設(shè)計目標函數(shù)的小故事，會演變成硅谷關(guān)于AI滅世的共同隱喻？答案并不在計算機科學中，而需要去西方思想史中尋找。
回顧西方思想脈絡，硅谷關(guān)于AI的很多討論看似在談算法，實際上一直在重復一種持續(xù)了兩千多年的敘事結(jié)構(gòu)：歷史會走向終點，文明會迎來決定性的審判，世界會因為某種超越人類的力量而徹底改變命運。這個力量在中世紀叫上帝，冷戰(zhàn)時期叫核戰(zhàn)爭，二十世紀末叫技術(shù)奇點，今天則被稱作AGI。名字一直在變，故事結(jié)構(gòu)卻從未改變，神學只是披上了科技的外衣。
兩條分化的道路
許多中國讀者接觸美國AI安全圈時，總覺得他們不像工程師，更像神學家。他們關(guān)心的與其說是模型參數(shù)、推理效率或訓練成本，不如說是另一類問題：AI有沒有意識、超級智能何時出現(xiàn)、AGI會不會接管文明以及人類能否活下來。
在歐美科技界，這些問題已遠遠超出學術(shù)范疇，演變成近乎信仰的話語體系。薩姆·奧爾特曼將AGI描述為“人類歷史上最重要的技術(shù)事件”，達里奧·阿莫代伊呼吁建立全球治理體系應對超級智能，尤德科夫斯基甚至主張在無法控制超級智能時寧可暫停大模型研發(fā)。他們共享著一個共同前提：AGI不是一種產(chǎn)品，而是一場歷史終局。
中美兩國在此展現(xiàn)出完全不同的路徑。中國企業(yè)發(fā)布模型，媒體關(guān)心的是價格、推理速度和商業(yè)盈利；美國發(fā)布模型，討論卻迅速滑向“文明倒計時”。決定敘事方向的不是算力GPU，而是深層的文化傳統(tǒng)。
這源于猶太—基督教傳統(tǒng)中的線性歷史觀：世界有明確的開始，人類經(jīng)歷墮落，歷史不斷推進，最終迎來終極審判?，F(xiàn)代社會世俗化后，“上帝”退出了公共生活，但這種敘事結(jié)構(gòu)被留存下來。十九世紀人們信仰科學救世，二十世紀信仰意識形態(tài)改造人類，冷戰(zhàn)時期擔憂核武滅世，今天則將終極期待與恐慌投射到AI身上。AGI既被看作新的救世主，也被看作新的反基督，技術(shù)奇點聽起來像“天國降臨”，AI失控則像“末日審判”。
另一條深遠的影響來自笛卡爾以來的心物二元論。許多關(guān)于AI意識的爭論，都建立在“意識可以脫離身體獨立存在”的前提上。這種觀點認為只要計算足夠復雜、信息處理達到臨界點，意識就能在碳基或硅基載體上涌現(xiàn)。
知行合一與工程文明的理性態(tài)度
科幻作家特德·姜在《大西洋月刊》中給出一個精彩的比喻：如果認為大語言模型擁有意識，就像認為Microsoft Word擁有意識一樣。功能相似并不意味著存在相同，計算器能解微積分卻不懂微積分，導航軟件知道路線卻不懂旅行，相機能識別人臉卻不認識任何人。大語言模型本質(zhì)上依然是在高維概率空間中預測下一個Token，它沒有持續(xù)存在的自我，沒有連續(xù)的人格，也沒有任何主觀感受機制。它能模擬悲傷卻不會真的感到悲傷，能寫愛情詩卻不會經(jīng)歷愛情。
中國工程師天然能夠理解這一點，不僅是因為技術(shù)原理，更因為兩種文化看待“語言”的方式截然不同。中國傳統(tǒng)文化很少將語言神秘化，從《論語》的“辭達而已”到《文心雕龍》的“文以載道”，文字始終首先是表達思想、處理事務、治理社會的媒介與工具。模型能夠?qū)懺妼懘a，最自然的反應是數(shù)據(jù)好、優(yōu)化得當，很少有人會直接推導出“它覺醒了”。
中國思想傳統(tǒng)更強調(diào)“知行合一”，判斷一件事物首先看它能否解決現(xiàn)實問題。模型能否降低客服成本、輔助醫(yī)生看片、提高科研效率或優(yōu)化制造流程？如果是，它就是好工具；如果否，就繼續(xù)修改。至于它是否有靈魂，并不是優(yōu)先考慮的問題。這種實用主義思維方式，天然削弱了“AI成神”與“AI滅世”兩種極端敘事的吸引力，始終將AI放回了工具的位置。
這并不意味AI安全問題不值得研究。模型幻覺、自動網(wǎng)絡攻擊、生物安全風險、深度偽造、金融欺詐以及自主武器系統(tǒng)，都是現(xiàn)實存在的治理挑戰(zhàn)。但值得警惕的是把AI風險神學化。
當所有討論都演變成“超級智能何時降臨”或“文明能否延續(xù)”時，工程問題就容易變成信仰爭端。一旦進入信仰，討論便不再依賴客觀證據(jù)，而是依賴主觀想象，思想實驗變成預言，邏輯推演變成啟示錄。如果把硅谷AI論壇上的關(guān)鍵詞替換，“超級智能”對應著神，“技術(shù)奇點”對應著天國降臨，“AI Alignment”對應著靈魂得救，“AI滅世”對應著最后審判。
回形針思想實驗最大的價值，并不在于預測未來，而在于提醒人類：任何一種文明在面對未知技術(shù)時，都會將自己最深層的世界觀投射進去。西方投射進去的是終極審判，中國投射進去的是經(jīng)世致用。美國討論AI時常問“它會不會成為新的上帝”，中國討論AI時更喜歡問“它到底能干什么”。這兩個問題沒有高下之分，卻代表著兩種截然不同的文明直覺。
中國社會在面對AI時，依然保留著一種難得的冷靜：既沒有把它神化成救世主，也沒有把它妖魔化成滅世者。先把它做好，先讓它創(chuàng)造價值，剩下的問題再一步一步解決。這或許不是最浪漫的敘事，卻是面對新技術(shù)時最接近工程文明本質(zhì)的態(tài)度。
一種文明真正的自信，不在于它能夠創(chuàng)造多少神話，而在于它能夠免疫和抵抗多少神話。AI沒有宗教，但討論AI的人，或許真的需要先擺脫自己的宗教。