本文來(lái)自微信公眾號(hào)： Web3天空之城 ，作者：Web3天空之城

01

創(chuàng)業(yè)邏輯的范式轉(zhuǎn)移：從人力密集到算力驅(qū)動(dòng)

在Altman看來(lái)，2014年他所教授的創(chuàng)業(yè)準(zhǔn)則在AI時(shí)代已顯過時(shí)。過去，初創(chuàng)公司的護(hù)城河往往建立在人才的堆砌和組織效率上，但現(xiàn)在的底層邏輯已經(jīng)發(fā)生了根本性扭轉(zhuǎn)?！澳隳艹袚?dān)的目標(biāo)抱負(fù)水平、行動(dòng)速度以及推進(jìn)效率，都已經(jīng)發(fā)生了徹底的改變”。他指出，廉價(jià)且可規(guī)模化的token正在取代昂貴的人力成本，成為初創(chuàng)公司最核心的生產(chǎn)力。

這種轉(zhuǎn)變意味著問題的形態(tài)發(fā)生了變化。Altman認(rèn)為，現(xiàn)在的創(chuàng)業(yè)者不應(yīng)再糾結(jié)于顯而易見的點(diǎn)子，而應(yīng)尋找那些在自動(dòng)化編程和大規(guī)模智能普及之前“完全不可能”實(shí)現(xiàn)的機(jī)會(huì)。他預(yù)測(cè)，未來(lái)幾年將出現(xiàn)僅由少數(shù)幾個(gè)人支撐、卻能創(chuàng)造數(shù)萬(wàn)億美元市場(chǎng)的公司，其核心驅(qū)動(dòng)力不再是工程師的汗水，而是對(duì)模型能力的極限調(diào)用。

02

規(guī)模的魔法：超越共識(shí)的涌現(xiàn)效應(yīng)

作為“縮放定律（Scaling Laws）”的堅(jiān)定信徒，Altman對(duì)“規(guī)?！庇兄跽軐W(xué)層面的理解。他認(rèn)為，規(guī)模不僅僅是量級(jí)的提升，它本身就是一種能夠產(chǎn)生質(zhì)變的系統(tǒng)屬性?！耙?guī)模持續(xù)提供遠(yuǎn)超共識(shí)預(yù)期的回報(bào)，這在AI模型中是真理，在組織結(jié)構(gòu)中亦然”。

他以Y Combinator為例，指出當(dāng)資助規(guī)模擴(kuò)大到一定程度時(shí)，會(huì)產(chǎn)生此前從未發(fā)現(xiàn)的網(wǎng)絡(luò)效應(yīng)。這種“涌現(xiàn)屬性”是無(wú)法在小規(guī)模實(shí)驗(yàn)中模擬的。在OpenAI擴(kuò)展模型時(shí)，盡管當(dāng)時(shí)許多頂尖科學(xué)家認(rèn)為這“算不上科學(xué)成果”，但Altman選擇了押注：“當(dāng)你找到一個(gè)可以突破的時(shí)刻時(shí)，你確實(shí)可以將某項(xiàng)事物推進(jìn)到人們從未嘗試過的規(guī)模，那里隱藏著嚴(yán)重被低估的機(jī)遇”。這種系統(tǒng)設(shè)計(jì)理念要求領(lǐng)導(dǎo)者能夠忍受規(guī)模擴(kuò)張帶來(lái)的加速故障，并具備拆解復(fù)雜問題的系統(tǒng)工程能力。

03

從實(shí)驗(yàn)室到爆款：ChatGPT的偶然與必然

訪談中，Altman揭秘了ChatGPT的誕生過程。令人驚訝的是，這款改變世界的產(chǎn)品最初只是一個(gè)“研究演示”。在GPT-3發(fā)布之初，OpenAI曾陷入無(wú)法找到商業(yè)化產(chǎn)品的困境?！拔覀儺?dāng)時(shí)想，既然想不出該構(gòu)建什么產(chǎn)品，那就把它做成API”。

然而，用戶的行為給出了答案。Altman發(fā)現(xiàn)，即便沒有現(xiàn)成的產(chǎn)品界面，人們依然在利用API key進(jìn)行原始的對(duì)話交互?！氨諽C關(guān)于‘觀察用戶所愛并據(jù)此行動(dòng)’的原則，我們決定開發(fā)一款聊天機(jī)器人”。盡管發(fā)布初期流量經(jīng)歷了劇烈的波動(dòng)，但到第五天時(shí)，Altman意識(shí)到他們手中已經(jīng)握住了一個(gè)爆款。這次成功的核心教訓(xùn)在于：當(dāng)技術(shù)擁有強(qiáng)大的實(shí)用性時(shí)，它會(huì)自行沖破產(chǎn)品設(shè)計(jì)的局限，而前沿實(shí)驗(yàn)室必須具備迅速轉(zhuǎn)型為產(chǎn)品公司的執(zhí)行力。

04

智能公用事業(yè)：像買電一樣購(gòu)買智能

Altman提出了一個(gè)極具洞察力的比喻：智能將成為人類社會(huì)的下一代公用事業(yè)。他將其類比為19世紀(jì)的電力革命。正如當(dāng)年的電力公司不直接賣“電”而是推銷“夜間照明”一樣，現(xiàn)在的AI行業(yè)也需要找到那個(gè)讓大眾易于理解的切入點(diǎn)。

“你可能擁有一種Token訂閱服務(wù)，將其接入所有設(shè)備并用于訪問一切，它始終在后臺(tái)為你運(yùn)行”。Altman認(rèn)為，未來(lái)的商業(yè)重心將從模型訓(xùn)練轉(zhuǎn)向高效的推理服務(wù)。他建議創(chuàng)業(yè)者和投資者關(guān)注技術(shù)棧中的推理部分，即如何讓驚人的智能變得廉價(jià)且普及。這種“智能長(zhǎng)矛”將抽象掉底層的硬件和芯片，讓用戶只需關(guān)注交互的頻次和質(zhì)量。

05

教育的危機(jī)與重塑：元技能的保衛(wèi)戰(zhàn)

面對(duì)AI對(duì)教育的沖擊，Altman坦言自己曾有過“預(yù)測(cè)失誤”。他原以為教育系統(tǒng)會(huì)迅速重塑，但現(xiàn)實(shí)的系統(tǒng)性變革卻比預(yù)想中緩慢?！叭绻覀兝^續(xù)像處于AI時(shí)代前那樣去教授and評(píng)估學(xué)生，那注定是行不通的，這會(huì)導(dǎo)致思維能力的萎縮”。

他強(qiáng)調(diào)，盡管AI可以代勞寫作和編程，但這些活動(dòng)背后的思考過程是無(wú)法替代的。教育應(yīng)當(dāng)從單純的技能傳授轉(zhuǎn)向?qū)Α叭绾嗡伎肌边@一元技能的培養(yǎng)?！坝行┦虑榧幢銠C(jī)器能做得更好，我們也依然會(huì)教人們?nèi)プ?，因?yàn)檫@對(duì)理清思路至關(guān)重要”。如果不徹底改變教學(xué)和評(píng)估方式，人類的批判性思維將面臨嚴(yán)重的風(fēng)險(xiǎn)。

06

未來(lái)十年：民主化與資源分配的正義

在訪談的最后，Altman描繪了未來(lái)十年的兩種分態(tài)。最大的分歧點(diǎn)在于技術(shù)的權(quán)力結(jié)構(gòu)：是走向少數(shù)巨頭的壟斷，還是實(shí)現(xiàn)廣泛的民主化？“如果少數(shù)幾家公司掌握了所有資源，世界會(huì)變得相當(dāng)不穩(wěn)定，且非常脆弱”。他承諾OpenAI將竭盡全力推動(dòng)技術(shù)向全球開放，但也預(yù)見到來(lái)自安全議題和權(quán)力追逐者的巨大阻力。

另一個(gè)核心分歧點(diǎn)在于經(jīng)濟(jì)模式的重構(gòu)。隨著杠桿從勞動(dòng)力轉(zhuǎn)向資本，Altman提出了一個(gè)激進(jìn)的構(gòu)想：“我更傾向于在國(guó)家層面建立國(guó)民財(cái)富基金，讓每個(gè)人都擁有資本主義的一小部分，也就是公司的一小部分所有權(quán)股份”。同時(shí)，他提醒社會(huì)必須關(guān)注“計(jì)算資源的分配正義”。當(dāng)計(jì)算資源成為最核心的公用事業(yè)時(shí)，如何公平地分配算力將成為決定社會(huì)結(jié)構(gòu)穩(wěn)定性的關(guān)鍵。Altman認(rèn)為，盡管海量的硬件正在接踵而至，但人類對(duì)智能的需求幾乎沒有上限，這種“計(jì)算短缺”將是未來(lái)長(zhǎng)期的常態(tài)。

完整訪談

回歸斯坦福：重新定義創(chuàng)業(yè)

主持人

請(qǐng)和我一起歡迎Sam Altman。這門課程的設(shè)計(jì)靈感來(lái)源于我在這里求學(xué)期間的一系列不同經(jīng)歷。其中之一是Terry Winograd的入門研討會(huì)CS-47N：計(jì)算機(jī)與開放社會(huì)。但另一個(gè)對(duì)我而言具有相當(dāng)形成性意義的經(jīng)歷是，當(dāng)時(shí)在2014年，我和校園里的許多朋友及同僚都參加了CS-183：如何創(chuàng)業(yè)，這門課就是由Sam開設(shè)的。所以你能回來(lái)真是太棒了。

Sam Altman

感覺如何？回到這里有什么感受？我剛才走進(jìn)來(lái)時(shí)就在想，如果我還有一點(diǎn)時(shí)間，我會(huì)對(duì)那門課進(jìn)行一次更新。因?yàn)槲艺J(rèn)為關(guān)于創(chuàng)辦一家初創(chuàng)公司的一切都已經(jīng)發(fā)生了巨大的變化。而且我還沒見過有人很好地詮釋現(xiàn)在應(yīng)該如何創(chuàng)辦一家初創(chuàng)公司。所以剛才走進(jìn)來(lái)時(shí)，我確實(shí)有這種想法。我當(dāng)時(shí)就在想，如果能再做一次那門課一定會(huì)很有趣。

主持人

從時(shí)間線上看，你是在2014年教授那門課程的。我認(rèn)為OpenAI是在2015年創(chuàng)立的，是這樣嗎？或者是2016年，基本上是2016年。好的，那么在你看來(lái)，從旁觀者的角度，我感覺你當(dāng)時(shí)已經(jīng)形成了實(shí)現(xiàn)這一目標(biāo)的工作理論，然后你去嘗試實(shí)施它。這樣的評(píng)估公平嗎？還是說(shuō)情況并非如此？OpenAI是過去幾十年里Silicon Valley最奇怪的初創(chuàng)公司，因?yàn)樗鸩綍r(shí)是一個(gè)研究實(shí)驗(yàn)室，實(shí)際上根本算不上是一家公司。

Sam Altman

沒錯(cuò)。初創(chuàng)公司的常規(guī)發(fā)展路徑通常是先創(chuàng)辦一家產(chǎn)品公司，經(jīng)歷一段時(shí)間的增長(zhǎng)后，隨著增長(zhǎng)放緩，再設(shè)立一個(gè)研究實(shí)驗(yàn)室并將其整合進(jìn)去，以探索下一步的發(fā)展方向。而我們的情況恰恰相反，我們是先有了研究實(shí)驗(yàn)室，后來(lái)才不得不整合進(jìn)一家初創(chuàng)公司。

主持人

確實(shí)。我并不推薦這種方式。

Sam Altman

這是一件相當(dāng)不同尋常的事情。但那并不是我想表達(dá)的意思。我想說(shuō)的是，我們依然遵循了AI時(shí)代之前的初創(chuàng)公司規(guī)則，因?yàn)槲覀儺?dāng)時(shí)正試圖將其實(shí)現(xiàn)。我們當(dāng)時(shí)還沒有實(shí)現(xiàn)它。但現(xiàn)在，觀察那些頂級(jí)初創(chuàng)公司的做法，與僅僅幾年前的創(chuàng)業(yè)方式已大不相同，所以我認(rèn)為應(yīng)該有人（可能不是我）重新開設(shè)那門課程。

主持人

那么，基于新的數(shù)據(jù)，你認(rèn)為最大的更新會(huì)是什么？

Sam Altman

現(xiàn)在的你，只需承擔(dān)可負(fù)擔(dān)的token成本，就能完成一支由100名頂尖工程師組成的初創(chuàng)團(tuán)隊(duì)所能做的事情。而在此之前，這完全是不可能的。在那時(shí)，這根本不在初創(chuàng)公司的選項(xiàng)范圍內(nèi)。但現(xiàn)在它是了。所以我認(rèn)為，你能承擔(dān)的目標(biāo)抱負(fù)水平、行動(dòng)速度、推進(jìn)效率以及同時(shí)處理事務(wù)的體量，都已經(jīng)發(fā)生了徹底的改變。

主持人

這是否改變了問題的形態(tài)？你覺得如果你再次執(zhí)教，在課程結(jié)束時(shí)會(huì)給學(xué)生布置什么樣的作業(yè)？就是在那個(gè)季度結(jié)束的時(shí)候？

Sam Altman

我認(rèn)為指派問題去攻克是行不通的，因?yàn)槿绻夷芟氲揭粋€(gè)問題，或者能想到一個(gè)非常棒的初創(chuàng)公司點(diǎn)子，如果它對(duì)我來(lái)說(shuō)足夠顯而易見，那么它對(duì)很多人來(lái)說(shuō)可能也是顯而易見。當(dāng)我們創(chuàng)辦OpenAI時(shí)，我們大概是世界上致力于實(shí)現(xiàn)AGI的少數(shù)幾個(gè)團(tuán)隊(duì)之一，這還是往寬了說(shuō)。而你需要找到類似這樣的東西。

主持人

我確信在今天存在著某種在自動(dòng)化編程時(shí)代之前完全不可能實(shí)現(xiàn)的東西，它現(xiàn)在完全不顯眼，但很快就會(huì)成為一個(gè)數(shù)萬(wàn)億美元的市場(chǎng)，而且目前只有四家公司正在鉆研它，但我不知道那是什么。比起你們更有可能知道那是什么，我的大腦已經(jīng)被OpenAI占據(jù)了。不過，別人指派給你的工作通常不是你真正想做的。這很合理，但我覺得這會(huì)很有幫助——這是一門系統(tǒng)課程——也許可以推理出一個(gè)特定的問題，這樣他們就能應(yīng)用這些技術(shù)模式，從系統(tǒng)的角度將該問題拆解并轉(zhuǎn)化為他們自身問題的解決方案。

規(guī)?；河楷F(xiàn)屬性與系統(tǒng)設(shè)計(jì)

主持人

是的。你在2014年的課程中就開始探討的一個(gè)概念，顯然你多年來(lái)也曾在公開場(chǎng)合談?wù)撨^，那就是規(guī)模，規(guī)模本身就是一種獨(dú)特的存在，也就是人們常說(shuō)的“量變引起質(zhì)變”。無(wú)論如何，作為一個(gè)概念，規(guī)模似乎是你過去10年來(lái)從各個(gè)維度進(jìn)行過實(shí)證研究的對(duì)象。那么，你能否先幫我們拆解一下，10年后的今天你是如何理解“規(guī)?！钡模孔鳛橐环N系統(tǒng)設(shè)計(jì)屬性，無(wú)論將其應(yīng)用于何種工具，你又會(huì)如何對(duì)其進(jìn)行解構(gòu)？我們可以從這里開始嗎？

Sam Altman

可以。我不知道為什么接下來(lái)的觀察結(jié)論是正確的。

主持人

我并沒有提出任何令自己滿意的理論來(lái)解釋這一現(xiàn)象。

Sam Altman

這讓我對(duì)建議你遵循它感到有些不安。但我還是會(huì)這么做，因?yàn)閺慕?jīng)驗(yàn)來(lái)看，它似乎確實(shí)是正確的。我職業(yè)生涯中觀察到的所有最有趣的現(xiàn)象，無(wú)一例外，都與規(guī)模化帶來(lái)的涌現(xiàn)屬性，或者規(guī)模持續(xù)提供遠(yuǎn)超共識(shí)預(yù)期的回報(bào)有關(guān)。這顯然發(fā)生在AI模型的縮放定律中，也同樣發(fā)生在你把更多聰明人聚集在一起思考同一個(gè)問題時(shí)。

在研究環(huán)境中，這種情況也出現(xiàn)在公司以及所謂的規(guī)模經(jīng)濟(jì)中。你可以通過所有這些不同的方式實(shí)現(xiàn)。我是在Y Combinator時(shí)真正學(xué)到這一點(diǎn)的，當(dāng)時(shí)情況變得很明朗。對(duì)我而言，每個(gè)人都在說(shuō)，Y Combinator規(guī)模太大了，應(yīng)該縮小規(guī)模，每期應(yīng)該資助更少的公司，Y Combinator最好的時(shí)候是每期大約10家公司。而且很多非常聰明的人都這么說(shuō)。這聽起來(lái)很誘人，因?yàn)槟菢拥墓ぷ髁繒?huì)小得多。當(dāng)時(shí)的理論是，最優(yōu)秀的公司往往顯而易見。然后你資助剩下的那些，但效果卻沒那么大。

但讓YC發(fā)揮作用的巨大魔法核心在于每一期內(nèi)產(chǎn)生的網(wǎng)絡(luò)效應(yīng)，這是一種在規(guī)?；蟛懦霈F(xiàn)的、此前從未被發(fā)現(xiàn)的涌現(xiàn)屬性。沒有人嘗試過以同樣的方式大規(guī)模資助初創(chuàng)企業(yè)，因此也沒有人偶然發(fā)現(xiàn)過當(dāng)你這樣做時(shí)會(huì)產(chǎn)生這樣的觀察結(jié)果。有一些重要的事情發(fā)生了，而這些事情在規(guī)模僅為百分之一時(shí)是完全不存在的。還有很多其他例子，為了節(jié)省時(shí)間我就略過了，但我還是想說(shuō)，雖然我無(wú)法解釋其原因，但從經(jīng)驗(yàn)來(lái)看，當(dāng)你找到一個(gè)可以突破的時(shí)刻時(shí)，你確實(shí)可以將某項(xiàng)事物推進(jìn)到人們從未嘗試過的規(guī)模。而且在較小規(guī)模時(shí)，它就已經(jīng)以某種有趣的方式在發(fā)揮作用了。通常情況下，這似乎是個(gè)好主意。

主持人

而且這似乎也是大多數(shù)人做得不夠的事情。

Sam Altman

對(duì)此我同樣無(wú)法提供解釋。但就像當(dāng)時(shí)我們要大規(guī)模擴(kuò)展AI模型時(shí)，領(lǐng)域內(nèi)的大多數(shù)天才都認(rèn)為，這根本行不通，這算不上什么科學(xué)成果。隨著規(guī)模擴(kuò)大而變得更好，這并不令人感興趣。你已經(jīng)證明了這一點(diǎn)。為什么還要繼續(xù)擴(kuò)展呢？我提到了YC的例子。我見過很多創(chuàng)業(yè)者，他們會(huì)說(shuō)，如果我把這個(gè)規(guī)模擴(kuò)大，可能會(huì)發(fā)生一些有趣的事情。但我因?yàn)橐恍┓翘囟ㄔ驅(qū)Υ烁械接行?dān)憂?；仡櫮切┮愿鞣N不同方式擴(kuò)展其公司規(guī)模的龐大數(shù)據(jù)庫(kù)，幾乎總是能發(fā)現(xiàn)一些有趣的東西。所以我認(rèn)為從方向上來(lái)看，這是一個(gè)值得推進(jìn)且嚴(yán)重被低估的領(lǐng)域。

在系統(tǒng)設(shè)計(jì)層面，我認(rèn)為人們做這件事較少的一個(gè)原因是，隨著規(guī)模的擴(kuò)大，事物會(huì)以加速且不可預(yù)測(cè)的方式發(fā)生故障。如果你真的要擴(kuò)展某種事物，它總會(huì)存在一點(diǎn)故障?？倳?huì)有非常聰明的人說(shuō)你不該這樣做，不要野心太大，不要做得太大，我們?cè)囍鴱男∫?guī)模做起。所以拆解這些問題是一個(gè)系統(tǒng)工程問題。我以我們擴(kuò)展AI模型時(shí)的情況為例，當(dāng)時(shí)在技術(shù)上我們面臨的問題是：我們到底能不能做到？這看起來(lái)太瘋狂了，因?yàn)橹皬臎]有人想過要嘗試跨越10,000或100,000個(gè)GPU進(jìn)行運(yùn)算，而這需要大量的頂尖工程人才。還有資本需求，以及為了實(shí)現(xiàn)這一目標(biāo)需要付出什么，這到底怎么可能成為一門生意呢？你該如何去考慮承擔(dān)這樣的風(fēng)險(xiǎn)？

當(dāng)時(shí)研究人員中有這樣一種文化氛圍，他們會(huì)問，如果我們要投入這么多計(jì)算資源，為什么非要全部集中在一個(gè)項(xiàng)目下？這樣我們還能學(xué)到東西嗎？為什么不把它分配給所有這些項(xiàng)目呢？而在我觀察過的幾乎每個(gè)領(lǐng)域，這種現(xiàn)象都在發(fā)生，幾乎所有領(lǐng)域在進(jìn)行規(guī)模化擴(kuò)張時(shí)，都會(huì)將其拆解為各個(gè)難點(diǎn)，或者拆解為每一個(gè)不去執(zhí)行的理由，然后逐一嘗試解決。這一點(diǎn)非常關(guān)鍵。

ChatGPT與Codex：從研究實(shí)驗(yàn)到爆款產(chǎn)品

主持人

我想針對(duì)這一點(diǎn)深入探討一下，因?yàn)楹苌儆腥四芟馩penAI團(tuán)隊(duì)多年來(lái)所做的那樣，不斷地將新產(chǎn)品和新系統(tǒng)進(jìn)行規(guī)?；?。但問題seems在于，人類總是帶有各種先驗(yàn)的思維模式和預(yù)期。系統(tǒng)運(yùn)行往往會(huì)出現(xiàn)故障，而其中最難重構(gòu)的部分往往是系統(tǒng)設(shè)計(jì)中的人為因素，即在涉及人類實(shí)施者或人類參與者環(huán)節(jié)。那么，在進(jìn)行大規(guī)模的人員組織，以參與一個(gè)可能并非簡(jiǎn)單重復(fù)過往系統(tǒng)的全新項(xiàng)目時(shí)，你對(duì)“人”的規(guī)?；芾碛泻涡牡茫咳藗兂醮谓佑|時(shí)可能會(huì)有天真的想法，但我認(rèn)為，擁有明確的目標(biāo)、實(shí)現(xiàn)目標(biāo)的清晰規(guī)劃，以及一套明確的決策路徑，這些都至關(guān)重要。

Sam Altman

所以，如果回顧我們決定擴(kuò)大模型規(guī)模的例子，當(dāng)時(shí)有很多人說(shuō)，這根本行不通，它會(huì)遇到這些問題。這也并非我們所需要的一個(gè)更加多元化的投資組合。但一旦我們決定不，我們要押注于深度學(xué)習(xí)的擴(kuò)展，這就是我們的核心，如果我們錯(cuò)了我們就會(huì)失敗，但我們就是要這樣做，以下是我們?yōu)槭裁匆@樣做，以及我們認(rèn)為如果成功實(shí)現(xiàn)目標(biāo)，世界將呈現(xiàn)怎樣的狀態(tài)，這非常有影響力。而且無(wú)論出于什么原因，我們并未進(jìn)化出擅長(zhǎng)思考指數(shù)增長(zhǎng)的大腦，人們很難想象擴(kuò)展定律會(huì)持續(xù)呈指數(shù)級(jí)增長(zhǎng)，也很難想象收入會(huì)持續(xù)增長(zhǎng)，或者一個(gè)組織能夠應(yīng)對(duì)指數(shù)級(jí)的復(fù)雜性。以我的經(jīng)驗(yàn)來(lái)看，與人們從第一性原理出發(fā)，去深度推導(dǎo)為什么這種情況會(huì)發(fā)生，需要花費(fèi)大量時(shí)間。

主持人

我們可以用兩個(gè)例子來(lái)分析一下嗎？第一個(gè)是ChatGPT，第二個(gè)是Codex。這兩者都帶來(lái)了變革。在座的各位，我試著把它投屏出來(lái)好嗎？好的。沒問題。那么讓我設(shè)定一個(gè)框架，你可以質(zhì)疑這個(gè)假設(shè)，然后我們希望能夠通過實(shí)際發(fā)生的例子進(jìn)行推理。關(guān)于聊天，在長(zhǎng)一段時(shí)間里，在大規(guī)模模型擴(kuò)展的過程中，業(yè)界普遍存在一個(gè)巨大的思維定勢(shì)，那就是這些東西到底有什么用？這本質(zhì)上是一種研究型方案，是一種尋找問題的解決方案，是一種科研優(yōu)先的方法。它不是一款產(chǎn)品。

后來(lái)，ChatGPT發(fā)布了，它向全世界證明了這種聊天體驗(yàn)是消費(fèi)級(jí)大規(guī)模通用模型的殺手級(jí)應(yīng)用；幾年后，事實(shí)證明編程已成為企業(yè)級(jí)的殺手級(jí)應(yīng)用。那么，你們是如何對(duì)比和分析你們?cè)诎l(fā)現(xiàn)這些用例、發(fā)布產(chǎn)品、擴(kuò)展規(guī)模以及實(shí)現(xiàn)商業(yè)化過程中所使用的體系的？在這些體系中有沒有什么顯著的經(jīng)驗(yàn)教訓(xùn)？我們當(dāng)時(shí)做出了GPT-3，我們需要盈利，因?yàn)槲覀兿胍獙⒁?guī)模擴(kuò)展到十億甚至數(shù)十億美元的計(jì)算機(jī)算力水平。盡管GPT-3很有趣，是一個(gè)很酷的演示，但我們無(wú)法圍繞它構(gòu)思出一款產(chǎn)品。

Sam Altman

我們一直在思考，但就是想不出辦法。我們嘗試過一些方案。但都沒有成功。因此，我們知道模型會(huì)不斷進(jìn)步，但我們也希望能盡早啟動(dòng)營(yíng)收引擎。我們當(dāng)時(shí)想，既然我們想不出該構(gòu)建什么產(chǎn)品，那就把它做成API，寄希望于其他人能發(fā)現(xiàn)該構(gòu)建什么產(chǎn)品。于是，我們?cè)?020年夏天左右發(fā)布了GPT-3 API。

起初它幾乎沒有任何反響，但在大約一個(gè)月后，據(jù)我們所知，它在Twitter上毫無(wú)預(yù)兆地火了起來(lái)。同一天，幾位開發(fā)者發(fā)現(xiàn)了它的一些酷炫用法并發(fā)布了出來(lái)，其他人也開始嘗試，隨后很多人開始調(diào)用API。但如果你現(xiàn)在回去使用GPT-3或3.5版本，你會(huì)驚訝地發(fā)現(xiàn)，相對(duì)于當(dāng)時(shí)引發(fā)的轟動(dòng)，這些模型在當(dāng)時(shí)表現(xiàn)得有多么糟糕。所以人們嘗試了所有這些東西。實(shí)際上，人們利用GPT-3真正做出成效的唯一業(yè)務(wù)就是文案寫作。那看起來(lái)并不太好，也不怎么令人興奮。

我們當(dāng)時(shí)的想法是，還是等待更好的模型出現(xiàn)吧。盡管那是當(dāng)時(shí)唯一行得通的業(yè)務(wù)，但開發(fā)者們已經(jīng)摸索出了如何輸入提示詞并與之進(jìn)行對(duì)話。我們發(fā)現(xiàn)很多人雖然無(wú)法將API應(yīng)用到他們的業(yè)務(wù)中，但他們都在使用自己的API key進(jìn)行對(duì)話。于是我們說(shuō)，我們可以構(gòu)建一個(gè)好的聊天機(jī)器人，人們顯然有這個(gè)需求。我們當(dāng)時(shí)有一個(gè)新模型，其實(shí)在此之前就已經(jīng)完成，但我們有一個(gè)準(zhǔn)備在中間發(fā)布的3.5版本，而且我們?cè)O(shè)計(jì)了一種新的后訓(xùn)練方法，可以讓模型在指令遵循方面表現(xiàn)出色，從而使其更容易進(jìn)行對(duì)話。

所以我們說(shuō)，API的表現(xiàn)并不理想。或許那曾是一家年化收入規(guī)模在1000萬(wàn)美元到2000萬(wàn)美元左右的企業(yè)。但人們確實(shí)對(duì)某樣?xùn)|西情有獨(dú)鐘。秉持YC關(guān)于“觀察用戶所愛并據(jù)此行動(dòng)”的原則，我們決定圍繞它開發(fā)一款聊天機(jī)器人。隨后我們將它發(fā)布了。當(dāng)時(shí)我們依然沒覺得它會(huì)表現(xiàn)得如此出色。它最初只是被當(dāng)作一個(gè)研究演示產(chǎn)品，旨在說(shuō)服他人開發(fā)類似聊天產(chǎn)品并為我們的API付費(fèi)。但它卻瘋狂地病毒式傳播開來(lái)。我在YC學(xué)到的另一件事是，當(dāng)某樣?xùn)|西開始迅速增長(zhǎng)，即便它還不夠完善，你手中也已經(jīng)擁有了一個(gè)爆款。

因此，我們經(jīng)歷了五天的時(shí)間，流量猛增隨后又回落，每個(gè)人都認(rèn)為這不過是一陣炒作周期。但到了第二天，它又達(dá)到了更高的峰值，隨后在當(dāng)天晚些時(shí)候再次回落。人們依然會(huì)說(shuō)這只是炒作周期。到了第四或第五天，我就覺得，我已經(jīng)摸清門道了。我知道接下來(lái)會(huì)發(fā)生什么。就像我們手中擁有了一個(gè)極具潛力的殺手級(jí)產(chǎn)品。而且我們知道可以把它做得更好。我們知道我們擁有GPT-4，也知道我們可以持續(xù)擴(kuò)大規(guī)模。但在第五天的時(shí)候，我們將所有人召集在一起說(shuō)，現(xiàn)在情況緊急。這是一種好意義上的緊急情況。但我們必須同時(shí)建立起一家公司并打造出一款產(chǎn)品。隨后我們經(jīng)歷了大約兩個(gè)月的瘋狂擴(kuò)張。然后我們說(shuō)，我們得以后再想辦法搞定商業(yè)模式。目前，我們只是向用戶收費(fèi)，這樣我們才不會(huì)……比如耗盡我們的計(jì)算費(fèi)用，但這顯然不是長(zhǎng)久之計(jì)。事實(shí)證明，這種做法也確實(shí)行之有效。這就是ChatGPT的故事。而且它具備如此強(qiáng)大的實(shí)用性，以至于人們即使在克服了最初的啟動(dòng)門檻后，仍然發(fā)現(xiàn)它非常有用。

至于Codex，實(shí)際上在ChatGPT之前，我們的計(jì)劃是全力投入到代碼領(lǐng)域。我們知道這些模型能夠編寫代碼。我們知道它們確實(shí)可以非常出色，也知道這會(huì)是一個(gè)極具價(jià)值的領(lǐng)域，但隨后我們經(jīng)歷了一件極其令人興奮的事情。當(dāng)時(shí)我們內(nèi)部的一種信念是，編碼是這些模型控制計(jì)算機(jī)的方式，而機(jī)器人則是這些模型控制物理世界的方式。如果你制造出一個(gè)足夠聰明的模型，讓它擁有編寫代碼和驅(qū)動(dòng)機(jī)器人的執(zhí)行能力，你實(shí)際上就能讓這種智能為你在這個(gè)世界上完成各種任務(wù)。所以我們花了些時(shí)間才達(dá)到那個(gè)階段。我認(rèn)為Codex在今年年初變得非常出色，但直到5.5版本我們才看到了真正的轉(zhuǎn)折點(diǎn)，現(xiàn)在人們正利用它完成不可思議的工作。

AI管線重構(gòu)與智能公用事業(yè)

主持人

如您所知，在課程早期我們討論過能力管線（capabilities pipeline）的形態(tài)，它在不同研究小組之間正逐漸變得更加標(biāo)準(zhǔn)化。即預(yù)訓(xùn)練、中期訓(xùn)練、后訓(xùn)練，以及強(qiáng)化學(xué)習(xí)（RL）和監(jiān)督反饋循環(huán)。您認(rèn)為這大致就是使Codex實(shí)現(xiàn)能力飛躍的管線架構(gòu)，并且它現(xiàn)在會(huì)保持穩(wěn)定and一致嗎？還是說(shuō)我們將要對(duì)該管線進(jìn)行重大重構(gòu)？

Sam Altman

我認(rèn)為這絕對(duì)是當(dāng)前的管線架構(gòu)。但我預(yù)計(jì)我們將經(jīng)歷一次重大重構(gòu)。我不知道這會(huì)在何時(shí)或以何種具體方式發(fā)生。但這種作為管線運(yùn)行的方式讓我覺得有些奇怪，它看起來(lái)并不像是最優(yōu)解。

我認(rèn)為這是一個(gè)需要由AI去解決的研究課題。我認(rèn)為我們正處于這樣一個(gè)節(jié)點(diǎn)：我們已經(jīng)設(shè)定了目標(biāo)，即到今年9月，我們將使用50萬(wàn)個(gè)A100等效的GPU，這相當(dāng)于巨大的算力，將其作為AI研究實(shí)習(xí)生來(lái)使用；而到2028年3月，我們將擁有一個(gè)完整的端到端、具備出色能力的各種研究者，例如去推導(dǎo)完整的全新架構(gòu)。所以我認(rèn)為，憑借當(dāng)前的流程和當(dāng)前的架構(gòu)，我們將跨越那個(gè)界限，讓AI能夠完成令人難以置信的出色工作。

主持人

你剛才描述的內(nèi)容中有一點(diǎn)，我們?cè)谡n堂上一直在討論系統(tǒng)框架和類比，旨在讓某個(gè)領(lǐng)域的概念能夠被那些可能缺乏相關(guān)背景知識(shí)的人所理解。但有時(shí)由于翻譯問題，通過類比進(jìn)行推理并沒有幫助，因?yàn)槟菢訒?huì)導(dǎo)致錯(cuò)誤疊加。你剛才提到，我們的目標(biāo)是嘗試將其作為AI實(shí)習(xí)生來(lái)使用，在Silicon Valley以及了解這些流程運(yùn)作方式的課堂語(yǔ)境下，這顯然是一個(gè)非常有用的隱喻。而當(dāng)你真正將這一隱喻在全球范圍內(nèi)推廣時(shí)，那些可能缺乏所有背景知識(shí)的人，就會(huì)開始以不恰當(dāng)?shù)姆绞饺ヮ惐冗@些模型。那么我們應(yīng)該如何思考其局限性呢？即在擴(kuò)展方面，你認(rèn)為哪些產(chǎn)品類比或研究類比是最有用的？

Sam Altman

在硅谷內(nèi)部，關(guān)于這些類比的局限性，你發(fā)現(xiàn)了什么？現(xiàn)在你又是如何處理這兩個(gè)問題的？我一直非常熱衷于研究這一過程，我認(rèn)為我們正在創(chuàng)造一種新型公用事業(yè)。這種情況并不常發(fā)生，電力是公用事業(yè)，互聯(lián)網(wǎng)是公用事業(yè)，水也是。我想這類事物并不多，因此我們沒有太多可供參考的案例來(lái)尋找合適的比喻，或從中學(xué)習(xí)如何向世界解釋這一切。但我最近回顧了電力成為公用事業(yè)時(shí)所發(fā)生的情況。從許多方面來(lái)看，這是一個(gè)很好的類比。當(dāng)然，它也存在不完美之處。但電力公司，至少是我能找到相關(guān)資料的那些公司，他們當(dāng)時(shí)并不談?wù)摗岸凳垭娏Α?，因?yàn)槟菚r(shí)沒人知道那是什么，也不知道為什么需要它。這聽起來(lái)非常可怕。

主持人

就像是有什么東西要闖進(jìn)你家里，甚至可能危及你的生命，這種感覺很新奇，這與以前的世界大不相同。也許他們最初試圖兜售的是電力，或者先從電力市場(chǎng)切入，我不太清楚，但無(wú)論如何，那套行不通。后來(lái)他們開始向人們推銷的是“夜間照明”，他們說(shuō)：“你們從我們這里買到的不是電力，而是夜間的光明；順便說(shuō)一下，你們還可以利用這種能照明的東西去做其他所有事情?！钡藗儠?huì)想：“我為什么要那個(gè)？”他們又說(shuō)：“將來(lái)有一天它還能幫你洗衣服?！辈唬?，它做不到。

Sam Altman

我辦不到。對(duì)我來(lái)說(shuō)，這個(gè)跨度太大了。沒錯(cuò)。所以我不知道我們?cè)撚檬裁磥?lái)做類比。但我懷疑即使我們完全正確，即智能即將成為一種新型公用設(shè)施，每一家公司、每一位客戶、每一個(gè)政府都需要并以各種不可思議的方式使用它。你可能擁有一種OpenAI Token訂閱服務(wù)，將其接入所有設(shè)備并用于訪問一切，它始終在后臺(tái)為你運(yùn)行，做著各種驚人的事情。但我不認(rèn)為，至少目前來(lái)看，我們將其類比為“兜售智能”是合適的，因?yàn)槿藗兯坪踉谀撤N程度上對(duì)此并不感冒。我不知道我們對(duì)應(yīng)于“為你提供夜間照明”的那個(gè)概念會(huì)是什么，但我認(rèn)為，如果我們打算成為一種新的公用事業(yè)，就需要找到一種方式向世界解釋：擁有一種你可以隨心所欲使用的“智能長(zhǎng)矛”意味著什么。

主持人

那么出現(xiàn)的一個(gè)問題，或者說(shuō)這一類擁有多元化發(fā)言者群體所產(chǎn)生的一種涌現(xiàn)特性是，公用事業(yè)的類比已經(jīng)多次被提及，但所指的對(duì)象各不相同。Jensen將算力比作一種公用事業(yè)，闡述了為何應(yīng)該普及使用途徑等等，并談到Stanford應(yīng)該如何整合預(yù)算并為全校采購(gòu)這種公用資源；而你剛才則將智能部分比作一種公用事業(yè)。這兩種說(shuō)法都是正確的嗎？其中一個(gè)是正確的嗎？其中哪一個(gè)更有可能是正確的？人們應(yīng)該如何從邏輯上區(qū)分將算力視為公用事業(yè)與將tokens視為公用事業(yè)？我這里所說(shuō)的算力是指芯片，而tokens則是指代tokens本身。

Sam Altman

這聽起來(lái)合理嗎？我認(rèn)為作為消費(fèi)者，無(wú)論是企業(yè)還是個(gè)人，你們會(huì)傾向于以更接近tokens的方式來(lái)思考，甚至可能是在比tokens更高一個(gè)層級(jí)的維度上進(jìn)行考量。我認(rèn)為你不會(huì)太在意硬件在哪里，使用的是哪種具體的芯片，或者是靠什么來(lái)驅(qū)動(dòng)它。我認(rèn)為這些東西都會(huì)被抽象化。你會(huì)關(guān)心的是當(dāng)你與系統(tǒng)交互時(shí)，你能否頻繁使用它，它是否便宜，它是否表現(xiàn)出色。

目前我們以tokens來(lái)計(jì)費(fèi)，但隨著我們進(jìn)入一個(gè)所有人都有一個(gè)持續(xù)運(yùn)行并時(shí)刻提供幫助的agent的世界，你可能會(huì)從更高一個(gè)層面來(lái)看待它。我的猜測(cè)是，就像你支付手機(jī)話費(fèi)時(shí)，你是在購(gòu)買通話時(shí)長(zhǎng)和一定數(shù)量的數(shù)據(jù)流量，你知道它能處理各種任務(wù)，你會(huì)使用各種app等等。但對(duì)于這種互聯(lián)網(wǎng)公用事業(yè)，你所支付的實(shí)際上就是整個(gè)系統(tǒng)的訪問權(quán)限。至于基站底層的特定硬件如何連接to互聯(lián)網(wǎng)，你并不會(huì)過多考慮。我知道我可以花很長(zhǎng)時(shí)間去鉆研公用基礎(chǔ)設(shè)施，但我還是希望能把話題轉(zhuǎn)到與學(xué)生相關(guān)的內(nèi)容上。通常我們會(huì)安排問答環(huán)節(jié)，今天我們就先不做這些，除非你覺得沒問題。

對(duì)話未來(lái)：LLM的潛力與教育變革

主持人

好的，太棒了。那個(gè)怎么樣？即興發(fā)揮。好的。所以，為了激發(fā)大家的創(chuàng)造力，最后一個(gè)問題是關(guān)于本課程的期末項(xiàng)目，即Cardin 5 by 183，也就是單人前沿實(shí)驗(yàn)室。所以這里的每個(gè)人都在從事一些項(xiàng)目，模擬自己作為一個(gè)擁有所有合適工具的實(shí)驗(yàn)室開展工作。他們從Cloudflare那里獲得了數(shù)十萬(wàn)積分。我想我們可能還有一些OpenAI的token。但他們可以支配大量的算力。那么，如果你在這個(gè)班級(jí)里，你會(huì)為你的單人實(shí)驗(yàn)室項(xiàng)目做些什么呢？

Sam Altman

首先，我認(rèn)為這是一個(gè)很棒的項(xiàng)目。我覺得這之所以成為首要考慮的問題，是因?yàn)槲覀儎倓傇谟懻撔в每蚣堋Ｎ艺J(rèn)為有很多非常聰明的人正在致力于偉大的訓(xùn)練理念，我們將擁有令人難以置信的模型。無(wú)論你們做什么，我保證我們都將擁有令人難以置信的模型。就在今年，而且會(huì)很快實(shí)現(xiàn)。但我認(rèn)為我們?cè)趯?shí)現(xiàn)大規(guī)模提供廉價(jià)智能方面投入得還不夠。所以，也許我會(huì)去研究技術(shù)棧中的推理部分，以及我們?cè)撊绾巫屵@種驚人的智能變得廉價(jià)且普及？我認(rèn)為這方面的投入不足。并且我認(rèn)為，所有前沿實(shí)驗(yàn)室在很大程度上都將不得不轉(zhuǎn)型為推理公司。

主持人

好吧?？赡芤呀?jīng)太晚了。調(diào)整你的項(xiàng)目方向，但亡羊補(bǔ)牢，為時(shí)不晚，去做任何你想做的工作吧。好的，讓我們開始提問環(huán)節(jié)。我會(huì)擔(dān)任主持人，盡量保持專業(yè)，不要太尖銳等等。記住這是一門CS課程，但決定權(quán)在你們手中。Sam，Sam，蜘蛛也沒關(guān)系。我們有問題了，太完美了。好的，第一個(gè)問題，關(guān)于你如何看待Yann LeCun認(rèn)為L(zhǎng)LM是死胡同的觀點(diǎn)。首先，在實(shí)現(xiàn)人類水平智能方面，這些模型在某些方面已經(jīng)遠(yuǎn)遠(yuǎn)超過了人類智能，而在其他方面則表現(xiàn)得極其糟糕。

Sam Altman

例如，在處理非常長(zhǎng)遠(yuǎn)、需要高判斷力的信號(hào)和任務(wù)時(shí)，它們看起來(lái)比人類差得多。另一方面，昨天我們的一款模型推翻了一個(gè)猜想，這是一個(gè)困擾了許多聰明人很久的愛爾蘭數(shù)學(xué)問題。此前，許多才華橫溢的科學(xué)家——我不確定Yann LeCun是否在其中——甚至在不久前還斷言這種事不可能發(fā)生，結(jié)果模型直接做到了?，F(xiàn)在，所有的數(shù)學(xué)家都在討論數(shù)學(xué)是否已經(jīng)終結(jié)，以及這對(duì)我們這個(gè)領(lǐng)域意味著什么。顯然，LLM有能力發(fā)現(xiàn)新知識(shí)，也顯然，它們有能力完成一些人類無(wú)法做到的智能化任務(wù)。它們未來(lái)還會(huì)進(jìn)一步規(guī)?；敲此鼈?cè)谀男┤蝿?wù)上的表現(xiàn)能超過人類，以及這種任務(wù)分布是怎樣的？我們會(huì)拭目以待，但我認(rèn)為會(huì)有很多。

說(shuō)到我們之前討論過的對(duì)指數(shù)增長(zhǎng)缺乏信念的問題，我認(rèn)為這個(gè)領(lǐng)域在過去確實(shí)被一代科學(xué)家拖了后腿，他們對(duì)于規(guī)?；粫?huì)帶來(lái)什么產(chǎn)出有著過度的自信。而另一些人只是看了看圖表，然后說(shuō)，看起來(lái)它還在完美地持續(xù)增長(zhǎng)。讓我們繼續(xù)討論，我認(rèn)為世界模型顯然很重要，我們?cè)跈C(jī)器人技術(shù)等方面會(huì)需要它，但在現(xiàn)階段押注LLM擴(kuò)展將失敗，在我看來(lái)是非常不明智的。作為那個(gè)“我早就告訴過你”的人并不會(huì)讓我感到厭煩，并不是說(shuō)，我是指在Twitter上有一些噴子，他們多年來(lái)一直都在說(shuō)“這行不通”。這行不通。這太愚蠢了。這是欺詐。這家公司要倒閉了。這種研究方法注定會(huì)失敗。我過去常因?yàn)樗麄兌械嚼_，但現(xiàn)在我甚至連那種“我早就告訴過你”的感覺都沒有了。就好像你只是在聽著而已。你們還在喋喋不休地談?wù)撨@個(gè)。

主持人

畢竟，有力的數(shù)據(jù)支持著我們這一邊。

Sam Altman

我不需要表現(xiàn)得那么有趣，去說(shuō)“我早就告訴過你”。而且，你至今仍堅(jiān)持認(rèn)為我們是錯(cuò)的，這對(duì)我來(lái)說(shuō)其實(shí)并沒有什么困擾。

主持人

我認(rèn)為存在著那種翻篇的時(shí)刻。有句老話說(shuō)，瘋狂就是明明手頭的證據(jù)顯示某種做法行不通，卻還一遍又一遍地重復(fù)同樣的事情。從某種意義上說(shuō)，我認(rèn)為這確實(shí)是一種瘋狂。

Sam Altman

我認(rèn)為會(huì)發(fā)生這樣一種情況：如果你將個(gè)人身份認(rèn)同與某件事情是否成功掛鉤，將自己與這種信念綁定，而科學(xué)或?qū)嵶C結(jié)果最終反駁了你。你會(huì)因?yàn)檫^度糾結(jié)于自己的身份認(rèn)同，而無(wú)法放下成見，無(wú)法看清真相。我認(rèn)為無(wú)論在哪方面，這都是一個(gè)重要的提醒。你是如何看待教育的？它顯然必須進(jìn)行超級(jí)進(jìn)化。我曾感到擔(dān)憂，我原以為到現(xiàn)在應(yīng)該已經(jīng)……我認(rèn)為如果我們繼續(xù)像處于AI時(shí)代前那樣去教授和評(píng)估學(xué)生，那注定是行不通的，這只會(huì)導(dǎo)致思維學(xué)習(xí)能力的退化，或者類似的結(jié)果。

我本以為這一點(diǎn)足夠顯而易見，所以當(dāng)時(shí)并沒有那么擔(dān)心。當(dāng)ChatGPT發(fā)布時(shí)，我就想，我們會(huì)經(jīng)歷一年的學(xué)生作弊且學(xué)不到太多東西的混亂期。隨后，教育系統(tǒng)將迎來(lái)自我重塑。而且，我們將能以更好的方式去教導(dǎo)人們。人們將真正接觸到一些必須借助AI才能完成的項(xiàng)目，但這仍然要求他們更多地開動(dòng)腦筋、深入思考，并探索出新的解決路徑。老實(shí)說(shuō)，自ChatGPT發(fā)布以來(lái)的三年半時(shí)間里，我很難指出教育系統(tǒng)整體上發(fā)生了什么重大的系統(tǒng)性變革。這對(duì)我來(lái)說(shuō)是一次預(yù)測(cè)失誤。我原以為這種變革已經(jīng)發(fā)生了。

因此，我毫無(wú)疑問地相信，正如我們應(yīng)對(duì)以往每一次技術(shù)飛躍一樣，我們能夠重新設(shè)計(jì)教育運(yùn)作方式，確保人們依然必須學(xué)會(huì)如何思考。并且，未來(lái)會(huì)出現(xiàn)一些新的情況。比如，我是一個(gè)習(xí)慣通過寫作來(lái)思考的人，我寫過許多從未展示給他人看的東西，但這對(duì)理清思路依然至關(guān)重要。所以我很慶幸自己學(xué)會(huì)了寫作。人們對(duì)編程也有同樣的看法。因此，有些事情即使機(jī)器能做得更好，我們也依然會(huì)教人們?nèi)プ觯瑑H僅是因?yàn)榻淌谒麄兯伎己蛯W(xué)習(xí)這種元技能是有益的。這很有道理。

主持人

但在其他許多方面，我們確實(shí)應(yīng)該徹底改變教學(xué)方式、學(xué)習(xí)方式或評(píng)估方式。

Sam Altman

如果我們不這樣做，我認(rèn)為人們的批判性思維能力會(huì)出現(xiàn)嚴(yán)重的萎縮。

主持人

請(qǐng)問，你最喜歡的課程是什么？你希望自己在Stanford時(shí)選修什么課程？Stanford現(xiàn)在還有introsems嗎？

Sam Altman

我大一那年每個(gè)學(xué)期都選了大概三門introsems。我非常喜歡這些課程。它們之間差異極大。我回首往事時(shí)發(fā)現(xiàn)，自己能夠廣泛接觸各種事物并對(duì)許多不同領(lǐng)域有淺顯的了解，這簡(jiǎn)直太不可議了。如果不是這樣，我可能只會(huì)去修CS和物理課程，雖然那些課程依然很棒，但我現(xiàn)在更多思考的卻是那些看似與我目前工作完全無(wú)關(guān)、純屬隨機(jī)的課程，它們?cè)谀撤N重要層面上賦予了我獨(dú)特的視角。我覺得無(wú)論如何我最終都會(huì)學(xué)會(huì)編程，只是當(dāng)時(shí)我并沒有意識(shí)到這一點(diǎn)。我當(dāng)時(shí)的想法大概是，這些東西固然很酷，但重點(diǎn)還是在于學(xué)習(xí)CS。我只上了兩年學(xué)，所以有很多想修的課程都沒能修到。但這正是令人驚訝的地方。

社會(huì)分歧點(diǎn)：民主化與資源分配

主持人

我想請(qǐng)問，你最尖銳、最具爭(zhēng)議的觀點(diǎn)是什么？

Sam Altman

我覺得如果給我更多時(shí)間思考，我能提出一個(gè)更犀利的觀點(diǎn)。我認(rèn)為AI的發(fā)展勢(shì)頭只會(huì)持續(xù)下去，而且我認(rèn)為這一點(diǎn)目前尚未被廣泛認(rèn)知。如果人們普遍意識(shí)到這一點(diǎn)，社會(huì)所引發(fā)的反響將會(huì)比現(xiàn)在強(qiáng)烈得多?；蛟S我并沒有什么更犀利的見解，也許最核心的重點(diǎn)在于：如果AI能夠沿著目前的指數(shù)級(jí)路徑再持續(xù)發(fā)展一段時(shí)間，考慮到距離ChatGPT發(fā)布已經(jīng)過去了三年半，即便再延續(xù)同樣的軌跡三年半，世界的發(fā)展?jié)摿σ约吧鐣?huì)的能力邊界都將發(fā)生翻天覆地的變化。

主持人

好，讓我試著針對(duì)這一點(diǎn)，利用更多的思維鏈進(jìn)行思考。如果我們將你視為一個(gè)模型，一個(gè)前沿模型，且你具備某些內(nèi)在能力，那么在接下來(lái)的兩分鐘里，我們將嘗試激發(fā)那些人們尚不了解的能力。其中一點(diǎn)是，你現(xiàn)在已經(jīng)經(jīng)過了后訓(xùn)練，在OpenAI的基礎(chǔ)上持續(xù)進(jìn)行了重訓(xùn)練，同時(shí)也吸收了來(lái)自外部世界關(guān)于哪些方法有效、哪些方法無(wú)效的反饋回路。所以現(xiàn)在，如果我們暫時(shí)將你視為一個(gè)預(yù)測(cè)引擎，那么問題是：在你看來(lái)，未來(lái)10年內(nèi)最有可能出現(xiàn)的三個(gè)世界分叉點(diǎn)是什么？你對(duì)每一個(gè)分叉點(diǎn)的概率評(píng)估又是多少？這聽起來(lái)合理嗎？

Sam Altman

其中一個(gè)感覺非常重要的問題是，這項(xiàng)技術(shù)在多大程度上會(huì)實(shí)現(xiàn)廣泛的民主化，又在多大程度上會(huì)局限于少數(shù)幾家公司手中？我認(rèn)為，在某種設(shè)想的世界里，存在各種理由讓你覺得默認(rèn)情況就是技術(shù)會(huì)集中在少數(shù)幾家公司手中，而它們最終會(huì)占據(jù)全球財(cái)富中相當(dāng)大的一部分。那顯然會(huì)非常糟糕，我們正全力以赴去抗衡這種趨勢(shì)。

主持人

但我認(rèn)為，真正避免這種情況需要全球共同的意愿，因?yàn)槟抢锎嬖谝环N引力場(chǎng)般的狀態(tài)。我認(rèn)為我們有必要推動(dòng)這種公用事業(yè)模式的世界，部分原因是：第一，如果少數(shù)幾家公司掌握了所有這些資源，世界會(huì)變得相當(dāng)不穩(wěn)定、相當(dāng)糟糕，并且會(huì)讓人感到非常不公平。

Sam Altman

但第二，我認(rèn)為這其中存在真正的對(duì)齊失敗，而且世界會(huì)變得非常脆弱。要實(shí)現(xiàn)一個(gè)我們想要的、能夠代表人人共贏、人人價(jià)值觀得到體現(xiàn)、人人都擁有自主權(quán)的世界，最好的方法就是去推進(jìn)，將這項(xiàng)技術(shù)推向世界。但圍繞安全性與穩(wěn)定性，將會(huì)出現(xiàn)非常強(qiáng)烈的反對(duì)聲音。我認(rèn)為那將是一個(gè)巨大的分岔點(diǎn)。這非常重要。我鼓勵(lì)各位在職業(yè)生涯中努力推動(dòng)這一點(diǎn)，即這是一項(xiàng)技術(shù)。它能為我們帶來(lái)令人難以置信的科幻未來(lái)。生活可以變得無(wú)比美好。為了實(shí)現(xiàn)這一目標(biāo)，我們將承擔(dān)一定的風(fēng)險(xiǎn)。但如果任由風(fēng)險(xiǎn)集中在少數(shù)幾家公司手中——即便我們本身就是其中之一——也是你們不應(yīng)該容忍的。

所以我認(rèn)為，這將是決定未來(lái)概率走向的一個(gè)重大分水嶺。我認(rèn)為，世界應(yīng)當(dāng)對(duì)以這種方式實(shí)現(xiàn)目標(biāo)抱有濃厚興趣，我估計(jì)我們有80%的概率會(huì)走上民主化的道路。但屆時(shí)會(huì)有非常強(qiáng)烈的安全議題出現(xiàn)，也會(huì)有許多追求權(quán)力的人試圖壟斷這些力量。

主持人

預(yù)測(cè)此事的難題在于，或者說(shuō)我們?nèi)祟愒陬A(yù)測(cè)時(shí)所面臨的問題在于：一旦你做出了預(yù)測(cè)，你便擁有了影響該預(yù)測(cè)結(jié)果的主觀能動(dòng)性，還有那個(gè)分叉。

Sam Altman

我們很清楚我們將如何運(yùn)用我們的自主權(quán)。這就是我們的信仰所在。我們認(rèn)為，我們將竭盡所能去推動(dòng)它朝著這個(gè)方向發(fā)展。只是，我們看到了來(lái)自反方向的力量。也許是一個(gè)相關(guān)的分叉。關(guān)于未來(lái)經(jīng)濟(jì)模式，有很多討論。我們是否要實(shí)施全民基本收入？我們是否要讓每個(gè)人都擁有每家公司的一小部分股份？比如，這到底是資本主義且不做改變，還是徹底的共產(chǎn)主義？關(guān)于這一點(diǎn)有很多討論。

一件事討論得還不夠，那就是我們具體如何分配計(jì)算資源。也許經(jīng)濟(jì)的很多方面能夠以某種方式運(yùn)作，而且我實(shí)際上已經(jīng)不再那么擔(dān)心短期內(nèi)的就業(yè)問題了。我一直很樂觀，認(rèn)為我們會(huì)找到新的工作，但這在短期內(nèi)可能并不需要像我最初想象的那樣具有破壞性。但我們現(xiàn)在確實(shí)看到了計(jì)算資源的短缺，我可以想象這種情況會(huì)變得更加嚴(yán)重，我也能想象計(jì)算資源會(huì)成為人們最需要的核心公用事業(yè)。因此，如果從供需角度來(lái)看，計(jì)算資源的價(jià)格變得極度失衡，那么在如何公平分配計(jì)算資源的問題上，將會(huì)出現(xiàn)一個(gè)非常有趣的分叉。你在那里提到了兩件非常有趣的事情，你說(shuō)在經(jīng)濟(jì)層面，我們可能需要全民基本收入，以及讓每個(gè)人都擁有一定的股份。

主持人

這門課的演講嘉賓之一是Nicolai Tangen，他管理著挪威主權(quán)財(cái)富基金。他非常了不起。挪威主權(quán)財(cái)富基金擁有全球1.5%的公開上市公司的股份。他們實(shí)際上也實(shí)現(xiàn)了全民基本收入。你可以認(rèn)為這種情況在今天已經(jīng)以某種形式存在了，因?yàn)槟壳懊绹?guó)最大的雇主是政府。你也可以認(rèn)為，其中很大一部分是政府將納稅人的收入進(jìn)行再分配的一種方式。那么，這些是解決方案嗎？這些方案真的需要?jiǎng)?chuàng)新，還是僅僅針對(duì)這個(gè)時(shí)代進(jìn)行重新實(shí)施？你如何看待這些方案的創(chuàng)新性？在Silicon Valley，我們往往傾向于從第一性原理出發(fā)重塑一切，那么我們是否應(yīng)該僅僅著眼于現(xiàn)有系統(tǒng)并對(duì)其進(jìn)行微調(diào)？我不認(rèn)為這些事情需要全新的理念，盡管我會(huì)說(shuō)，相比于固定的月度現(xiàn)金紅利，我更傾向于人們能夠擁有某種所有權(quán)股份。

Sam Altman

沒錯(cuò)。我很久以前就資助過一項(xiàng)大型的全民基本收入研究。我也觀察過人們投資初創(chuàng)企業(yè)時(shí)會(huì)發(fā)生什么。而且我知道我認(rèn)為哪種模式更能觸及人類心理。

主持人

因此，我希望看到的是，隨著世界上的杠桿從勞動(dòng)力向資本轉(zhuǎn)移（我認(rèn)為這種趨勢(shì)將持續(xù)下去），我們能找到一種方法，在國(guó)家層面乃至最終在世界范圍內(nèi)建立類似“國(guó)民財(cái)富基金”的機(jī)制，讓你基本上擁有資本主義的一小部分，也就是擁有這些公司的一小部分。至于第二個(gè)分叉點(diǎn)，關(guān)于計(jì)算瓶頸，你說(shuō)過在某個(gè)節(jié)點(diǎn)當(dāng)計(jì)算價(jià)格在今年一月到現(xiàn)在的這段時(shí)間里變得失控時(shí)……我目前根據(jù)所見數(shù)據(jù)了解到的情況是，H100和Blackwell的價(jià)格中，長(zhǎng)期預(yù)留與現(xiàn)貨之間的價(jià)差大約是5倍。我不知道現(xiàn)在是否還這么高，我認(rèn)為情況有所好轉(zhuǎn)，但問題是你甚至能不能找到H100，因?yàn)樗鼈兘衲陰缀跻呀?jīng)售罄了。

Sam Altman

這聽起來(lái)完全沒錯(cuò)，現(xiàn)在存在巨大的計(jì)算資源短缺。所以，這是一個(gè)很好的系統(tǒng)性問題的例子，至少對(duì)某些人來(lái)說(shuō)，這感覺就像計(jì)算時(shí)代的“新冠疫情”，就像所有的衛(wèi)生紙都被搶光了一樣。沒錯(cuò)，為什么人們對(duì)此不感到恐慌呢？我認(rèn)為人們假設(shè)我們會(huì)在現(xiàn)有的硬件上獲得巨大的推理性能提升。

我也認(rèn)為海量的硬件正在接踵而至。但也許需求海嘯規(guī)模更大。我認(rèn)為人們確實(shí)應(yīng)該感到某種程度的恐慌。

主持人

你會(huì)覺得這合理嗎？比如說(shuō)，根據(jù)你現(xiàn)有的數(shù)據(jù)，我們還要在算力短缺的環(huán)境中生存多久？

Sam Altman

我覺得就像其他事物一樣，如果不談價(jià)格，就無(wú)法真正討論全球?qū)﹄娏Φ男枨?。如果能源價(jià)格降低10倍或上漲10倍，世界對(duì)能源的需求會(huì)有截然不同的表現(xiàn)。我認(rèn)為AI也是如此，如果我們能讓模型足夠智能且成本足夠低，我認(rèn)為需求幾乎是沒有上限的。因此在某種意義上，只要我們能持續(xù)取得進(jìn)展，這種短缺就會(huì)一直存在。即便人們?cè)诓粩嗵嵘悄芩?，需求仍?huì)高于我們預(yù)期的價(jià)格水平。畢竟，如果我們能制造出非常出色的個(gè)人智能體，而你可以讓10個(gè)甚至100個(gè)這樣的智能體全天候?yàn)槟愎ぷ?，你肯定?huì)想要那100個(gè)。我認(rèn)為這涉及大量的推理需求。我要把課程的紀(jì)念品發(fā)給大家，感謝大家的到來(lái)，謝謝。

主持人

謝謝大家。