Nvidia 的市值比大多數國家還高,因為我們還搞不清楚怎麼做便宜的推論。
有八十億個單位在外面走來走去,而且只靠 20 瓦就能做到。
我最近重看《駭客任務》,又卡在大家都會卡住的同一件事上:電池。
墨菲斯拿起一顆金頂電池,告訴尼歐,機器正在把人類拿來生產電力。生物電、體溫、25,000 BTU,整段台詞都說完了。那是很棒的一幕。可它在熱力學上完全說不通。你是在餵這些人液化蛋白漿。如果你想從漿體裡榨出能量,直接把漿體燒掉就好,何必經過人類。人類只是個有損耗、還會抱怨的中間商。
所以機器建了一座行星規模的資料中心,接上數十億個艙體,寫出一整套模擬的 1999 年世界,包含天氣、稅制和撥接上網,目的只是為了運轉一座每個單位都會虧錢的發電廠。
不對。它們不是在運轉發電廠。
它們是在做推論。
你的大腦大約只用 20 瓦運作。那差不多就是一顆微弱的燈泡。還比我現在打這篇文章所用筆電的充電器更省電。
用 20 瓦,你就能得到即時視覺、即時聽覺、語言、動作控制、持續更新的周遭物理模型,以及一個持續存在的世界模型,能夠預測接下來會發生什麼,精準到你不用思考就能接住別人朝你丟來的一串鑰匙。
現在把這個換算成矽晶片。去看看要用一個機櫃做到上述任何一項更差版本,成本是多少。我們正在蓋吉瓦等級的園區,還像國家對國家一樣跟電力公司談判。與此同時,參考實作已經靠吃剩的三明治跑了二十萬年。
所以這就是我開車進城時一直在想的事,我不是第一個想到的人,但這個想法能把整部電影完全補起來:
機器不是在收割能量,而是在收割算力。
如果你想要的是電力,你會希望人類被麻醉、攤平、代謝負擔降到最低。你不需要為一顆電池模擬辦公室工作。
但如果你要的是算力,情況正好相反。你需要大腦保持參與,維持負載,執行一個豐富的世界模型,裡面有利害關係、後果,以及其他行為者。
而這正是《駭客任務》在做的事。
模擬不再只是安撫工具,而成了工作負載。每個膠囊裡的人類都是一個節點,在處理一個精細到不可思議的世界模型,而機器則在擷取輸出。第一版《母體》之所以失敗,也就是 Agent Smith 說的那個完美世界,不是因為人類需要痛苦才覺得真實,而是因為沒有摩擦的世界,本質上就是個太簡單的工作負載。沒有人類的大腦在天堂裡會做出什麼有趣的事。它們把難度調高,只是為了維持高利用率。
它們不是在讓我們睡著。
它們是在讓我們忙碌。
機器蓋了一個全世界最大的 GPU 叢集,而散熱方案則是一個關於 1999 年的謊言。
先坦白這篇文章是怎麼出現的,因為我覺得過程本身就有一半的故事。
我並不是坐下來時就已經知道這些。我是先對一部 27 年前的電影提出一個蠢問題,然後把它說給一個 AI 聽,接著花了四十分鐘跟它爭論。我拋出算力的想法,它反駁那些有誤的部分,還把我不知道存在的內容補給我。我問了很多如果用搜尋引擎根本不會知道該問的後續問題,因為我當時還沒有那些詞彙。類器官智慧、類神經形態、樹突運算。我一開始並沒有這些詞。
最後我們一起碰出了算力理論。我沒辦法清楚說出哪些是我的,哪些不是。
這確實是一種全新的學習方式,我不確定我們是否都已經注意到了。總之,以下內容請你自己逐一查證,因為我查過了,而你也應該查。
接下來事情就從一個有趣的洗澡靈感,變得有點詭異了。
有一家瑞士公司叫 FinalSpark,他們把實驗室培養的人類腦類器官當成雲端平台在運作。你可以租用它們的運算時間。透過網路。是真正活著的神經組織,放在電極上,作為服務提供。
在墨爾本有一家公司 Cortical Labs,他們教會了一盤神經元玩《乓》遊戲,然後把它做成了產品。你可以直接買這台設備。
兩者的主打論點都和我剛才說的一樣:在某些學習任務上,相較於矽晶片,它們的耗電量可低上好幾個數量級。
但限制也確實存在。類器官只能存活幾週,最多也許幾個月。沒有人知道要如何以任何你會認為是「程式設計」的方式來編寫它們。而且神經元速度很慢,發放一次脈衝是毫秒等級,晶體管則是奈秒等級,所以這從來就不會是 H100 的即插即用替代品。不同的機器,不同的工作。
這個領域還有一個大家都很禮貌地迴避的問題:一盤神經元如果開始做有用的工作,究竟在什麼時候會變成道德上必須在意的事?FinalSpark 自己的科學家也公開說過他們有在思考這件事。我沒有答案,而且我也會懷疑任何聲稱自己有答案的人。
先說清楚,我並不是在替這些事背書。我想先留下紀錄,免得 2041 年有人在證詞裡拿我的話來引用。
比較無聊、也比較現實的答案是類神經形態矽晶片。Loihi、NorthPole、SpiNNaker。把生物的架構拿過來:脈衝式神經元,記憶體和運算放在一起,而不是隔著匯流排,再加上誇張的平行性。然後用矽來實作,這樣就能得到奈秒等級,而不是毫秒等級。抄設計、降低延遲、跳過倫理審查。
我們已經在用 AI 幫忙設計這些晶片了,這本身就像一條自我吞尾的小蛇,形成某種遞迴。
真正的問題是,架構才是秘密,還是秘密其實藏在濕式化學裡。那些神經調質物、樹突運算,以及所有那些沒辦法在白板上工整畫出的類比雜訊。也許我們只是抄到了藍圖,卻漏掉了關鍵手法。
總之。下次如果有人跟你說 AI 是電力問題,請記得你頭骨裡就有一個 20 瓦的參考設計在走來走去,而且它從來都不需要變電站。
睡個好覺,週末愉快。