《毀滅戰士》之父 John Carmack 獨家問與答:走向通用人工智慧的“不同之路”

fox hsiao
17 min readFeb 5, 2023

--

原文在 2023 年 2 月刊載於 Dallas Innovates 2023 , John Carmack 是全球遊戲業頂尖的人物之一,在 90 年代,他就開發出極受歡迎的 3D 射擊遊戲《德軍總部3D》(Wolfenstein 3D)、《毀滅戰士》(Doom)和《雷神之鎚》(Quake)。除了遊戲業外,他也跟航太工業與虛擬實境有關,在他離開被 Meta 併購的 Oculus 後,現在投身於通用人工智慧領域,本文翻譯由 AI 完成,並經過些許編修,首圖亦由 AI 生成。

休斯頓遊戲開發者、火箭工程師和虛擬實境先驅的他已經轉向一個大膽新挑戰:開發通用人工智慧(AGI) ,一種超越模仿人類智慧、理解事物並解決問題的人類智慧形式。 約翰·卡馬克(John Carmack)認為,到2030年,有60%的機會取得通用人工智慧的初步成功。以下是他為何獨立工作以及如何做到這一點的方法。

北德州的科技天才卡馬克正將他的矛頭指向最野心勃勃的目標:透過開發人工智慧來解決世界上最大的計算機科學問題。這是一種人工智慧,讓機器可以理解、學習並執行人類可以做的任何智力任務。

在高地公園的比佛利大道上,52歲的卡馬克正在他的億萬豪宅裡,致力於透過他的新創公司 Keen Technologies 實現通用人工智慧,該公司在8月份募得2,000萬美元。

卡馬克說,這是他職業生涯的“第四個主要階段”,其中包括 1991 年 id Software 在計算機和電腦遊戲方面、阿瑪迪歐航空公司(Armadillo Aerospace,2000–2013)於次軌道太空飛行火箭方面,以及 Facebook(現為Meta)於2014年以20億美元收購的Oculus VR的虛擬實境技術。

2019年11月,卡馬克宣布從Oculus的技術長離職,轉為擔任「顧問技術長」,以分出更多的時間在通用人工智慧領域的工作。2022年12月,卡馬克宣布離開Oculus,專注於自己在2019年成立的人工智慧公司Keen Technologies。我們在他罕見休息時間裡,與這位科技偶像進行了以下獨家專訪,一次坦率的對話。

你將進行什麼樣的工作來"解出"人工智慧問題,而為什麼要用你的特定方法?

我現在一直坐在電腦前,想出概念、記錄它們、建立理論、測試它們。這就是現在的工作,因為沒有人真正知道通往我們想要去的地方的完整路徑。但出於許多原因,我認為我有和任何人一樣好的機會。

一些人已經籌集了數十億美元來追求這個目標。雖然從某些方面來看,這很有趣,而且有跡象表明,在機器學習領域,現在可以做出極其強大的事情,雖然尚不明朗,但這些是成就強人工智慧的必要步驟。對於那些樂於這樣做的公司來說,這不是壞的賭注,因為有很多出口,即使你沒有完全到達,也有有價值的東西。仍然有一些東西會改變世界,比如弱人工智慧。

但令人擔心的是,如果你只是走第一個出口,說:“嘿,這裡有一個十億美元的出口” — — 我們知道我們可以只是去採用我們所理解的東西,並革新各個行業。這就成為一個非常誘人的事情,但它讓每個人都偏離了對更遠未來的關注,而專注於遠大的東西。因此,我處於一個可以直言不諱的位置,那就是:近期沒有商業機會。

你最早怎麼對這個議題開始有興趣的?

我們正處於一場科學革命之中,因為10年前,人們並沒有意識到人工智慧正在發揮作用。我們經歷了幾次人工智慧的“寒冬”,事實上,甚至有數十年。有趣的是,虛擬現實也經歷了這樣的情況:它幾乎成了一個壞話,因為它在1990年代崩塌得很厲害,人們甚至不想談論它。

人工智慧也經歷了幾次週期,其中包括炒作、資金流入、表現不佳,然後崩塌,沒有人想談論它。但是這個十年不同,因為在過去的十年中,機器學習發生了許多令人驚嘆的事情。

這就是讓我說“好吧,現在可能是時候認真看看這個了”的事情。對我來說很有趣,因為我對機器學習和人工智慧有一個技術旁觀者的理解,我在十多歲的時候就讀過一些經典書籍,知道了符號人工智慧等等。所以,我的大腦對這些東西有一點了解,但我沒有關注正在發生的事情,因為我忙於遊戲、航空科技和虛擬現實的工作。

到了某個時間點,你會意識到,「好,我想可能有一些東西需要我來確認 — — 哪些是炒作,哪是實在的?」所以我做了我經常做的事情:我所有真正的能力都來自於從最深層去理解事物,這樣做才能有所洞見。

四年前,我去進行一個為期七天的精神洗禮,只帶一台電腦和一堆參考資料,重新理解行業的基礎知識。到了一個地步,就像是:“好吧,我對此已經有足夠的了解,可以和研究人員進行一次認真的對話。”我對自己達到這種水準的理解感到非常興奮。

在那之後,Open AI 的 Sam Altman 邀請我參加 Y Combinator的 YC 120 大會,雖然我從來不會參加這類事情(因為我是隱士的傾向),但這次我決定參加。結果發現,這是 Sam 為了讓我接受工作提議而精心策劃的事件,因為他讓 Greg Brockman 和 Ilya Sutskever 來試圖讓我加入 Open AI。

我對此感到受寵若驚,因為我並不是機器學習專家。我是一位知名的系統工程師,但我只有基本的人工智慧知識。他們是該領域的領導者,他們認為我值得試圖加入,這真的種下了種子,讓我開始思考這一切正在發生的事情以及我可以扮演的角色。

因此,我請他們的首席科學家 Ilya 給我一份閱讀清單。這是我的路徑,我做事的方式:給我一堆所有我需要知道的東西,才能真正在這個領域中起作用。他給了我大約 40 篇研究論文的清單,並說:“如果你真的學習所有這些,你就會知道 90% 現在重要的事。”我做到了。我讀完了所有這些東西,一切都開始在我的腦海中排序。

你當時還在 Meta 進行虛擬現實的工作,對嗎?

是的,我跟 Meta 有一些關於大規模戰略方向的問題。我相信你已經看到一些關於他們花多少錢的新聞,我認為大部分都花得很糟糕。我在那裡遇到了一些挑戰,而我也到了 Oculus 被收購後的五年合約的最後階段。那時我決定,“好吧,我要更加認真地研究這個人工智慧的工作了。”

我以前做過的所有事情 — 遊戲、火箭、虛擬現實 — 我的目標是尋找還不存在的東西,但我有一條清晰道路。但對於 AGI 來說,情況有所不同,因為沒有人知道該怎麼做。這不是一個簡單的工程問題。但是,考慮到這個十年發生的事情,有一些令人垂涎的線索 — 它們不是極端的黑魔法數學巫術 — 其中許多都是相對簡單的技術,現在我了解它們,對我來說完全有道理。

三、四年前,我估計我們有 50% 的機會在 2030 年有明顯的人工智慧生命跡象。這並不一定意味著對任何東西都有巨大的經濟影響,但只是我們有一個在計算機上運行的個體,大多數人認為它是智慧的、有意識的,並且與我們人類所做的工作水準相當。在對所有這一切進行了三年的硬派研究之後,我沒有改變我的預測。事實上,我可能會將它提高到 2030 年可能有60%的機會。如果你走到2050年,我把它提高到95%的機會。

許多人都預測這將會帶來驚人的、震撼世界的結果,對嗎?

我嘗試不要使用太過誇張的宣言,因為我只是一個喜歡把事情做到極致的人。即使是火箭科學方面的事情,我也不是在談論如何殖民火星,而是在討論用什麼螺絲起子來把東西固定在一起。所以,我不想做一個 TED 演講,講解用可行的成本來實現人工智慧。

但是,尤其是疫情讓人們發現,可以透過電腦互動,比如Zoom、電子郵件、通訊軟體、Discord等等,來完成比人們想像的更多的事情。

如今,世界上的大部分價值都可以透過這種方式來實現。如果你有一個行為與人類相似的人工智慧助手 — — 即使是我們現在的弱人工智慧,透過深度偽造(deep fakes)、聊天機器人和語音合成 — — 很明顯,我們可以模擬人類的模式。我們尚未擁有可以自我學習的人工智慧同事,但我們確實可以提供大量知識。

你會發現人們過度誇張討論奇點,或者強人工智慧將帶來的所有改變,但我只是想說,如果10年後,我們將會有「泛用型遠程員工」,它們是人工智慧,在雲端上執行,人們可以撥打電話並說:「我今天想要五個 Frank ,十個 Amy ,我們將把它們部署在這些工作上」,你可以像使用雲端運算服務一樣,使用基本上是人造人力資源的東西,這是對這樣的東西最平凡、最乏味、最平庸的用途。

如果我們所做的只是製造更多的人類水準的資本(human-level capital),並將其應用於我們今天正在做的事情,那麼,你可以說:「我想拍一部電影或漫畫之類的東西,給我一個團隊,讓我去做這件事,」然後在雲端上執行它 — — 這就是我對此事的願景。

為什麼達成一個可以做人類工作的系統是如此重要? 人們做著他們的工作有什麼問題?

嗯,你可以把這個和許多問題綁在起來,比如,「人口增加是好事嗎?」「移民是好事嗎?我們似乎已經能夠利用那些願意參與經濟活動並受市場引導的新人力?」

世界比當初只有五千萬人住在洞穴時,已經好得多,現在我們有八十億人口。因此,我有信心,當我們歡迎人工生物加入我們的社群,一起工作時,人類的總價值和進步將會以驚人的速度加快。我認為,所有這些都會創造出巨大的價值。

對於如何達到通用人工智慧的特定路徑,你有什麼看法?

從今天的虛擬助理(如Siri、Alexa和Google助理)到更加有用,可以接管更多任務,有一條路徑可以走。但是這些都是相當脆弱且專門的使用,涉及各種知識表示、語音合成和語音理解,這可能不是通用智慧的路徑,弱人工智慧可以為靈活的提供給各種目的。他們現在有數千名開發者在為這些助理增加新功能,這是有短期價值的。將這些東西拼接在一起的開發工作將會被扔掉。但是,但這條路不會進入可以學習任何人類工作的通用人工智慧。

涉及感知的事情,比如理解某人的聲音,甚至自然合成聲音,10到15年前,這些都是電腦做得很差的事情。90年代的笑話是,你有一台電腦可以輕鬆打敗世界象棋冠軍,但是電腦不能做2歲孩子可以做的事情:它無法分辨貓和狗。世界上沒有一款電腦產品可以做簡單的微小感知事情。因為,事實證明,這就是我們的大腦真正做的:它更多的是關於感知和模式對應。那時候的人們想到的是這些哲學符號操作的東西,這導致人工智慧偏離了正軌,數十年來都是如此。

過去有許多死胡同的計劃,最後證明是脆弱且沒有太大的商業價值。但是,在這個十年的革命中,隨著深度學習和深度連接方法的出現,我們實際上可以做到所有兩歲孩子感知方面可以辦到的事情。在許多情況下,我們都處於超人的水平。我們還沒有的是意識、關聯記憶、有生命、有目標和計劃的東西。有些弱人工智慧系統可以實現其中的任何一個,但它還不是人腦或動物腦的工作方式。我的意思是,別提人腦了,我們甚至還沒有能夠像老鼠或貓一樣行動的東西。但是感覺上我們已經接近所有這些東西了。

我認為,幾乎可以肯定的是,我們在過去十年從深度學習中獲得的工具,將能夠帶來通用人工智慧。我們對其他領域仍有一些結構上的東西尚未理解,比如強化學習、監督學習、無監督學習。所有這些都會以人類思考的方式結合在一起,但我們尚未對所有這些進行最終的統合。

有沒有一個關鍵因素或中心思想可以達到這個目標?

我常說的一件事,有些人不喜歡,就是通用人工智慧所需的原始碼,也就是電腦程式,將會是數萬行程式碼。現在,一個大型程式可能有數百萬行程式碼,比如 Chrome 瀏覽器大概有 2,000 至 3,000萬行程式碼。

Elon 不久前提到,Twitter 在大約 2000 萬行 Scala 程式碼上運作。這些是大型程式,單一個人沒有機會去重寫它們。你用你剩下的生命寫不完所有的程式碼。但我相信,我真心認為強人工智慧的程式是一個人可以寫的。

現在,聰明的錢仍然說,它是由一群研究人員團隊完成的,並且在所有這些方面拼湊在一起。但我的推理是:如果以你身體整個的 DNA 來說,它佔不到一個 GB 的資訊。因此,即便是你的整個人體也不是太多的指令,大腦只是其中的一小片 — 像 40MB 之類的,而且它不是緊湊的程式。因此,我們有人類存在的證明:驅動我們大腦與智力的,並不需要太多程式碼。

現在,它演變成一個非常複雜的對象,你會看到的數字是,人類大腦大約有860 億個神經元,以及它們之間可能多達 1000萬億個連結。現在,即使在計算機術語中,這也是一個大數字。當你談到像 GPT-3 這樣的大型模型時,你會說,“哦,它有160億個參數”,參數與大腦中的連接類似。

因此,你可能會說,在我們的電腦具有與大腦同等能力之前,我們仍然還有大約 500 個的因子等著處理。但我認為也有一個非常好的理由相信這是一個極端悲觀的估計,估計應該要小得多,因為我們的大腦正在做很多根本沒有那麼重要的事情。它們真的很馬虎、很慢,所以可能不需要那麼多參數。

但是,這是一個簡單的程式,以利大規模使用,這正是今天人工智慧正在做的事情。如果你把人們談論的東西 — GPT-3、Imagen、AlphaFold — 這些框架的原始碼都不大。它們只有數千行程式碼,甚至不到萬行程式碼。現在,它們是建立在一個大的框架生態系統上的,但核心邏輯不是一個大程式。

我堅信,我們距離擁有足夠硬體來做這件事只有十年的時間,而且所需的程式碼量也不多,而且有足夠的人在做這件事。雖然在我看來,很令人驚訝的是,沒有更多像我這樣的人在做這件事,而大家都把 DeepMind 和 Open AI視為領先的通用人工智慧研究實驗室。

為什麼你想要獨立於所有這些人之外工作?

我之所以堅持獨立,是因為所有主要參與者之間存在著一種令人驚訝的「團體思維」。在過去的一年中,看到一些事情出乎意料,比如:Open AI發布了一個圖像生成器,然後Google發布了一個,接著Facebook也發布了一個。因此,所有這些公司只需要幾個月的時間就可以重現任何其他人的工作,因為他們都來自同一個學術研究人員庫。存在著交叉授粉和一個由超級聰明的人所組成的巨大智囊團,做著所有這些事情。

雖然我們還不知道未來的走向,但是在機器學習中有一種策略需要一定程度的隨機性,即從隨機的權重和位置開始,有時還會有多個集合模型。因此,我將自己定位為這些隨機測試點之一,其餘行業正朝著一個導向美好未來的方向前進,他們做得很好。但是,由於我們不確定自己是否處於最佳美景,可以舒服的停下來開始找最佳解,因此也有必要有一些人測試解決方案領域的其他可能性。

而且,我的背景不同。我不是從學術研究背景出發的,我是一名系統工程師。我擁有一些與此相關的感知、系統技術和演化行為,而且我聰明到可以應用必要的東西。因此,儘管我的公司已經被投資 2,000 萬美元,但我並沒有告訴他們,我很可能會突破通用人工智慧。相反的,我說我個人有一定的機會找到一些關鍵的重要事物。

一旦弄清楚,你認為其後果會是什麼?

人工智慧會以一種可以影響經濟的方式出現,實際上是一個「改變世界的事件」,這是一種重塑人類所能做的幾乎所有事情的東西。 這是一件幾乎是你能想到的最大規模的事情。

因此,值得押注賭一下,比如我對研究方向的 2,000 萬美元。 它可能會成功,但也可能不會。 我可以平靜地說,我比 Open AI、DeepMind 以及所有中國研究實驗室的所有人,都先達成的可能性都低 — — 要說「是的,我有信心我會先到達那裡」,那是非常自大的。

但是,我不知道有沒有人比我更聰明地解決這些問題。我認為我不會在這場比賽落後。而且我正在走一條不同的路。我的立場是,「是的,我將把接下來的十年獻給這件事,它可能會是一個宏偉的成功。」或者,它可能會變成我找到兩個超級聰明的事,然後我和其他人合作。在未來也許有一個收購案或者之類的事。

我不想做的是挑選第一個商業應用,然後說:「好吧,我知道遊戲,我知道影像產生,我可以去做遊戲內容創作。」而事實上,我在 Oculus 的前夥伴布萊登·艾里布(Brendan Iribe)說:「來跟我一起做吧!我們會籌集大量資金,一定會很棒!」是的,那幾乎是一個獨角獸保證。毫無疑問,我們可以創造出一家價值10億美元等級的公司。但是,最大的金獎 — — 通用人工智慧 — — 那是數以兆計的。它是不同級別的量級。

我很幸運能夠處於這樣的位置,我有我的成功、我有我的成就、我有我的財務穩定性。所以我可以採取這個賭注,冒這個風險,而且這確實是非常冒險的。但是因為我不擔心毀滅,我可以說:「好吧,如果我認為我有幾個百分點的機會做到這一點,而且價值數以兆計,那不是壞賭注。」我的意思是,對大多數人來說,這是壞的思維方式,但我處於一種狀態,這不是壞事。

所以實務上,現在你是怎樣在 Keen 上押注的呢?

這是研發,但我有一些不是很主流的想法。我有追蹤大多數主流的做法,因為它們很棒,很有用。現在我正在追蹤去年的一些研究論文,我認為它們對我想要應用它們的方式比原作者所考慮的更有用。

對於早期發生有價值的事情,人們可能不一定意識到。從70年代、80年代和90年代開始,我實際上認為可能會有一些有趣的工作,當時發生了很多事情,因為沒有足夠的規模,它們沒有實現。他們正試圖在一兆赫的計算機上做這件事,而不是GPU群。

此外,我提到的那種團體思維,如果你看看它,對於所有這些聰明的研究人員來說,都是非常明顯的 — 他們都有相似的背景,而且他們都在朝著同一個方向游泳。因此,在那裡有一些古老的東西,我認為可能有用。所以現在,我正在建立實驗,我正在測試事物,我正試圖將一些不同的領域結合在一起,這些領域擁有我認為是強人工智慧演算法的組成部分。

大部分我所做的事情是透過觀看大量電視節目和玩各種電腦遊戲來進行模擬。我認為,這種“這是你如何感知和內化世界模型,以及如何在一些情況下以有效的方式行動”的結合,我仍然不知道它們是如何結合在一起的。但我認為那裡有關鍵。我認為我已經掌握了需要解決的問題的範圍,以及如何將事物推向一起。

我仍然認為還需要發現許多深層見解,但我有一些可能的見解,會被證明是相關的。我幾十年前訓練自己做的一件事就是把想法拿出來,以一種讓我感興趣的方式去追求它們,知道大多數最終都不會實現。在我職業生涯的早期,當我有一個非常明智的想法卻沒有實現時,我會感到非常沮喪。

但最終我到了一個點,我非常擅長將想法經過內化並刪除,幾乎將其作為一個遊戲,“我能夠多快地打破自己的想法,而不是保護它們作為寵物呵護?”

我現在有幾個候選想法,正在探索和攻擊的過程中。但是,這將是一些抽象的想法和技術,這些都會很類似於深度學習的方式。

因此,我推遲擴張,因為現在有很多公司說:“我們需要籌集一億、兩億美元,因為我們需要一個滿是GPU的倉庫。” 這是一條通往價值的路,是一個方向。但是我非常堅持說:“不,我想在我浪費一億美元之前,先弄清楚這六件重要的事情。” 我現在其實沒有花太多錢。我籌集了 2000 萬美元,但我認為這是一個十年的任務,我不想在未來兩年內花光 2000 萬美元,然後再籌集另一系列來獲得另外幾億美元,因為我實際上不認為這是一個明智的方法。

我希望我能花上好幾年的時間來處理這些事情,建立一些小東西,我認為它們朝著正確的方向前進。然後,加上一些規模,將一生的資訊和經驗推進其中,看看它是否會產生出一些閃耀的東西。因為我不期望它會自動出現。

我一直在說,只要到達了一個小孩的水平,也就是一個存在的東西,它是有意識的,不是愛因斯坦、甚至不會乘法,如果你有一個可以學習的生物,你可以在某種程度上與它互動並教它一些東西。一旦到達這一點,你就可以部署一支由工程師,發展心理學家和科學家組成的大軍來研究這些事情。

因為我們還沒有到達那一點,我們還沒有能力模擬出一個像那樣的存在。大腦正在做的詭計,技巧和策略,我們現有的模型都沒有。但對我來說,達到這一點似乎不遠。

你能看出如何到達那個遙不可及的點嗎?

我看到了目的地,我知道它在那裡,但是不,在這裡和那裡之間是陰暗的。沒有人知道如何到達那裡。但是我正在看著那條路說,我不知道裡面有什麼,但我想我可以通過那裡 — 或者至少我認為有人會。我認為很有可能會在 2030 年代發生。

我確實認為這是不可避免的。但是我做得很好的很多事情都是把可能不可避免的事情提前。我覺得我做的3D電腦遊戲東西,它可能永遠會發生,但如果我沒有讓它早點發生,它可能會在幾年後發生。

--

--

fox hsiao
fox hsiao

Written by fox hsiao

fOx. A starter, blogger, gamer. Co-founder @ iCook & INSIDE

No responses yet