本文於 2/25 刊載於 OpenAI 官網，標題為 Planning for AGI and beyond，本文由 AI 翻譯，少許編改。如果您成功看完了這篇，建議您把過去兩個月本部落格翻譯的文章以及這篇也順便看一次。
我們的使命是確保強人工智慧 (後縮寫為AGI)— — 通常比人類更聰明的人工智慧系統 — — 造福全人類。
如果成功打造AGI，這項技術可以通過提升富裕、推動全球經濟，並協助發現改變極限可能性的新科學來升級人類。
AGI有潛力為每個人提供令人難以置信的新能力，我們可以想像這樣一個世界，我們所有人都可以獲得幾乎任何認知任務的説明，為人類的聰明才智和創造力提供巨大的力量放大器。
另一方面，AGI也將帶來濫用、嚴重事故和社會混亂的嚴重風險。由於AGI的好處如此之大，我們認為社會不可能或不希望永遠停止其發展，相反，社會和AGI的開發者必須弄清楚如何把它做好、做對。 [1]
雖然我們無法準確預測會發生什麼，目前的進展可能會碰壁，但我們可以闡明我們最關心的原則：
- 我們希望 AGI 賦能人類，使其在宇宙中最大限度地繁榮。我們不期望未來是一個無條件的烏托邦，但我們希望好事最大化、壞事最小化，讓AGI成為人類的放大器。
- 我們希望AGI的好處、使用和治理得到廣泛和公平的分享。
- 我們希望成功面對巨大風險。在面對這些風險時，我們承認理論上看似正確的事情在實踐中往往比預期的更奇怪。我們認為，我們必須透過部署功能較弱的技術版本來不斷學習和適應，以盡量減少“一次性正確” (“one shot to get it right”)的情況。
The short term 短期
我們認為現在有很重要的幾件事，以為 AGI 做準備。
首先，當我們建力更強大的系統時候，我們希望部署它們並獲得在現實世界中操作它們的經驗。我們相信這是謹慎管理 AGI 存在的最佳方式 — 逐步過渡到 AGI 世界總比突然出現要好。我們預計強大的人工智慧將使世界的進步速度更快，我們認為最好逐步適應這一點。
漸進式過渡使人們、政策制定者和機構有時間瞭解正在發生的事情，親自體驗這些系統的好處和缺點，調整我們的經濟，並實施監管。這也允許社會和人工智慧共同發展，讓人們在風險相對較低的情況下集體弄清楚他們想要什麼。
我們目前認為，成功應對人工智慧部署挑戰的最佳方式是快速學習和仔細反覆運算的緊密反饋迴圈。社會將面臨一些重大問題，包括人工智慧系統被允許做什麼、如何消除偏見、如何處理工作流離失所等等。最佳決策將取決於技術所採用的路徑，與任何新領域一樣，到目前為止，大多數專家預測都是錯誤的。這使得在憑空想像裡進行規劃變得非常困難。 [2]
一般來說，我們認為在世界上運用更多的人工智慧會帶來好處，並希望推廣它（透過將模型放入我們的 API 中、開源它們等）。我們相信，民主化的使用也將導致更多更好的研究、分散的權力、更多的利益以及更廣泛的人貢獻新想法。
隨著我們的系統越來越接近 AGI，我們對模型的建立和部署變得越來越謹慎。我們的決定需要比社會通常適用於新技術的謹慎得多，並且比許多使用者希望的更加謹慎。人工智慧領域的一些人認為 AGI （和後續系統）的風險是虛構的；如果他們被證明是正確的，我們會很高興，但我們將把這些風險納入運作的考量。
As our systems get closer to AGI, we are becoming increasingly cautious with the creation and deployment of our models.
隨著我們的系統越來越接近 AGI ，我們對模型的建立和部署變得越來越謹慎。
在某些時候，部署的優缺點間的平衡（例如賦能給惡意行為者，造成社會經濟破壞以及加速不安全的競賽）可能會發生變化，在這種情況下，我們將有感的持續更新以調整我們的計劃。
其次，我們正在努力打造一個越來越一致且可操縱的模型。我們從 GPT-3 的第一個版本到 InstructGPT 和 ChatGPT 等模型的轉變就是一個早期例子。
特別是，我們認為社會必須就如何使用人工智慧達成極其廣泛的共識，但在這些界限內，個人使用者有很大的自由裁量權。我們最終的希望是，世界各機構就這些廣泛的界限應該是什麼達成一致意見；我們最終希望能夠實現這些界限。在短期內，我們計劃對外部輸入進行實驗。世界各機構需要得到強化、增加能力和經驗，為有關 AGI 的複雜決策做好準備。
我們產品的“預設設定”可能會受到很大限制，但我們計劃讓用戶輕鬆更改他們正在使用的 AI 行為。我們相信賦予個人做出自己決定的能力以及思想多樣性的內在力量。
隨著我們的模型變得更加強大，我們將需要開發新對齊技術(alignment techniques)（以及測試以瞭解我們當前技術何時失敗）。我們的計劃是，短期內使用人工智慧來幫助人類評估更複雜模型的輸出並監控複雜系統，從長遠來看，使用人工智慧來幫助我們提出更好的對齊技術的新想法。
重要的是，我們認為我們經常必須在人工智慧安全性和功能方面共同取得進展。單獨談論它們是錯誤的二分法；它們在許多方面是相關的。我們最好的安全工作來自與我們最有能力的模型合作。也就是說，提高安全進步與能力進步的比率非常重要。
第三，我們希望就三個關鍵問題進行全球對話：如何治理這些系統、如何公平分配它們產生的利益，以及如何公平地分享訪問權。
除了這三個領域之外，我們試圖用一種誘因與良好產出同行的方式打造我們的結構。我們的章程中有一項條款，即協助其他組織提高安全性，而不是在後期 AGI 開發中與他們競爭。我們對股東可以獲得的回報有上限，這樣我們就不會被激勵去嘗試不受約束地獲取價值，並冒著部署潛在災難性危險的東西（當然也是與社會分享利益的一種方式）。我們有一個非營利組織來管理我們，讓我們為人類的利益而營運（並且可以淩駕於任何營利性利益之上），包括讓我們做一些事情，比如如果需要安全，取消我們對股東的股權義務，並贊助世界上最全面的無條件基本收入 (UBI) 實驗。
We have attempted to set up our structure in a way that aligns our incentives with a good outcome.
我們試圖用一種誘因與良好產出同行的方式打造我們的結構。
我們認為，像我們這樣的工作在發佈新系統之前，接受獨立審核(independent audits) 非常重要；我們將在今年晚些時候更詳細地討論這個問題。在某些時候，在開始訓練未來的系統之前進行獨立審核可能很重要，並且對於最先進的努力來說，同意限制用於建立新模型的計算成長率。我們認為，關於 AGI 工作何時應該停止訓練運行、決定模型可以安全發佈或從生產使用中提取模型的公共標準非常重要。最後，我們認為世界主要政府對超過一定規模的培訓運行有洞察力是很重要的。
The long term 長遠
我們認為，人類的未來應該由人類決定，與公眾分享有關進展的資訊非常重要。應該對所有試圖建立 AGI 的努力進行嚴格審查，並為重大決策進行公眾諮詢。
第一個 AGI 將只是智慧連續體中的一個點。我們認為，進展很可能會從那繼續開展，可能會在很長一段時間內保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能是非比尋常的。錯位的超級智慧 AGI 可能會對世界造成嚴重傷害；一個擁有決定性超級情報領導的專制政權也可以做到這一點。
可以加速科學發展的人工智慧是一個值得思考的特例，也許比其他一切都更有影響力。 AGI 有能力加速自己的進步，可能會導致重大變化以驚人的速度發生（即使過渡開始慢下來，我們預計它在最後階段也會很快發生）。我們認為較慢的起飛更容易確保安全，協調與 AGI 在關鍵時刻減速的努力可能很重要（即使在我們不需要這樣做，以解決技術對齊問題的世界裡，放慢速度對於給社會足夠的時間來適應可能很重要）。
成功過渡到一個擁有超級智慧的世界也許是人類歷史上最重要、最有希望、最可怕的專案。成功遠未得到保證，賭注（無限的下行和無限的上行）有望使我們所有人團結起來。
我們可以想像一個人類繁榮到我們任何人都不可能完全想像程度的世界。我們希望為世界貢獻一個與這種繁榮相一致的強人工智慧。
如果您成功看完了這篇，我建議您把過去兩個月我翻譯的文章也順便看一次。
