人工智能（AI）是未來(lái)的技術(shù)。怎樣才能管好AI、用好AI，不僅需要我這樣的AI研究人員，還需要來(lái)自金融、經(jīng)濟(jì)等各領(lǐng)域的人士的集思廣益。下面我談一談自己的看法——怎樣把AI管起來(lái)，讓它成為開(kāi)創(chuàng)美好未來(lái)的工具？

在我最優(yōu)秀的學(xué)生里，中國(guó)人占到很大的比例。所以每次來(lái)到美麗的中國(guó)，我都特別高興。接下來(lái)我要介紹的工作進(jìn)展，有部分就是由我的中國(guó)學(xué)生完成的。

剛才，我們聽(tīng)常啟德先生介紹了聯(lián)合國(guó)可持續(xù)發(fā)展目標(biāo)。我同意他的看法。事實(shí)上，我們最近寫(xiě)了一篇論文，揭示了AI的巨大潛力，如果使用得當(dāng)，勢(shì)必有助于我們更快地實(shí)現(xiàn)這些目標(biāo)——不僅是在金融領(lǐng)域，而是對(duì)全世界全人類而言。

現(xiàn)在：人工智能能做什么？

近幾年，人工智能的發(fā)展可謂一日千里。我們看個(gè)機(jī)器人行走的視頻，不久前還是這水平：

00:10

第二個(gè)機(jī)器人特別尬，因?yàn)槭锹槭±砉さ臋C(jī)器人……現(xiàn)在的機(jī)器人已經(jīng)完全不同：

00:15

我們?cè)僭囋嘙idjourney。2022年，我們向這個(gè)生成圖像的AI輸入了一個(gè)指令，得到圖一：

圖一

一年后，輸入同樣一個(gè)指令，得到的是圖二：

圖二

所以說(shuō)，進(jìn)步是肉眼可見(jiàn)的快。

再看一個(gè)有聲音的：

00:08

“深度偽造”（deep fake），也到了真假難辨的地步。這真的不是湯姆·克魯斯嗎？當(dāng)然不是。

有些研究人員認(rèn)為，這些大型語(yǔ)言模型仍然非常愚蠢，缺乏對(duì)世界的深刻理解。雖然看上去花俏，但并沒(méi)有超出統(tǒng)計(jì)學(xué)的范疇，他們把這些模型叫做“隨機(jī)鸚鵡”（stochastic parrots），言下之意，它們只是在重復(fù)以前聽(tīng)過(guò)的東西。我們最近的一篇論文，證明這種看法是錯(cuò)誤的。

這些大語(yǔ)言模型能夠自主開(kāi)發(fā)模型，并合成它們所學(xué)到的東西。以Llama2為例。這個(gè)AI從未受過(guò)圖像訓(xùn)練，也沒(méi)見(jiàn)過(guò)世界地圖。但我們發(fā)現(xiàn)，僅僅通過(guò)閱讀文本，它就在心里，準(zhǔn)確地說(shuō)，是第53層創(chuàng)制了一幅字面意義上的世界地圖（圖三）。它知道北京在這里，波士頓在那里，還知道你去過(guò)哪里。

圖三

事實(shí)上，Llama2不僅建構(gòu)了一個(gè)物理世界的模型，還建構(gòu)了一個(gè)抽象概念的模型，比如是非對(duì)錯(cuò)。我們錄入了很多句子，有些是對(duì)的，比如“北京在中國(guó)”，有些是錯(cuò)的，比如“芝加哥在馬達(dá)加斯加”，然后觀察它怎么處理這些信息。我們發(fā)現(xiàn)，在某一層，Llama2把它認(rèn)為正確的信息放在左邊，錯(cuò)誤的則放在右邊。所以，我們其實(shí)可以打造一個(gè)大語(yǔ)言模型的測(cè)謊儀，看看AI有沒(méi)有撒謊，它告訴你的是不是正確的，以及你們交互的結(jié)果是否與它認(rèn)為是正確的相同。

可見(jiàn)，這些模型已經(jīng)變得很聰明，問(wèn)題是：它們能走多遠(yuǎn)？我喜歡用抽象的任務(wù)景觀來(lái)思考這個(gè)問(wèn)題——海平面代表2018我年制作這個(gè)bot時(shí)人工智能執(zhí)行任務(wù)的水平，高地則代表人類的水平（圖四）。現(xiàn)在許多高地都沉到海平面下面了，可見(jiàn)這幾年人工智能發(fā)展得有多快。

圖四

末日：人工智能控制人類？

現(xiàn)在，人工智能已經(jīng)勝任很多編程工作，它們開(kāi)始證明數(shù)學(xué)定理，創(chuàng)作藝術(shù)作品，還能給我們當(dāng)副駕駛。那么，問(wèn)題來(lái)了：我們會(huì)有實(shí)現(xiàn)人工通用智能（AGI）的那一天嗎？

到那天，大水將淹沒(méi)所有的陸地，而人工智能可以像人類一樣去完成人類所有的任務(wù)。到那天，人工智能自己就能開(kāi)發(fā)人工智能，甚至比人類做得還要好——那以后人工智能發(fā)展的速度會(huì)比現(xiàn)在快得多，因?yàn)殚_(kāi)發(fā)AI的是AI，而不是人類這種精力有限的肉體凡胎。AI的智能每個(gè)月、每星期，甚至每一天都會(huì)翻番，也許還會(huì)出現(xiàn)智能爆炸，到那時(shí)AI會(huì)比人類聰明得多，就像人類比毛毛蟲(chóng)和蝸牛聰明得多一樣。

關(guān)于人工通用智能，爭(zhēng)議一直很大，眾說(shuō)紛紜。不過(guò)，大家的觀點(diǎn)一直在變。幾年前，我的MIT同事羅德尼·布魯克斯（Rodney Brooks）預(yù)測(cè)說(shuō)，人類在未來(lái)三百年內(nèi)是搞不出AGI的。AI研發(fā)人員比他樂(lè)觀，但也認(rèn)為我們距離AGI還有好幾十年。多數(shù)同仁認(rèn)為，我們?nèi)陜?nèi)是做不出像ChatGPT4這樣聰明的AI的。但現(xiàn)在，我們已經(jīng)做出來(lái)了。微軟聲稱在ChatGPT4中看到了AGI的火花，也就是說(shuō)，我們正在靠近人工通用智能。

在座的可能都聽(tīng)說(shuō)過(guò)本吉奧（Yoshua Bengio），他是被引用次數(shù)最多的人工智能科學(xué)家，不出意外的話，很快就會(huì)成為史上被引用次數(shù)最多的科學(xué)家。按照他的觀點(diǎn)， ChatGPT 已經(jīng)通過(guò)“圖靈測(cè)試”，能夠很好地掌握語(yǔ)言和知識(shí)，足以讓人誤以為它是人類。

過(guò)去三年里，人們對(duì)AGI預(yù)測(cè)的變化是有那么大。生成式人工智能（Gen AI）和大語(yǔ)言模型的出現(xiàn)，“砰”地一下改變了人們的看法。顯然，AGI不再只是一種長(zhǎng)期的可能性。根據(jù)AI領(lǐng)軍企業(yè)Anthropic的CEO達(dá)里奧·阿莫代（Dario Amodei）的判斷，它兩三年內(nèi)就會(huì)出現(xiàn)。所以我們不應(yīng)該再使用“長(zhǎng)期”這個(gè)詞，因?yàn)檫@讓AGI聽(tīng)起來(lái)跟恐龍一樣遙不可及。當(dāng)然，未來(lái)存在各種可能性，抵達(dá)AGI也許真的需要很長(zhǎng)時(shí)間。我們不妨多討論討論。

人工智能的教父阿蘭·圖靈（Alan Turing）曾在1951年就預(yù)言說(shuō)：如果AGI出現(xiàn)了，那么很快，機(jī)器就會(huì)變得很聰明、超級(jí)聰明。它們會(huì)控制一切，換句話說(shuō)，人類將失去對(duì)地球的控制。

這聽(tīng)上去可能挺奇怪的。所以，阿蘭·圖靈為什么要說(shuō)這樣的瘋話呢？如果你只是把人工智能當(dāng)成一門技術(shù)，就像是電力或者互聯(lián)網(wǎng)，那就真的沒(méi)什么好擔(dān)心的。但圖靈顯然不這樣認(rèn)為。在他看來(lái)，人工智能不是一門技術(shù)，而是一個(gè)新的物種，一個(gè)在各方面都碾壓我們的數(shù)字代理和機(jī)器人物種。它們?nèi)〉每刂茩?quán)是自然而然的事。

不只圖靈這樣認(rèn)為。OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）設(shè)想過(guò)一種極端場(chǎng)景，就是我們所有人都會(huì)被淘汰。“極端”可能只是一種禮貌的說(shuō)法，達(dá)里奧·阿莫代認(rèn)為概率在10% 到 25%之間。事實(shí)上，中國(guó)和西方頂級(jí)的AI研究人員最近都警告說(shuō)，人工智能可能導(dǎo)致人類滅絕。雖然只是“可能”，不“一定”會(huì)發(fā)生，但我們必須認(rèn)真對(duì)待這一風(fēng)險(xiǎn)，并努力化解它。

未來(lái)：可證明安全的人工智能

接下來(lái)，我想談?wù)勗趺窗袮I管起來(lái)，在一切變得不可控之前。畢竟，是我們?nèi)祟愒趧?chuàng)造AI，我們還不至于束手無(wú)策——所以讓我們一起確保人工智能為我們所用，管好它，用它創(chuàng)造美好的未來(lái)。

我們應(yīng)該怎么做呢？我認(rèn)為，我們首先要有遠(yuǎn)見(jiàn)，想得遠(yuǎn)，才能做得大。本吉奧、我和其他一些研究人員正在擬訂一項(xiàng)倡議，我們管它叫“定量人工智能倡議”。前幾周，我們寫(xiě)了一篇論文專門解釋這一“安全人工智能”的愿景。

其基本邏輯是：當(dāng)技術(shù)很薄弱時(shí)，我們不用太擔(dān)心安全問(wèn)題——如果出了問(wèn)題，我們可以想辦法解決；技術(shù)越強(qiáng)大，容錯(cuò)率就越低，我們就越是要在安全性上下功夫。

比如說(shuō)有人想在中國(guó)推出新型飛機(jī)，要做到怎樣才算安全達(dá)標(biāo)呢？“我們感覺(jué)良好。我們?cè)囷w了一個(gè)小時(shí)，沒(méi)掉下來(lái)，所以是安全的”——這顯然是不夠的，要做的遠(yuǎn)遠(yuǎn)不止于此。我們得進(jìn)行定量計(jì)算，比如估算飛機(jī)在某一年發(fā)生故障的概率，如此這般，直到我們能夠證明它足夠安全，利大于弊。對(duì)于人工智能的安全性，我們同樣需要進(jìn)行事先的定量計(jì)算。我相信我們可以做到。

以其底層技術(shù)的革新為標(biāo)志，人工智能經(jīng)歷了許多不同的發(fā)展時(shí)期。從計(jì)算上看，我們經(jīng)歷了打孔卡時(shí)期，然后是磁帶、晶體管、集成電路等等，到現(xiàn)在的微芯片時(shí)期。硬件方面，GPU的迭代速度極快；軟件方面，各種算法也是日新月異。

而我們這個(gè)時(shí)期的標(biāo)志，我認(rèn)為是“Transformer”模型，它是所有大語(yǔ)言模型的基礎(chǔ)。許多年后，人們也許會(huì)把它稱作“2024年的真空管”。真空管現(xiàn)在看起來(lái)很古老了，但卻是開(kāi)啟計(jì)算機(jī)時(shí)代的第一項(xiàng)技術(shù)。Transformer也一樣，我相信，它是開(kāi)啟大語(yǔ)言模型時(shí)代的第一項(xiàng)技術(shù)，但不是最后一項(xiàng)，也不是最好的，更不是最安全可靠的。

我們最近有篇關(guān)于KANs架構(gòu)的論文。和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)架構(gòu)MLP不同,KANs將權(quán)重（weight）從節(jié)點(diǎn)移到邊緣，能以更少的參數(shù)獲得更高的精度，性能大大優(yōu)于MLP。我只是舉個(gè)例子說(shuō)明我們今天的技術(shù)并不是最好或最終的，一切都在革新。所以什么才配得上“明日技術(shù)”這幾個(gè)字呢？我認(rèn)為它不僅要比今天的AI更強(qiáng)，還要更好懂、更安全、更容易管理。

現(xiàn)在對(duì)人工智能的管理大多還停留在“破解”的階段上，也就是“發(fā)現(xiàn)bug，解決bug”的思路，在測(cè)試中誘導(dǎo)大語(yǔ)言模型說(shuō)些“壞話”什么的，然后修復(fù)導(dǎo)致出錯(cuò)的漏洞。但就像我在前面提到過(guò)的，這種方式只適用于低技術(shù)階段，因?yàn)樗淦淞恐荒茏C明問(wèn)題存在，而永遠(yuǎn)無(wú)法證明問(wèn)題不存在。如果你想證明問(wèn)題不存在，證明強(qiáng)大的人工智能很安全，那么你可能需要另外一種防護(hù)欄。而我們所能擁有的最強(qiáng)大防護(hù)欄，不是別的，正是數(shù)學(xué)證明。

舉個(gè)例子。假設(shè)你研究數(shù)學(xué)，喜歡數(shù)學(xué)，有人告訴你“任何兩個(gè)立方數(shù)相加，不會(huì)等于第三個(gè)立方數(shù)”——他說(shuō)得對(duì)嗎？你試著用3³加4³，嗯，它們的和不是立方數(shù)……你試了10次，沒(méi)發(fā)現(xiàn)反例，于是下結(jié)論“他說(shuō)得對(duì)”。不，這不是數(shù)學(xué)證明，無(wú)法證明“他說(shuō)得對(duì)”，而只證明了你沒(méi)發(fā)現(xiàn)反例。

當(dāng)然，這個(gè)說(shuō)法是對(duì)的，因?yàn)橛腥俗C明了：在無(wú)窮的整數(shù)里，沒(méi)有一個(gè)立方數(shù)是另外兩個(gè)立方數(shù)之和，這就是“費(fèi)馬最后定理”。

在人工智能和計(jì)算機(jī)科學(xué)領(lǐng)域，形式驗(yàn)證（formal verification）同樣是個(gè)大課題，也就是對(duì)軟件進(jìn)行嚴(yán)格的數(shù)學(xué)證明，證明它在任何輸入情況下都能按指令行事。可證明安全的人工智能——這是很高的安全標(biāo)準(zhǔn)。

目前相關(guān)領(lǐng)域的進(jìn)展比較慢，因?yàn)楣ぷ髁刻螅叶喟氲每咳藖?lái)完成。不過(guò)，我很樂(lè)觀，用不了多久大語(yǔ)言模型和AI就能解決這個(gè)問(wèn)題。人工智能已經(jīng)徹底改變了藝術(shù)創(chuàng)作和語(yǔ)言處理，通過(guò)編寫(xiě)代碼，它也將徹底改變程序綜合（program synthesis）。這樣一來(lái)，形式驗(yàn)證的許多工作就可以由AI自動(dòng)完成，我們證明代碼安全性的能力也會(huì)隨之突破。

以下是我對(duì)可證明安全的人工智能的設(shè)想。舉個(gè)例子，假設(shè)你經(jīng)營(yíng)著一家大型金融企業(yè)，你要用AI工具來(lái)做一些高風(fēng)險(xiǎn)交易。你肯定不想出錯(cuò)，因?yàn)檫@會(huì)讓客戶血本無(wú)歸。于是，你把這個(gè)AI需要遵守的規(guī)范都寫(xiě)下來(lái)，交給一個(gè)強(qiáng)大的人工智能系統(tǒng)，讓它幫你編寫(xiě)所需的工具，并出具相關(guān)安全證明。這些證明能夠通過(guò)證明檢查器的自動(dòng)檢驗(yàn)，表明所生成的代碼滿足安全規(guī)范。

你可能會(huì)說(shuō)：“我怎么能相信這個(gè)工具呢？我壓根不知道人工智能是怎樣工作的。這個(gè)工具的代碼行數(shù)太多，我讀不過(guò)來(lái)，而且證明太長(zhǎng)，我也讀不過(guò)來(lái)”。沒(méi)關(guān)系，你不需要懂人工智能，也不用看它編寫(xiě)的工具或證明代碼，你只要知道證明檢查器是怎么回事就行了——其實(shí)就是一個(gè)只有 300 行左右代碼的軟件，它能嚴(yán)格檢查和驗(yàn)證證明是否有效。

證明檢查器可以安裝在你的筆記本電腦上，飛快地運(yùn)行。只要安全證明通過(guò)驗(yàn)證，你就可以放心使用你的AI工具了，這個(gè)復(fù)雜、強(qiáng)大的財(cái)務(wù)軟件系統(tǒng)會(huì)完全遵照你的要求工作——不是多數(shù)時(shí)候，而是一直永遠(yuǎn)，因?yàn)檫@套軟件經(jīng)過(guò)嚴(yán)格的數(shù)學(xué)證明，沒(méi)有bug，沒(méi)有安全漏洞，只要宇宙不崩壞，它就是可靠的。

如果出于某種原因，你的人工智能系統(tǒng)寫(xiě)的工具軟件不夠好，那你還有另外一個(gè)辦法：讓傳統(tǒng)的人工智能系統(tǒng)、大語(yǔ)言模型之類的去學(xué)習(xí)算法。比如，我們現(xiàn)在用 Python或者 C++ 寫(xiě)的翻譯軟件都遠(yuǎn)遠(yuǎn)不如Transformer寫(xiě)的好用。所以你得讓機(jī)器去學(xué)習(xí)，然后再用一個(gè)類似于神經(jīng)科學(xué)家的AI軟件去捕捉學(xué)習(xí)到的算法和數(shù)據(jù)，并轉(zhuǎn)化為 Python或者 C++ 代碼，最后進(jìn)行形式驗(yàn)證。這就是所謂的”機(jī)械可解釋性”（mechanistic interpretability）。這是人工智能的一個(gè)小眾領(lǐng)域，去年我在MIT組織了這個(gè)領(lǐng)域的最大型會(huì)議，但其實(shí)也沒(méi)幾個(gè)人參加。不過(guò)，這方面的技術(shù)發(fā)展得很快，在座感興趣的都可以加入進(jìn)來(lái)。

舉個(gè)非常簡(jiǎn)單的例子。我們小時(shí)候?qū)W加法，有時(shí)老師會(huì)讓我們用豎式做循環(huán)進(jìn)位加法，從個(gè)位起傳遞進(jìn)位。現(xiàn)在我們讓神經(jīng)網(wǎng)絡(luò)系統(tǒng)去學(xué)加法，給它一堆數(shù)據(jù)，當(dāng)然是用二進(jìn)制來(lái)做。不一會(huì)兒，它的準(zhǔn)確率就達(dá)到了100%。這時(shí)，我們知道這個(gè)神經(jīng)網(wǎng)絡(luò)里已經(jīng)有了一個(gè)數(shù)字相加的算法。接下來(lái)的問(wèn)題是，在這個(gè)訓(xùn)練出來(lái)的黑盒模型里，怎樣把這個(gè)算法“取出來(lái)”？我們用另外一個(gè)AI工具到神經(jīng)網(wǎng)絡(luò)里去找，再把找到的算法轉(zhuǎn)化成我們需要的Python版本。 這里可以看到這個(gè)Python程序也有循環(huán)，就像我們小時(shí)候?qū)W的多位數(shù)加法，從低到高計(jì)算和進(jìn)位。顯然這段生成的Python程序，比原始訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)，效率好得多。然后我們對(duì)這段Python代碼進(jìn)行形式驗(yàn)證，證明它能正確地將任何數(shù)字相加——不僅是訓(xùn)練數(shù)據(jù)中的數(shù)字，而是任意數(shù)字、任意多數(shù)字，我們可以信任它。

當(dāng)然，我這里討論的是一個(gè)非常宏大的目標(biāo)——可證明安全的人工智能或定量安全的人工智能。要實(shí)現(xiàn)全部目標(biāo)，我們有漫長(zhǎng)的路要走。重要的是記住，我們的征程會(huì)很精彩，即便只是在初始階段。比如你能取得形式證明，證明任何人不經(jīng)過(guò)認(rèn)證都沒(méi)法登錄你的筆記本電腦，不香嗎？這樣你永遠(yuǎn)都不用擔(dān)心被黑了。

還有，不管多么強(qiáng)大的AI，只要你想，就可以隨時(shí)關(guān)閉它，或者可以讓它只運(yùn)行一定的時(shí)間；如果它只能在上海的某個(gè)數(shù)據(jù)中心使用，那么當(dāng)你或其他人把它帶到其他地方，它就會(huì)停止工作。那不是很爽嗎？

這些我們都能做到。我對(duì)此感到興奮，也渴望合作。

結(jié)語(yǔ)

最后，總結(jié)一下。我今天主要談了技術(shù)——人工智能的技術(shù)變得越來(lái)越強(qiáng)大，但我們也有很多安全技術(shù)可以把它管好，確保AI為我們工作，而不是與我們作對(duì)。

前面的發(fā)言者談到了國(guó)家政策和良好治理的重要性。我想強(qiáng)調(diào)的是，如何引導(dǎo)管好人工智能，是一個(gè)全球性的挑戰(zhàn)，因?yàn)槲磥?lái)非常強(qiáng)大的人工智能所帶來(lái)的風(fēng)險(xiǎn)當(dāng)然是全人類共同面臨的。無(wú)論如何，技術(shù)都不會(huì)止步于國(guó)界，因此它所帶來(lái)的挑戰(zhàn)也不是任何國(guó)家可以獨(dú)力應(yīng)對(duì)的。

如果我們做對(duì)了，世界會(huì)因人工智能而更美好；但如果我們搞砸了，整個(gè)世界都會(huì)一團(tuán)糟。在政策方面，我認(rèn)為我們應(yīng)該做的和不應(yīng)該做的都是顯而易見(jiàn)的。

無(wú)為而治是不可能的。你不能說(shuō)：“行吧，每個(gè)人都有權(quán)利用AI盡可能快地制造出他們想要的東西。只要在超級(jí)智能出現(xiàn)前，有人能及時(shí)找到控制這些東西的辦法就行了。”

我們必須像對(duì)待其他強(qiáng)大技術(shù)那樣去對(duì)待人工智能，簡(jiǎn)單說(shuō)，我們需要安全驗(yàn)證機(jī)制。比如在中國(guó)，如果有人想推出一種很好的新藥，那么他首先要獲得國(guó)家藥品管理部門的批準(zhǔn)，而不是直接在淘寶上賣。有了這樣的藥品安全機(jī)制，醫(yī)藥公司在研發(fā)新藥的同時(shí)，也會(huì)把足夠的資源投入臨床檢測(cè)，以證明新產(chǎn)品足夠安全，給患者帶來(lái)的好處大于副作用。再比如，如果你想兜售一款新型飛機(jī)，那么你肯定得先把定量風(fēng)險(xiǎn)分析做好，否則民航局是不會(huì)放行的。

對(duì)于人工智能，我們也應(yīng)該采取同樣的做法。首先我們要有統(tǒng)一明確的安全標(biāo)準(zhǔn)，對(duì)于相對(duì)初級(jí)和無(wú)害的AI，比如今天多數(shù)的大語(yǔ)言模型，安全標(biāo)準(zhǔn)可以很低，但對(duì)于功能逐漸強(qiáng)大、可能造成更大損害甚至失控的AI系統(tǒng)，我們的安全標(biāo)準(zhǔn)也要逐級(jí)提高。

標(biāo)準(zhǔn)確立之后，市場(chǎng)會(huì)完成剩下的工作。誰(shuí)先達(dá)到安全標(biāo)準(zhǔn)，誰(shuí)就先占領(lǐng)AI市場(chǎng)，富可敵國(guó)。這樣一來(lái)，AI公司就不僅有動(dòng)力制造更聰明的機(jī)器，還會(huì)盡可能快地確保它們達(dá)到安全標(biāo)準(zhǔn)。