圖片來(lái)源：諾貝爾獎(jiǎng)官網(wǎng)
本文來(lái)自微信公眾號(hào)“甲子光年”（jazzyear），作者 蘇霍伊，編輯 王博。
凌晨，杰弗里·辛頓在美國(guó)加州的一家廉價(jià)旅館房間里接到了一個(gè)電話，對(duì)方自稱來(lái)自諾貝爾獎(jiǎng)網(wǎng)站。
“太意外了！我甚至一度懷疑是詐騙電話?！毙令D直呼，但對(duì)方的瑞典口音讓他確信自己是真的獲得了諾貝爾獎(jiǎng)，“我目前在加州一家廉價(jià)旅館里，這里沒有網(wǎng)絡(luò)連接，電話信號(hào)也不太好。我原本計(jì)劃今天去做核磁共振掃描，但可能需要取消了。”
而約翰·霍普菲爾德早上剛和妻子出門接種了流感疫苗，回家后他發(fā)現(xiàn)自己的電子郵箱擠滿了祝賀的信件?！爸钡轿铱吹降谒姆怆娮余]件，我才反應(yīng)過(guò)來(lái)！”霍普菲爾德說(shuō)。
“我甚至不知道自己被提名諾貝爾物理學(xué)獎(jiǎng)?！毙令D笑稱。北京時(shí)間10月8日下午，瑞典皇家科學(xué)院宣布，2024年諾貝爾物理學(xué)獎(jiǎng)授予美國(guó)科學(xué)家約翰·霍普菲爾德（John J. Hopfield）和英裔加拿大科學(xué)家杰弗里·辛頓（Geoffrey E. Hinton）。評(píng)委會(huì)表彰他們“利用物理學(xué)工具，開發(fā)出了當(dāng)今強(qiáng)大機(jī)器學(xué)習(xí)技術(shù)的基礎(chǔ)方法”。
諾貝爾物理獎(jiǎng)獲獎(jiǎng)?wù)撸瑘D片來(lái)源：諾貝爾獎(jiǎng)官網(wǎng)
霍普菲爾德現(xiàn)年91歲，是美國(guó)普林斯頓大學(xué)（Princeton University）霍華德-普萊爾分子生物學(xué)名譽(yù)教授。他在1954年從斯沃斯莫爾學(xué)院獲得學(xué)士學(xué)位，1958年在康奈爾大學(xué)獲得物理學(xué)博士學(xué)位。之后，他在貝爾實(shí)驗(yàn)室的理論組工作了兩年。他的教學(xué)生涯涉足加利福尼亞大學(xué)伯克利分校、普林斯頓大學(xué)的物理學(xué)系，以及加州理工學(xué)院的化學(xué)和生物學(xué)系。在過(guò)去的35年中，他一直與貝爾實(shí)驗(yàn)室保持密切的合作關(guān)系。
霍普菲爾德在1982年創(chuàng)造出聯(lián)想神經(jīng)網(wǎng)絡(luò)，現(xiàn)在通稱為霍普菲爾德網(wǎng)絡(luò)（Hopfield network），可以存儲(chǔ)并重現(xiàn)圖像和其他數(shù)據(jù)模式的關(guān)聯(lián)記憶技術(shù)。
辛頓現(xiàn)年76歲，現(xiàn)為加拿大多倫多大學(xué)（University of Toronto）教授，是知名的計(jì)算機(jī)學(xué)家和認(rèn)知心理學(xué)家。
辛頓是反向傳播算法和對(duì)比散度算法的共同發(fā)明者，和深度學(xué)習(xí)的積極倡導(dǎo)者，被譽(yù)為“深度學(xué)習(xí)教父”或“AI教父”。他因在深度學(xué)習(xí)方面的成就與約書亞·本希奧（Yoshua Bengio）和楊立昆（Yann André Le Cun）一起榮獲了2018年的圖靈獎(jiǎng)。辛頓發(fā)明了一種能自動(dòng)識(shí)別數(shù)據(jù)中特征的方法，比如在圖片中識(shí)別特定元素。
諾貝爾獎(jiǎng)公布現(xiàn)場(chǎng)，來(lái)源：法新社
有著“AI教母”之稱的李飛飛第一時(shí)間送上了祝福，并表示：“AI的影響力實(shí)在太大了。”
辛頓的得意門生之一、OpenAI前首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）也在第一時(shí)間對(duì)恩師表達(dá)了祝賀。
諾貝爾物理學(xué)獎(jiǎng)為何會(huì)頒給機(jī)器學(xué)習(xí)先驅(qū)？
|| 人工智能與物理學(xué)密切相關(guān)
人工智能，其實(shí)是指使用人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。
人工神經(jīng)網(wǎng)絡(luò)最初受到大腦結(jié)構(gòu)的啟發(fā)。在人工神經(jīng)網(wǎng)絡(luò)中，大腦中的神經(jīng)元被模擬成不同數(shù)值的節(jié)點(diǎn)。這些節(jié)點(diǎn)通過(guò)類似神經(jīng)突觸的連接相互作用，連接可以被加強(qiáng)或削弱。訓(xùn)練網(wǎng)絡(luò)的方法就是增強(qiáng)那些數(shù)值高的節(jié)點(diǎn)之間的連接。從20世紀(jì)80年代開始，霍普菲爾德和辛頓就對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)行了深入。
這次諾貝爾物理獎(jiǎng)之所以會(huì)辦發(fā)給霍普菲爾德和辛頓，是因?yàn)榛羝辗茽柕掳l(fā)明的網(wǎng)絡(luò)使用一種獨(dú)特方法來(lái)存儲(chǔ)和恢復(fù)圖案。在神經(jīng)網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)可以被想象成像素點(diǎn)似的基本單元。
這種聯(lián)想記憶（associative memory）來(lái)自一種物理學(xué)原理來(lái)描述材料，即原子自旋特性。
原子自旋是原子表現(xiàn)出的微小磁性，每個(gè)原子都可以被視為一個(gè)小小的磁鐵。網(wǎng)絡(luò)的整體操作類似于物理中的自旋系統(tǒng)，它通過(guò)優(yōu)化節(jié)點(diǎn)間的連接值進(jìn)行訓(xùn)練確保存儲(chǔ)的圖像具有較低的能量。當(dāng)網(wǎng)絡(luò)接收到一個(gè)扭曲或不完整的圖像時(shí)，它會(huì)系統(tǒng)地調(diào)整節(jié)點(diǎn)的值以降低能量，逐步找到并恢復(fù)一個(gè)與輸入的不完美圖像最匹配的存儲(chǔ)圖像。
而辛頓在霍普菲爾德網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展出了新的網(wǎng)絡(luò)技術(shù)——玻爾茲曼機(jī)（Boltzmann Machine）。
辛頓使用了統(tǒng)計(jì)物理學(xué)的工具，讓其能夠?qū)W習(xí)并識(shí)別數(shù)據(jù)中的特征元素。它是一種隨機(jī)性神經(jīng)網(wǎng)絡(luò)，其基本思想源自統(tǒng)計(jì)物理中的波爾茲曼分布。玻爾茲曼機(jī)通過(guò)訓(xùn)練實(shí)際運(yùn)行中可能出現(xiàn)的示例來(lái)學(xué)習(xí)，可以用于對(duì)圖像進(jìn)行分類或生成基于所訓(xùn)練模式類型的新示例，即生成模型的早期例子。
波爾茲曼機(jī)由兩部分組成：可見單元和隱藏單元，它們通過(guò)權(quán)重連接。這種網(wǎng)絡(luò)能夠通過(guò)模擬退火的過(guò)程來(lái)學(xué)習(xí)和推理，讓系統(tǒng)逐漸找到能量最低的狀態(tài)，從而解決優(yōu)化問題或特征識(shí)別任務(wù)。
辛頓的這些研究工作推動(dòng)了機(jī)器學(xué)習(xí)的快速發(fā)展。在實(shí)際應(yīng)用中，特別是在深度學(xué)習(xí)發(fā)展早期，波爾茲曼機(jī)被用來(lái)預(yù)訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)，幫助網(wǎng)絡(luò)在進(jìn)行更復(fù)雜學(xué)習(xí)任務(wù)之前，找到合適的權(quán)重初始狀態(tài)。
可以說(shuō)，現(xiàn)在波瀾壯闊的人工智能浪潮，來(lái)自統(tǒng)計(jì)物理引發(fā)的機(jī)器學(xué)習(xí)革命。
“人工智能初看似乎與諾貝爾物理學(xué)獎(jiǎng)的傳統(tǒng)主題不太相符，但具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)及其在物理學(xué)領(lǐng)域的應(yīng)用卻密切相關(guān)?！敝Z貝爾物理學(xué)獎(jiǎng)委員會(huì)主席艾倫·穆恩斯（Ellen Moons）表示，“獲獎(jiǎng)?wù)叩墓ぷ饕呀?jīng)帶來(lái)巨大效益，在物理學(xué)領(lǐng)域，我們利用人工神經(jīng)網(wǎng)絡(luò)在很多方面都取得了進(jìn)展，比如開發(fā)具有特定屬性的新材料。
同時(shí)他也補(bǔ)充道：“人類有責(zé)任以安全和合乎道德的方式使用這項(xiàng)新技術(shù)，為人類帶來(lái)最大利益?！?br/>
“我們從未真正感受過(guò)，比人類更智能的存在會(huì)為我們帶來(lái)怎樣的影響。”辛頓談到，盡管他是ChatGPT等AI工具的積極使用者，但他對(duì)自己推動(dòng)這項(xiàng)技術(shù)的潛在后果感到擔(dān)憂。
他還說(shuō)：“如果能回到過(guò)去，我還是會(huì)做出相同的決定，但我仍然擔(dān)心可能出現(xiàn)的負(fù)面后果，例如那些比我們更聰明的系統(tǒng)最終掌握主導(dǎo)權(quán)。”
霍普菲爾德同樣對(duì)AI充滿擔(dān)憂。他對(duì)人工智能的未知潛力和局限性“感到不安”。他說(shuō)：“人們已經(jīng)習(xí)慣了擁有不僅有優(yōu)點(diǎn)或缺點(diǎn)的技術(shù)，而是具有雙向能力的技術(shù)。”
|| 機(jī)器學(xué)習(xí)所有的路徑、引擎和核心都源于物理學(xué)
“人工智能是從物理學(xué)發(fā)展而來(lái)的?！?span style="color: rgb(29, 27, 16); font-family: 微軟雅黑, "Microsoft YaHei"; font-size: 16px; letter-spacing: 0.5px;">瑞典烏普薩拉大學(xué)教授、諾貝爾物理學(xué)獎(jiǎng)委員會(huì)委員奧爾·埃里克森（Olle Eriksson）解釋道。
“任何機(jī)器學(xué)習(xí)協(xié)議、引擎和核心都是基于方程式和概念，這些都純粹是物理學(xué)的范疇。”他表示，用其他方式來(lái)描述它是不恰當(dāng)?shù)?，它既不屬于化學(xué)，也不屬于計(jì)算機(jī)科學(xué)——所有的路徑、引擎和核心都源于物理學(xué)。
現(xiàn)在，人工智能已經(jīng)可以翻譯語(yǔ)言、解析圖像，甚至進(jìn)行有意義的對(duì)話。
但它在數(shù)據(jù)分類、分析科研中的重要性，似乎還不為大眾所熟知。過(guò)去15到20年，背靠人工神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)技術(shù)經(jīng)歷了爆炸性的增長(zhǎng)。
誠(chéng)然，計(jì)算機(jī)還不能自主思考，但現(xiàn)代機(jī)器已能模仿人類的記憶和學(xué)習(xí)過(guò)程。今年的物理學(xué)獎(jiǎng)得主正是利用物理學(xué)原理，開發(fā)了基于網(wǎng)絡(luò)的信息處理技術(shù)。
機(jī)器學(xué)習(xí)與傳統(tǒng)軟件有所不同，傳統(tǒng)軟件的工作原理可以比作食譜：軟件接收數(shù)據(jù)，按照明確的指令處理數(shù)據(jù)并輸出結(jié)果，就像按食譜步驟做蛋糕一樣。不同于傳統(tǒng)軟件按固定程序處理數(shù)據(jù)，機(jī)器學(xué)習(xí)讓計(jì)算機(jī)通過(guò)實(shí)例學(xué)習(xí)解決模糊或復(fù)雜的問題，一個(gè)很著名的例子就是圖像識(shí)別。
人工神經(jīng)網(wǎng)絡(luò)借鑒了大腦的工作方式來(lái)處理信息。
早在20世紀(jì)40年代，研究人員就開始探究大腦神經(jīng)元和突觸網(wǎng)絡(luò)的數(shù)學(xué)原理。心理學(xué)的進(jìn)展也起到了作用，特別是神經(jīng)科學(xué)家唐納德·赫布的學(xué)習(xí)理論，即神經(jīng)元間的連接在共同活動(dòng)時(shí)會(huì)變得更加強(qiáng)大。
人工神經(jīng)網(wǎng)絡(luò)受大腦神經(jīng)元的啟發(fā)，圖片來(lái)源：Johan Jarnestad/瑞典皇家科學(xué)院
人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)靈感來(lái)源于人腦，早自20世紀(jì)40年代，科學(xué)家便開始研究大腦神經(jīng)元和突觸的數(shù)學(xué)模型。其中，心理學(xué)家唐納德·赫布（Donald Olding Hebb）的理論指出，神經(jīng)元間的連接在合作時(shí)會(huì)加強(qiáng)，這一原理至今仍是訓(xùn)練網(wǎng)絡(luò)的基石。
在基于大腦的數(shù)學(xué)和神經(jīng)學(xué)研究之上，科學(xué)家們開始嘗試在硅基芯片上通過(guò)計(jì)算機(jī)模擬的方式構(gòu)建人工神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)類似大腦的功能。在這些網(wǎng)絡(luò)中，節(jié)點(diǎn)被賦予不同的初始值來(lái)模擬大腦中的神經(jīng)元，節(jié)點(diǎn)之間的連接模擬突觸，這些連接的強(qiáng)度會(huì)隨著程序的執(zhí)行變化。直到今天，赫布的理論仍是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本規(guī)則之一。
20世紀(jì)60年代，盡管神經(jīng)網(wǎng)絡(luò)的理論研究未能達(dá)到預(yù)期效果，導(dǎo)致一些研究人員開始懷疑其實(shí)用性，但到了80年代，隨著新理論的提出和關(guān)注，包括諾貝爾物理學(xué)獎(jiǎng)得主霍普菲爾德提出的新觀點(diǎn)，神經(jīng)網(wǎng)絡(luò)的研究再次興起。
當(dāng)我們嘗試回憶一個(gè)很少使用的生僻單詞，大腦會(huì)在記憶中搜索，這個(gè)過(guò)程類似于霍普菲爾德在1982年發(fā)現(xiàn)的聯(lián)想記憶?；羝辗茽柕戮W(wǎng)絡(luò)能夠存儲(chǔ)并重新找到模式。當(dāng)輸入一個(gè)不完整或略有失真的模式時(shí)，網(wǎng)絡(luò)能在已存儲(chǔ)的模式中找到最相似的一個(gè)。
霍普菲爾德曾利用他的物理學(xué)背景研究分子生物學(xué)中的理論問題，在一次會(huì)議中接觸到大腦結(jié)構(gòu)的研究后，他對(duì)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)產(chǎn)生了興趣。神經(jīng)元的共同作用產(chǎn)生了單個(gè)神經(jīng)網(wǎng)絡(luò)所不具備的新特性。
1980年，霍普菲爾德離開普林斯頓大學(xué)，橫跨整個(gè)大陸，前往加州理工學(xué)院擔(dān)任化學(xué)與生物學(xué)教授，那里的充足計(jì)算資源讓他自由地發(fā)展自己的神經(jīng)網(wǎng)絡(luò)理論。
物理學(xué)基礎(chǔ)啟發(fā)了他，尤其是他對(duì)磁性材料的理解。這種材料的特性來(lái)源于其原子的自旋——每個(gè)原子都像一個(gè)微小的磁體，他運(yùn)用這一物理學(xué)知識(shí)構(gòu)建了含有節(jié)點(diǎn)和連接的模型網(wǎng)絡(luò)。
霍普菲爾德的網(wǎng)絡(luò)設(shè)計(jì)使得每個(gè)節(jié)點(diǎn)能存儲(chǔ)一個(gè)值，最初這些值為0或1，類似黑白照片中的像素。他用一個(gè)與物理學(xué)中自旋系統(tǒng)能量等價(jià)的概念來(lái)描述網(wǎng)絡(luò)的總體狀態(tài)，并通過(guò)一個(gè)公式來(lái)計(jì)算這個(gè)能量，這個(gè)公式涉及所有節(jié)點(diǎn)的值及其連接的強(qiáng)度。通過(guò)輸入圖像初始化節(jié)點(diǎn)，然后調(diào)整網(wǎng)絡(luò)的連接強(qiáng)度，以達(dá)到能量最低的狀態(tài)。當(dāng)輸入另一個(gè)模式時(shí)，網(wǎng)絡(luò)逐個(gè)檢查節(jié)點(diǎn)，看改變節(jié)點(diǎn)的值是否能降低網(wǎng)絡(luò)的能量。這個(gè)過(guò)程持續(xù)進(jìn)行，直到再也無(wú)法改進(jìn)為止，通常網(wǎng)絡(luò)能夠重現(xiàn)其訓(xùn)練過(guò)的原始圖像。
這種方法特別之處在于它能同時(shí)存儲(chǔ)多個(gè)圖像，并在這些圖像非常相似時(shí)區(qū)分它們。霍普菲爾德將這一尋找最佳狀態(tài)的過(guò)程比作在有摩擦力的起伏地面上滾動(dòng)一個(gè)球，直到球滾入最近的低谷并停下。如果網(wǎng)絡(luò)被賦予一個(gè)接近最優(yōu)狀態(tài)的模式，它也會(huì)向前“滾動(dòng)”，直至達(dá)到能量最低的“低谷”，找到與之最接近的存儲(chǔ)模式。
聯(lián)想記憶存儲(chǔ)和重建數(shù)據(jù)中的模式，來(lái)源：Johan Jarnestad/瑞典皇家科學(xué)院
霍普菲爾德和其他研究者繼續(xù)改進(jìn)了這些網(wǎng)絡(luò)的細(xì)節(jié)，比如讓節(jié)點(diǎn)存儲(chǔ)任何值，而不僅限于0或1，使網(wǎng)絡(luò)能存儲(chǔ)更多圖像，并在它們非常相似時(shí)也能加以區(qū)分。只要信息是由許多數(shù)據(jù)點(diǎn)構(gòu)成的，這種網(wǎng)絡(luò)就能識(shí)別或重建它們。
記憶一幅圖像是一回事，但要解釋圖像所展示的內(nèi)容則需要更多技巧。
就像小孩子能夠識(shí)別不同的動(dòng)物，并自信地說(shuō)這是狗、貓或松鼠一樣。他們有時(shí)可能會(huì)犯錯(cuò)，但很快就能準(zhǔn)確無(wú)誤地進(jìn)行識(shí)別。無(wú)需通過(guò)圖解或概念解釋，孩子也能理解“物種”或“哺乳動(dòng)物”等概念。通過(guò)幾個(gè)例子的學(xué)習(xí)，每種動(dòng)物的不同分類在孩子的腦海中逐漸形成了清晰的圖像。人們通過(guò)體驗(yàn)周圍環(huán)境，學(xué)會(huì)了如何識(shí)別貓，理解一個(gè)詞，或者感知房間中的變化。
霍普菲爾德網(wǎng)絡(luò)是一種聯(lián)想記憶模型，其設(shè)計(jì)靈感來(lái)源于大腦從部分或含噪聲的輸入中重構(gòu)完整模式的能力。這個(gè)網(wǎng)絡(luò)通過(guò)為每種可能的狀態(tài)分配一個(gè)特定的能量值，并通過(guò)逐步降低能量表面來(lái)最小化能量，以此回憶出與輸入最匹配的存儲(chǔ)記憶。網(wǎng)絡(luò)的權(quán)重決定了能量景觀的形狀，并通過(guò)學(xué)習(xí)我們想要記憶的模式及其相關(guān)數(shù)據(jù)點(diǎn)來(lái)調(diào)整，進(jìn)而降低這些模式的能量值。
擁有足夠多神經(jīng)元的霍普菲爾德網(wǎng)絡(luò)幾乎能夠?qū)崿F(xiàn)完美記憶，并在任務(wù)如模式補(bǔ)全中表現(xiàn)出色。你可以把它想象成一位記憶力極強(qiáng)的古典音樂家，能從幾個(gè)音符中識(shí)別并完美復(fù)現(xiàn)一部經(jīng)典作品。雖然其記憶和補(bǔ)全能力令人印象深刻，霍普菲爾德網(wǎng)絡(luò)的局限性在于它只能復(fù)現(xiàn)已經(jīng)學(xué)習(xí)過(guò)的內(nèi)容，無(wú)法創(chuàng)造新的模式或理解數(shù)據(jù)的深層結(jié)構(gòu)。
當(dāng)霍普菲爾德發(fā)表他的關(guān)于聯(lián)想記憶的文章時(shí)，辛頓正在美國(guó)賓夕法尼亞州匹茲堡的卡內(nèi)基梅隆大學(xué)工作。他此前在英國(guó)研究實(shí)驗(yàn)心理學(xué)和人工智能，并思考機(jī)器是否能以類似于人類的方式學(xué)習(xí)處理和分類信息，以及如何解釋信息類別。
他與同事特倫斯·謝諾夫斯基（Terrence Sejnowski）一起，從霍普菲爾德網(wǎng)絡(luò)的基礎(chǔ)出發(fā)，采用了統(tǒng)計(jì)物理學(xué)的觀點(diǎn)開發(fā)了一種新方法。
統(tǒng)計(jì)物理學(xué)涉及的是由許多相似組分組成的系統(tǒng)，比如氣體中的分子。追蹤單個(gè)氣體分子是困難甚至不可能的，但可以綜合考慮這些分子以確定氣體的整體性質(zhì)，如壓力或溫度。在這些系統(tǒng)中，每個(gè)分子以不同的速度移動(dòng)，運(yùn)動(dòng)方式多樣，但最終形成相同的集體屬性。
這些系統(tǒng)中組分的共存狀態(tài)可以通過(guò)統(tǒng)計(jì)物理學(xué)來(lái)分析，其發(fā)生概率也可以被計(jì)算出來(lái)。某些狀態(tài)比其他狀態(tài)更可能發(fā)生決于系統(tǒng)的能量，可以通過(guò)十九世紀(jì)物理學(xué)家路德維?！げ柶澛↙udwig Boltzmann）的方程來(lái)描述。
辛頓的網(wǎng)絡(luò)算法就是利用這些方程，他的方法最終以“玻爾茲曼機(jī)”（Boltzmann machine）的名字在1985年發(fā)表。
作為波爾茲曼機(jī)發(fā)明者之一的特倫斯曾告訴「甲子光年」：“玻爾茲曼機(jī)模型就是我的物理學(xué)科背景和杰弗里的計(jì)算機(jī)思想的結(jié)晶之作，涉及我們從心理學(xué)、計(jì)算物理學(xué)和生物學(xué)這些不同領(lǐng)域共同汲取的營(yíng)養(yǎng)。”
|| 神奇的“玻爾茲曼機(jī)”
在很長(zhǎng)一段時(shí)間里，計(jì)算機(jī)被視為一種純粹的邏輯機(jī)器，他們機(jī)械地處理數(shù)字，得出精準(zhǔn)且毫無(wú)歧義的結(jié)果，沒有任何創(chuàng)意或模糊的空間。
就像計(jì)算火箭發(fā)射軌跡時(shí)，實(shí)驗(yàn)人員絕不希望計(jì)算機(jī)突發(fā)奇想，提出一個(gè)奇異的公式或嘗試新方法。
20世紀(jì)80年代，波爾茲曼機(jī)提供了一種更靈活、更具創(chuàng)造力的信息處理方法，引入了一種前衛(wèi)的思想。
玻爾茲曼機(jī)使用兩種不同類型的節(jié)點(diǎn)：一組“可見節(jié)點(diǎn)”用于輸入信息，另一組構(gòu)成隱藏層。隱藏節(jié)點(diǎn)及其連接對(duì)整個(gè)網(wǎng)絡(luò)的能量有顯著影響。
多種類型的神經(jīng)網(wǎng)絡(luò)，圖片來(lái)源：Johan Jarnestad/瑞典皇家科學(xué)院
這種機(jī)器通過(guò)一套特定規(guī)則運(yùn)行，每次更新一個(gè)節(jié)點(diǎn)的值。最終機(jī)器會(huì)達(dá)到一種狀態(tài)，在這種狀態(tài)下，節(jié)點(diǎn)的模式可以變化，但網(wǎng)絡(luò)的整體屬性保持不變。每種可能的模式都對(duì)應(yīng)一個(gè)特定的概率，這個(gè)概率是根據(jù)玻爾茲曼方程計(jì)算出的網(wǎng)絡(luò)能量來(lái)確定的。當(dāng)機(jī)器運(yùn)行完成時(shí)，它能創(chuàng)造出一個(gè)全新的模式，使得玻爾茲曼機(jī)成為生成模型的一個(gè)早期例子。
約翰·霍普菲爾德和杰弗里·辛頓從20世紀(jì)80年代開始在這一領(lǐng)域進(jìn)行深入研究，為2010年左右機(jī)器學(xué)習(xí)的革命奠定了基礎(chǔ)。現(xiàn)代計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的規(guī)模，得益于獲取大量數(shù)據(jù)和計(jì)算能力的顯著提升，通常由多個(gè)層組成，這些被稱為深度神經(jīng)網(wǎng)絡(luò)，其訓(xùn)練過(guò)程稱為深度學(xué)習(xí)。
霍普菲爾德在1982年發(fā)表的關(guān)于聯(lián)想記憶的文章為該領(lǐng)域的發(fā)展提供了視角。他在實(shí)驗(yàn)中使用了一個(gè)包含30個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)，如果所有節(jié)點(diǎn)相互連接，則連接數(shù)為435。每個(gè)節(jié)點(diǎn)上有一個(gè)值，加上連接有不同的強(qiáng)度，總共有不到500個(gè)參數(shù)需要跟蹤。他還嘗試了一個(gè)有100個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)，但這對(duì)于當(dāng)時(shí)的計(jì)算機(jī)來(lái)說(shuō)過(guò)于復(fù)雜。
許多研究人員正在探索機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域，哪種技術(shù)最可行還有待觀察，同時(shí)圍繞這項(xiàng)技術(shù)的開發(fā)和使用的倫理問題也引起了廣泛討論。玻爾茲曼機(jī)通過(guò)提供的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，不是通過(guò)指令。它通過(guò)更新網(wǎng)絡(luò)連接中的值來(lái)訓(xùn)練，以使輸入到可見節(jié)點(diǎn)的示例模式在機(jī)器運(yùn)行時(shí)具有盡可能高的出現(xiàn)概率。如果在訓(xùn)練過(guò)程中重復(fù)同一模式多次，該模式的概率會(huì)進(jìn)一步提高。訓(xùn)練還影響新模式的輸出概率，這些新模式與機(jī)器訓(xùn)練時(shí)的示例相似。
訓(xùn)練好的玻爾茲曼機(jī)能夠在先前未見過(guò)的信息中識(shí)別出熟悉的特征。比如遇到朋友的兄弟姐妹時(shí)，可以立即看出他們有親屬關(guān)系。同樣，玻爾茲曼機(jī)能識(shí)別一個(gè)全新的樣本，只要它屬于訓(xùn)練材料中已存在的類別，并能將其與不相似的材料區(qū)分開來(lái)。
玻爾茲曼機(jī)的原始形式效率較低，需要較長(zhǎng)時(shí)間才能找到解決方案。隨后進(jìn)行的各種改進(jìn)使得這些機(jī)器更加有趣和高效，辛頓對(duì)此繼續(xù)進(jìn)行了研究。后來(lái)的版本進(jìn)行了“瘦身”，即去除了一些單元之間的連接，這一改變證明可以提高機(jī)器的效率。
在20世紀(jì)90年代，雖然許多研究人員對(duì)人工神經(jīng)網(wǎng)絡(luò)失去了興趣，但辛頓是少數(shù)幾位仍然堅(jiān)持在該領(lǐng)域工作的研究者之一。
他還推動(dòng)了一輪新的、激動(dòng)人心的研究成果；2006年，他與同事西蒙·奧辛德羅（Simon Osindero）、謝意威（Yee Whye Teh）和魯斯蘭·薩拉霍丁諾夫（Ruslan Salakhutdinov）開發(fā)了一種通過(guò)一系列層疊的玻爾茲曼機(jī)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練的方法。這種預(yù)訓(xùn)練為網(wǎng)絡(luò)中的連接提供了一個(gè)更好的起點(diǎn)，優(yōu)化了識(shí)別圖片元素的訓(xùn)練過(guò)程。
玻爾茲曼機(jī)通常作為更大網(wǎng)絡(luò)的一部分使用，例如在根據(jù)觀眾偏好推薦電影或電視劇。
現(xiàn)在如此規(guī)模的計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)，都是通過(guò)獲取可用于訓(xùn)練網(wǎng)絡(luò)的大量數(shù)據(jù)以及計(jì)算能力的巨大提升發(fā)展而來(lái)的?，F(xiàn)今的人工神經(jīng)網(wǎng)絡(luò)通常是巨大的，由許多層組成。這些被稱為深度神經(jīng)網(wǎng)絡(luò)，它們的訓(xùn)練方式被稱為深度學(xué)習(xí)。
|| 情理之中的諾獎(jiǎng)
2012年12月，辛頓從多倫多市踏上了一輛前往太浩湖的巴士，可他并沒有找個(gè)座坐下來(lái)，他已經(jīng)七年沒有坐下了?！拔易詈笠淮巫率窃?005年?！彼f(shuō)，“那是一個(gè)錯(cuò)誤。”
十幾歲那年，辛頓幫母親搬一個(gè)取暖器時(shí)受了背傷，從此落下病根。等到臨近五十歲，他再也不敢坐下，因?yàn)檠甸g盤有滑脫的風(fēng)險(xiǎn)，一旦滑脫能疼到好幾周無(wú)法下床。他在多倫多大學(xué)辦公室工作時(shí)用的是站立式辦公桌。而在吃飯時(shí)，他會(huì)在地上鋪一塊小泡沫墊，跪坐在桌邊，像和尚在祭壇前祈禱。
在功成名就前，“不敢坐下”的辛頓卻生生坐了30年“冷板凳”。
杰弗里·辛頓出生于1947年，他的曾祖父是計(jì)算機(jī)科學(xué)的先驅(qū)、著名邏輯學(xué)家喬治·布爾（George Boole）。布爾的夫人瑪麗也是一位女權(quán)主義哲學(xué)家和數(shù)學(xué)愛好者，她的姓氏“Everest”與珠穆朗瑪峰的英文名相同，這一名稱來(lái)源于她的叔叔喬治·埃佛勒斯，他是珠穆朗瑪峰的命名者。
辛頓在學(xué)術(shù)生涯初期專注于哲學(xué)和心理學(xué)，后轉(zhuǎn)向人工智能，成為深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的先行者。
辛頓似乎一直不太走運(yùn)，正當(dāng)他開始追求神經(jīng)網(wǎng)絡(luò)研究目標(biāo)時(shí)，他的導(dǎo)師希金斯（Christopher Longuet-Higgins）教授卻在明斯基（Marvin Lee Minsky）的影響下改變了方向，轉(zhuǎn)而支持AI的符號(hào)主義，并聲稱聯(lián)結(jié)主義的神經(jīng)網(wǎng)絡(luò)是沒有前途的。
杰弗里·辛頓，圖片來(lái)源：多倫多大學(xué)
這本書幾乎摧毀了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的前景，宣稱神經(jīng)網(wǎng)絡(luò)（尤其是單層感知器）是無(wú)稽之談。它對(duì)神經(jīng)網(wǎng)絡(luò)領(lǐng)域造成了巨大打擊，使得1972年成為神經(jīng)網(wǎng)絡(luò)研究的歷史低點(diǎn)。
面對(duì)逆流，希金斯試圖說(shuō)服辛頓放棄神經(jīng)網(wǎng)絡(luò)，轉(zhuǎn)向符號(hào)主義人工智能。但辛頓堅(jiān)持自己的研究，向希金斯保證：“再給我六個(gè)月時(shí)間，我會(huì)證明這是行得通的。”
如此這般，每隔六個(gè)月辛頓都會(huì)重復(fù)這句話，兩人爭(zhēng)論了五年，辛頓終于堅(jiān)持研究備受冷落的神經(jīng)網(wǎng)絡(luò)并熬到了博士畢業(yè)。
辛頓的觀點(diǎn)總是獨(dú)樹一幟。他認(rèn)為，明斯基對(duì)感知機(jī)的批評(píng)實(shí)際上揭示了神經(jīng)網(wǎng)絡(luò)需要解決的問題，“這是前進(jìn)的一部分，而非放棄的理由”。他堅(jiān)信大腦的工作方式不是簡(jiǎn)單地執(zhí)行人類編寫的“智能程序”。比如編寫程序教孩子學(xué)習(xí)語(yǔ)言，實(shí)際上孩子們是通過(guò)經(jīng)驗(yàn)學(xué)習(xí)，而不是靠死記硬背程序中的步驟。
在完成博士學(xué)位幾年后，辛頓去了美國(guó)進(jìn)行博士后研究。在加利福尼亞，他找到了一群支持神經(jīng)網(wǎng)絡(luò)的同行，包括David Rumelhart等人，他們?cè)谑サ貋喐缧纬闪艘粋€(gè)認(rèn)為神經(jīng)網(wǎng)絡(luò)非常有前景的研究小組。這些同行支撐了他能在20世紀(jì)70年代的AI寒冬中繼續(xù)他的神經(jīng)網(wǎng)絡(luò)研究。
1986年，辛頓與大衛(wèi)·魯梅爾哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams）共同發(fā)表了一篇關(guān)于通過(guò)反向傳播誤差來(lái)學(xué)習(xí)的論文，這篇論文為神經(jīng)網(wǎng)絡(luò)中的多層結(jié)構(gòu)提供了計(jì)算機(jī)學(xué)習(xí)的新方法，并推翻了之前關(guān)于感知機(jī)的限制性看法。他在人工智能領(lǐng)域的貢獻(xiàn)特別是在生成式AI技術(shù)上最為顯著，包括對(duì)OpenAI旗下的ChatGPT的早期發(fā)展。
盡管取得了巨大的科學(xué)成功和認(rèn)可，辛頓對(duì)于他所推動(dòng)的技術(shù)的潛在風(fēng)險(xiǎn)和道德后果越來(lái)越感到擔(dān)憂。2023年，他選擇離開谷歌，并公開表達(dá)了對(duì)AI潛在威脅的擔(dān)憂。
他曾在X（原推特）上發(fā)文，解釋離職是為了能自由討論AI的風(fēng)險(xiǎn)。辛頓對(duì)自己教導(dǎo)機(jī)器學(xué)習(xí)的成果感到懷疑甚至憤怒，擔(dān)心其一生的工作可能最終導(dǎo)致人類的滅亡，現(xiàn)在他認(rèn)為自己的最終使命是向世界發(fā)出警告。今年3月，他在一次采訪中提到曾與谷歌首席科學(xué)家杰夫·迪恩（Jeff Dean）討論過(guò)AI可能帶來(lái)的人類生存危機(jī)。
并警告說(shuō)，智能超越人類的AI可能通過(guò)語(yǔ)言操縱人類，阻止人類關(guān)閉它們。
而約翰·霍普菲爾德最初是一位固態(tài)物理學(xué)家，他的職業(yè)生涯跨越了多個(gè)科學(xué)領(lǐng)域。
約翰·霍普菲爾德，圖片來(lái)源：普林斯頓大學(xué)
在超過(guò)六十年時(shí)間里，他利用豐富的知識(shí)和經(jīng)驗(yàn)探索生物與生化領(lǐng)域中隱藏的物理原理。
生長(zhǎng)在一個(gè)物理學(xué)家家庭的霍普菲爾德，從小就沉迷于動(dòng)手制作模型飛機(jī)和礦石收音機(jī)（Crystal Radio）。他的父母制定了一個(gè)獨(dú)特的規(guī)則：只要他能夠把物品重新組裝好，就可以盡情拆解家中的任何設(shè)備。他可以隨意拆解家中的任何物品。這一切共同塑造了霍普菲爾德，使他成為未來(lái)領(lǐng)域跨界研究的先驅(qū)。
無(wú)論是宇宙學(xué)、生物學(xué)、半導(dǎo)體，還是人腦的研究，物理學(xué)一直是他靈感的源泉。
美國(guó)富蘭克林研究所（The Franklin Institute）評(píng)價(jià)他是一位真正的“科學(xué)冒險(xiǎn)家”，不受學(xué)科界限的約束，總是致力于提出問題、探索解決方案，并在問題解決后迅速轉(zhuǎn)向新的挑戰(zhàn)。無(wú)論是宇宙學(xué)、生物學(xué)、半導(dǎo)體，還是人腦的研究，物理學(xué)一直是他靈感的源泉。
霍普菲爾德的學(xué)術(shù)生涯始于斯沃斯莫爾學(xué)院（Swarthmore College），他在那里獲得了物理學(xué)學(xué)士學(xué)位，后在1958年于康奈爾大學(xué)（Cornell University）獲得物理學(xué)博士學(xué)位。隨后他加入了貝爾實(shí)驗(yàn)室，開始了他的固態(tài)物理學(xué)家生涯。
1974年，霍普菲爾德對(duì)遺傳學(xué)做出了重大貢獻(xiàn)，他提出了“動(dòng)態(tài)校正”（Kinetic proofreading）機(jī)制，該機(jī)制解釋了基因表達(dá)過(guò)程中的高準(zhǔn)確性，對(duì)蛋白質(zhì)合成和免疫系統(tǒng)的外來(lái)物質(zhì)識(shí)別至關(guān)重要，對(duì)RNA轉(zhuǎn)錄的準(zhǔn)確性研究產(chǎn)生了深遠(yuǎn)影響。
1982年，霍普菲爾德開發(fā)了神經(jīng)網(wǎng)絡(luò)模型，解釋了大腦如何存儲(chǔ)和回憶記憶。他的模型揭示了神經(jīng)元系統(tǒng)如何通過(guò)相互作用產(chǎn)生穩(wěn)定的記憶，并能根據(jù)部分信息重構(gòu)整體記憶。不僅為復(fù)雜系統(tǒng)的研究提供了新的視角，還激發(fā)了新一代物理學(xué)家將研究擴(kuò)展到其他科學(xué)領(lǐng)域。
兩位學(xué)者的研究之路不盡相同，但他們的經(jīng)歷詮釋了瑞典烏普薩拉大學(xué)教授、諾貝爾物理學(xué)獎(jiǎng)委員會(huì)委員奧爾·埃里克森（Olle Eriksson）的那句話：“人工智能是從物理學(xué)發(fā)展而來(lái)的?！?/span>
他們的成就無(wú)需諾貝爾獎(jiǎng)證明，但他們的經(jīng)歷都足以證明他們配得上諾貝爾獎(jiǎng)。
*參考資料：
《深度學(xué)習(xí)革命》，凱德·梅茨
They trained artificial neural networks using physics, The Nobel Prize
First reactions|Geoffrey Hinton, Nobel Prize in Physics 2024|Telephone interview, The Nobel Prize
First Reactions | John Hopfield, Nobel Prize in Physics 2024 | Telephone interview, The Nobel Prize
The Nobel Prize in Physics 2024, The Nobel Prize
