文章專區

2024-12-02諾貝爾獎頒給AI 是否搞錯了什麼? 以物理學方法奠定現代AI基礎 660 期

Author 作者 魏澤人 | 陽明交大AI 學院副教授,機器學習GDE(Google開發者專家)。

Take Home Message
▶ 今(2024)年諾貝爾物理學獎首次將獎項頒發給人工智慧(AI)領域的研究,得獎主題為霍普菲爾德和辛頓在類神經網路和AI 的貢獻,引起物理學界關注。
▶ 霍普菲爾德運用物理學原理中的集體現象設計類神經網路,而辛頓則發展了奠基於統計物理學的波茲曼機,兩人的貢獻為現代AI 發展奠定重要基礎。
▶ AI 技術雖然在科學研究中展現巨大潛力,但兩位得主都表達了對 AI 發展的憂慮,強調需要更深入理解和控制AI 風險。

 

(資料來源:Priceton University, Denise Applewhite)

約翰.霍普菲爾德
John Hopfield(1933 ~)

國籍|美國
任職單位|普林斯頓大學
研究領域|物理學、分子生物學、神
經科學

(資料來源:Collision Conf, Flickr)

傑佛瑞.辛頓
Geoffrey Hinton(1947 ~)

國籍|英國、加拿大
任職單位|曾任職Google
研究領域|機器學習、類神經網路、
人工智慧、認知科學

 

雖然每年的諾貝爾物理學獎都標記著人類科學研究史上的重大進展,得獎者也不乏聲名顯赫的大師,然而,總有些年份特別為人熟知、津津樂道,而今年就是其中之一。今年的兩位得主分別為美國科學家霍普菲爾德(John Hopfield),以及加拿大電腦科學家和心理學家辛頓(Geoffrey Hinton),得獎原因是他們在類神經網路(artificial neural network)及人工智慧(artificial intelligence, AI)研究發展路上的里程碑,而非一般印象中的物理學。這是諾貝爾委員會首次將物理獎頒給AI 研究,由於得獎主題實在是太出乎大家的意料之外,不少觀看諾貝爾獎直播的物理學家一時錯愕,不知該做何感想。這有一部分是字面上的意義,畢竟有不少物理學家是真的不熟悉AI。

先不論得獎研究內容是否屬於物理學的範疇,霍普菲爾德雖說非常斜槓又跨領域,至少妥妥當當是個物理學家。但辛頓可是電腦科學家,壓根沒想到自己居然會得獎,他在接受《紐約時報》(The New York Times)專訪時的感想是:「震驚、驚訝,目瞪口呆。」

既然AI 不屬於典型的物理學領域,為什麼他們關於類神經網路的研究能得獎呢?


有物理魂的AI 開創者-霍普菲爾德

霍普菲爾德不是一般的科學家,他的工作橫跨生物物理學、化學、電腦科學,並在這些領域都取得了重大突破。他對於大腦的結構和運作原理著迷,憑藉物理背景,他靈光一閃:「為什麼不用物理學的原理教電腦記憶?」

時間回到1980 年代,當時個人電腦開始蓬勃發展,像十多年前的手機一樣,大家都在思考各種可能的應用。除了努力讓電腦的運作更快、功能更強大之外,也有科學家開始思考如何讓電腦更像人腦,學習和辨識圖像。霍普菲爾德在1970 年代在生物分子的電子轉移、生化反應間的糾錯校正有許多開創性研究,不過因研究興趣稍微偏離主流物理,因此他在1980 年離開了美國普林斯頓大學(Princeton University),接受了美國加州理工學院(California Institute of Technology, Caltech)關於生物化學的教職。在那裡,他能夠自由使用電腦資源,以研究和實驗他關於類神經網路的構想。

然而他並沒有拋棄他的物理魂。物理系統中常能發現集體現象(collective phenomena),例如磁鐵中的原子就像一群小磁針彼此互相影響,最終指向同一個方向,形成磁力。而流體中的小分子則像一群互相追逐的小魚,它們彼此影響並沿著相似的路徑運動,最終形成了旋轉的結構、產生渦流,成為穩定的流動模式。他從這裡得到靈感,把集體現象的概念應用到類神經網路中,設計出了霍普菲爾德網路(Hopfield neural network)。他把每個神經元想像成一個小磁針,它們之間的連結就像磁力,在彼此互相影響後,最後達到一個穩定的狀態,有如將一群意見分歧的人,透過討論後達成共識。

霍普菲爾德網路像一張錯綜複雜的網,每個神經元都和其他的神經元相連,資訊在網路中不斷流動,形成一個互相影響的動態系統。當訓練的時候,網路接收並觀察訓練資料的機率分布,調整網路中連結的權重,最後達到一個能量的穩定態。而這個穩定態就代表了網路學習到的記憶,記住了之前觀察的訓練資料,能模仿這個機率分布並產生新的資料(圖一)。

霍普菲爾德網路是一種尋求能量低點的模型。我們可依照能量高低想像成一個有山峰、山谷、山坡的能量景觀(energy landscape),在訓練過程中,能量會往低點(具有吸引力的盆地)走去,狀態會朝向區域中的能量谷底,也就是吸引子(attractor)走。

圖一|霍普菲爾德網路 (資料來源:諾貝爾官網)

霍普菲爾德網路也可以視為一種糾錯校正的過程。當網路的起始值是一個不正確的狀態時,動態系統會被吸引到附近的能量低點,進而達到糾錯校正的效果。也由於霍普菲爾網路的物理血統,在數學理論及計算上,常常能利用物理學中已有的工具和技巧。像是模型記憶容量等的基礎性質估計,可以利用自旋玻璃理論來幫助計算分析,研究磁性材料中的自旋磁矩形成的複雜系統。

雖然現在的深度學習中較少使用霍普菲爾德網路,但這方面的研究不僅促進了AI 的發展,還為生物學和物理學之間的交叉研究提供了新視角。……【更多內容請閱讀科學月刊第660期】