我們的大腦複雜無比,裡面的神經網路錯綜複雜,也因此讓我們能夠表現智慧的行為。現今一些人工智慧 (AI: Artificial Intelligence)
的問題,或許可以透過參考人腦的神經網路,來設計一個可以處理視覺、聽覺、文字等資訊的人工智慧系統。除此之外,如果還能夠像人類一樣,能夠自我調整、自我學習,儘量減少人類對系統直接的調整,是最好的了。然而人腦的神經網路,又是如何自我學習、自我調整呢?今天就先和各位分享神經網路調整的兩種方法:海扁學習和STDP,並且另外介紹神經網路同步化
(synchronized)和同多步 (polychrnous)的模型,進一步探討可能的神經網路模式,或許對人工智慧自我學習的方法上,也能提供一些參考!
Hebbian Learning
Donald O. Hebb (1904 – 1985) 是一位神經心理學家 (圖1 Donald O. Hebb),他對神經網路最重要的一個貢獻,就是
Hebbian Learning ,在這邊我就暫且先翻譯成
海扁學習法。甚麼是海扁學習法呢?海扁學習是在學習甚麼東西呢?首先,讓我們先回憶一下,我們的大腦裡面,是由許許多多的神經元 (neuron)
所組成,神經元和神經元之間,有著連結,叫做神經鍵結 (synapse)。神經元和神經鍵結整個形成一個網路,可以讓神經訊號到處傳遞,就稱為一個神經網路
(neural network)。
我們外在的行為,就是因為神經網路接受了刺激,處理之後產生了反應。然而從刺激到反應之間訊號如何被處理、被轉換,讓我們的行為表現出有智慧的樣子呢?這就牽涉到神經元之間的連結了,因為某些神經元之間連結弱一點,某些神經元之間的連結強一點,我們就可以針對不同的刺激,產生不同的反應,進而表現出智慧的行為。如果我們再縮小範圍來看整個網路裡面的某兩個神經元,接著我們就要問,這兩個神經元之間的連結強度,要怎樣子變強變弱呢?Hebb就針對這個部分提出他的假設,後來也經由許多實驗資料證實,成為海扁學習法了。
所謂的海扁學習法,就是說如果兩個神經元常常同時產生動作電位,或是說同時激動 (fire),這兩個神經元之間的連結就會變強,反之則變弱。原文引述如下:
STDP: Spike Timing Dependent Plasticity
在Hebb提出海扁學習法之後,1983年之後由 Henry Markram (圖2 Henry Markram) 從實驗資料中提出一項理論,就是STDP了。STDP英文全名是 Spike Timing Dependent Plasticity,也就是根據神經元活動的「先後順序」,調整神經元之間連結的強弱。STDP 可以說是海扁學習法的一種延伸,海扁學習法提出如果兩個神經元常常一起活動,之間的連結會變強。STDP進一步提出,兩個神經元之間的活動,如果其他神經傳遞的訊息在本身產生活動之前,會加強之間的連結強度。如果神經元本身產生活動之後,才接受到另外一個神經元來的訊號,則會減弱和該神經元連結的強度。
如果延續剛才的例子,如果神經元B本身,用「打雷」來代表。另外一個神經元A用「臥冰求鯉」代表。如果臥冰求鯉之後,突然打雷,我們會說孝心感動天,也就是臥冰求鯉和打雷的連結變強了。如果先打雷,之後才臥冰求鯉,那麼我們可能就不會覺得是孝心感動天了,也就是臥冰求鯉和打雷的連結變弱了。
STDP 影響神經網路的同步性
在 2008年4月的Neuron期刊有一篇paper,是在討論有關STDP對神經網路同步性的影響。首先介紹一下神經網路的同步。所謂同步 (synchronized),就是指神經網路裡面每個神經元,都同時激動 (fire),同時安靜,同時激動,同時安靜。所有的神經元就好像是合為一體一樣,大家一起激動,大家一起安靜。同步化 (synchronized)有哪些特點呢?首先,因為全部的神經元,像是只有一個神經元的活動,因此表現的資訊量變少了。但是另一方面,因為大家的活動都同步了,因此活動的強度變強,在行為上,可以解釋一部分「注意力」(attention)的產生來源。
對神經網路的同步又有哪些影響呢?在Thanos Siapas (圖3 Thanos Siapas)的paper裡面,先提出他們在老鼠睡覺的時候,測量了海馬迴 (hippocampus)區域的神經活動,發現海馬迴會產生同步化的神經活動 (burst)。在同個時候,如果神經元之間又有 STDP 的規則來調整連結的強弱,會發生一個調節的現象。這個現象就是說,一個網路如果非常同步,STDP會產生一個擾亂的力量,讓神經網路往非同步變化。相反地,如果神經網路原來沒有同步,STDP會讓神經網路同步化。paper裡面用一些模擬,來確認這件事情。因此STDP讓神經網路在沒有外界刺激,像是睡覺的時候,維持在同步與非同步的臨界點附近。這個預測也和他們在海馬迴 (hippocampus) 的實驗資料吻合,他們也推測這個機制可能是長期記憶從海馬迴,慢慢移動到大腦皮質 (cortex) 的一個過程。