我們的大腦複雜無比,裡面的神經網路錯綜複雜,也因此讓我們能夠表現智慧的行為。現今一些人工智慧 (AI: Artificial Intelligence)
的問題,或許可以透過參考人腦的神經網路,來設計一個可以處理視覺、聽覺、文字等資訊的人工智慧系統。除此之外,如果還能夠像人類一樣,能夠自我調整、自我學習,儘量減少人類對系統直接的調整,是最好的了。然而人腦的神經網路,又是如何自我學習、自我調整呢?今天就先和各位分享神經網路調整的兩種方法:海扁學習和STDP,並且另外介紹神經網路同步化
(synchronized)和同多步 (polychrnous)的模型,進一步探討可能的神經網路模式,或許對人工智慧自我學習的方法上,也能提供一些參考!
Hebbian LearningDonald O. Hebb (1904 – 1985) 是一位神經心理學家 (圖1 Donald O. Hebb),他對神經網路最重要的一個貢獻,就是
Hebbian Learning ,在這邊我就暫且先翻譯成
海扁學習法。甚麼是海扁學習法呢?海扁學習是在學習甚麼東西呢?首先,讓我們先回憶一下,我們的大腦裡面,是由許許多多的神經元 (neuron)
所組成,神經元和神經元之間,有著連結,叫做神經鍵結 (synapse)。神經元和神經鍵結整個形成一個網路,可以讓神經訊號到處傳遞,就稱為一個神經網路
(neural network)。
我們外在的行為,就是因為神經網路接受了刺激,處理之後產生了反應。然而從刺激到反應之間訊號如何被處理、被轉換,讓我們的行為表現出有智慧的樣子呢?這就牽涉到神經元之間的連結了,因為某些神經元之間連結弱一點,某些神經元之間的連結強一點,我們就可以針對不同的刺激,產生不同的反應,進而表現出智慧的行為。如果我們再縮小範圍來看整個網路裡面的某兩個神經元,接著我們就要問,這兩個神經元之間的連結強度,要怎樣子變強變弱呢?Hebb就針對這個部分提出他的假設,後來也經由許多實驗資料證實,成為海扁學習法了。
所謂的海扁學習法,就是說如果兩個神經元常常同時產生動作電位,或是說同時激動 (fire),這兩個神經元之間的連結就會變強,反之則變弱。原文引述如下:
STDP: Spike Timing Dependent Plasticity

如果延續剛才的例子,如果神經元B本身,用「打雷」來代表。另外一個神經元A用「臥冰求鯉」代表。如果臥冰求鯉之後,突然打雷,我們會說孝心感動天,也就是臥冰求鯉和打雷的連結變強了。如果先打雷,之後才臥冰求鯉,那麼我們可能就不會覺得是孝心感動天了,也就是臥冰求鯉和打雷的連結變弱了。
STDP 影響神經網路的同步性
在 2008年4月的Neuron期刊有一篇paper,是在討論有關STDP對神經網路同步性的影響。首先介紹一下神經網路的同步。所謂同步 (synchronized),就是指神經網路裡面每個神經元,都同時激動 (fire),同時安靜,同時激動,同時安靜。所有的神經元就好像是合為一體一樣,大家一起激動,大家一起安靜。同步化 (synchronized)有哪些特點呢?首先,因為全部的神經元,像是只有一個神經元的活動,因此表現的資訊量變少了。但是另一方面,因為大家的活動都同步了,因此活動的強度變強,在行為上,可以解釋一部分「注意力」(attention)的產生來源。
Polychronous 同多步

結語

圖5 STDP示意圖

所以從剛才到現在,我們一一走訪了各種自我學習的理論,包括最早提出的海扁學習 (Hebbian Learning),延伸改良版的STDP (Spike Timing Dependent Plasticity),把神經活動的時間點對鍵結學習的影響考慮進去。之後繼續探討了STDP對於神經網路的同步的影響,也介紹了另一項新的想法,polychronous。這麼多種模型和學習方法,有的是比前一個更加精細的模型,有個則是提供更多學習方式,讓計算神經的研究者可以有更多選擇來模擬人類的神經網路。其實最重要的,是希望能夠粹取神經網路裡面的精髓,可能是一種自我學習的演算法,或是一種會自我調適的網路,希望有一天,可以建造出和人類智力相當的計算機,不管是哪一種應用,對人類的文明進步必定有所幫助!
參考資料
- (Wikipedia) Hebbian Learning
- (Wikipedia) STDP
- (Izhikevich) Polychronization: Computation With Spikes
- (Neuron) Decoupling through Synchrony in Neuronal Circuits with Propagation Delays
www.psychspace.com心理学空间网