神經元網絡結構和操作神經元網絡結構的方法

專利名稱：神經元網絡結構和操作神經元網絡結構的方法
技術領域：
本發明涉及一種包括彼此互連(interconnect)的多個自動機(automata)的神經 元(neuronal)網絡結構。本發明還涉及一種操作這種神經元網絡結構的方法。具體地，本 發明涉及一種通過突觸連接(synaptic link)互連的自動機的網絡。
背景技術：
基于順序處理架構的計算對輸入狀態系列進行操作并生成輸出狀態。對于這種基 于狀態的架構，連續過程的表示法(r印resentation)是陌生的，并且即使不是不可能也非 常難以實現。為了實現這種連續過程，典型地需要將連續量(continuum)數字化為許多離 散的狀態，以便使得基于狀態的架構能夠適合于輸入而工作。然而，大多數過程實質上是連 續的并且顯現有規律的行為，諸如例如高爾夫球桿的揮動、交通流的演化、人們之間的相互 影響以及思考過程，這些僅僅是一些例子。像狀態序列這樣的有規律且系統的行為的表示 法是人工的，并且是僅通過基于狀態的架構的限制性約束而施加的，其著名的示例是公知 的馮 諾伊曼架構。文獻中已經存在一些建議通過神經(或神經元)計算機架構(也被稱作神經或神 經元網絡或計算機)來克服由馮 諾伊曼型計算機架構施加的約束。Hoppensteadt 等 人 ^ "Oscillatory Neural Computers with DynamicConnectivity" (Phys. Rev. Letters Vol. 82，14，2983 至lj 2986)中公開 了一種 神經(neural)計算機，其由具有不同頻率且由外部輸入強制經由公共媒介微弱地連接 的振蕩器構成。雖然這樣的振蕩器都均勻地互連，外部輸入仍施加動態連通(dynamic connectivity)，因此創建考慮到大腦的有節奏的行為的振蕩神經網絡。該方法包括將皮層 (cortex)對待為微弱自激振蕩器(autonomousoscillator)的網絡，其選擇性的相互作用 取決于頻率。由 Ashwin 等人在"When Instability Makes Sense"(Nature, Vol. 436,36-37)中 公開了在神經系統中通過不穩定動力學而進行的信息的處理，其中神經計算系統中的狀態 之間的切換由不穩定性誘發。因此神經系統的動力學探索狀態序列，從而生成神經活動的 特定樣式(其例如表示特定氣味)。EP 0401926B1公開了一種包括多個互連的神經元和用于在所述神經元之間進行 信息傳播的部件的神經元網絡結構，其中從發送神經元到接收神經元的信息傳播是通過分 配給神經元互連的突觸系數的值來確定的，其中避免了突觸系數的網絡存儲器存取，并且 減少了每種情況下將要至少等于輸入神經元的數量的算術運算數量。

發明內容
與已知的神經計算架構(其也受神經科學所啟發，但是對狀態操作(例如， Hopfield或者自適應諧振理論(ART，adaptive resonance theory)網絡)對比，本發明提 出了一種基于過程而不是基于狀態并且其中用處理的執行來識別計算的神經元網絡計算
3架構。與狀態相比，過程是依賴于時間的變量集合的連續流再現。根據本發明的基于過程的架構由通過突觸連接互連的自動機的網絡組成。所述網 絡的節點是等價于神經元種群(population)的自動機，并且其特征在于它們的時間連續 的活動(發射(firing)率)。網絡自動機的動力學是通過時間連續的動力系統(例如積分 和/或微分方程)所定義的，并且因此可以通過基本電子元件(例如但不限于壓控振蕩器、 光學振蕩器、激光器或其它類型的振蕩器)來實現。突觸連接是自動機之間的連接。過程 是通過網絡節點或自動機的時間行為的整體來確定的，這可能具有任意大的復雜度。本發 明的基于過程的架構由此可被描述為認知架構(cognitive architecture) 0因此，本發明能夠以基于過程的方式應對、處理和操作N維系統，該N維系統通過 一組依賴于時間的(標量或矢量)變量^(0，(12(0，...，％(0來定義。每個(標量或矢 量)變量描述節點的活動。同時，變量描述總網絡的動態行為，該總網絡自身是高維數系 統。利用本發明，較低維數行為被確保出現于網絡變量整體，并且可被以高維數結構描述、 控制和編碼，而不用參考基于狀態的機器。在這種意義下，過程被理解，這是因為在復雜的 網絡中出現了低維數行為。根據本發明，網絡的自動機之間的互連中的對稱性破缺(symmetrybreaking)允 許各個耦合(coupling)中的權重變化(weight change)，因此生成受控的網絡行為。換句 話說，較低維數過程的編碼通過耦合的權重的對稱性破缺來執行。本發明的神經元網絡結 構的編程由此通過實現該編碼來進行。這也可被描述為對互連的對稱性的操縱。本發明也 允許當一個給定函數可以通過各種權重變化來實現時的特定的冗余，從而導致計算架構更 高的靈活性，并且允許抵抗錯誤或損害的健壯性。利用根據本發明的機制，變得能夠定義物理存在的N個動態元素的神經元網絡并 且能夠經由N2個定向耦合(或者互連)連接這些元素。根據本發明，這樣的神經元網絡用 作基于過程的架構的中央處理單元(CPU)。因此，本發明設計出完全新型的計算范例。過程(連續序列)將被以它們的自然 框架而表示，即，它們將在適合于連續處理而工作的機器中計算。本發明的一個主要優點是 簡化了在基于狀態的架構中被認為是困難的問題的處理和解決。函數的健壯性是本架構的 另一主要優點，因為函數能夠以各種實現來表示。編程的速度和簡易性是附加的潛在好處。根據描述和附圖，進一步的特征和實施例將變得明顯。將會理解，上述的特征以及下面描述的特征不僅可以以所指定的組合而使用，而 且以其它組合或以它們自身而使用，而不脫離本公開的范圍。各種實現方式已借助于舉例方式的實施例在附圖中示意性地得以例示，并且在下 文中參考附圖得以詳細地說明。將要理解，所述描述不以任何方式限于當前公開的范圍，并 且所述描述僅僅是優選實施例的例示。


圖1示出了根據本發明的具有基于過程的架構的神經元網絡結構的高度示意性 的描繪圖。圖2A到圖2C示出了圖1的架構的三種情形，例示了本發明的基于過程的架構的
靈活性。
圖3例示了本發明的基于過程的架構的概念基礎。
具體實施例方式在本申請的上下文中，過程是能夠被動力系統捕獲的所有有規律的行為的集合， 例如常微分方程集合。將要注意的是，這不同于對于某一初始條件的一種行為(等同于一 個特定時間段)的單純執行。根據本發明，m維過程(通過其狀態變量《ear來描述)出現于高維網絡動力學 (通過其狀態變量來描述)，其中在非常受控的方式中維數N >> m。這是利用對慢 和快動力學的時標分離(time-scale separation)來實現的，通過時標分離，當慢動力學在 初始快速瞬變之后建立時目標過程出現于于全網絡(full network)動力學。它是通過流 形(manifold)上所謂的相位流來捕獲的(參考圖3)，其可被直觀地理解為在大得多的空間 內由過程利用的子空間中的流。圖1示出了根據本發明的具有基于過程的架構的神經元網絡結構10的可能實施 例。該神經元網絡結構10包括輸入單元12，該輸入單元12連接到處理單元14。輸出單元 16連接到處理單元14用以輸出由處理單元14傳送的結果。輸出單元16也可以操作為用 于存儲結果的存儲部件，或者可以提供附加的存儲部件。神經元網絡結構10進一步包括用 于對稱性破缺樣式(symmetry breaking pattern)的存儲器18。處理單元14包括多個自動機或節點20 (描繪為圓圈)(也參考圖2A到圖2C)。自 動機或節點20依靠在圖1中用18和19描繪的所謂突觸連接(參考例如圖2C)而彼此互 連。如神經元網絡領域中技術人員所知的那樣，每個節點20接收用19描繪的公共反饋。將 要注意，術語“自動機”和“節點”在本申請的上下文中將被理解為等價。下面，參考附圖來描述本發明的操作。根據本發明的時標分離是通過節點20的等同連接網絡中的相對連通的對稱性破 缺來實現的。通過對權重差18的對稱的調節，可以實現任何期望的低維動力系統。如果沒 有發生這樣的對稱性破缺，則唯一的耦合經由平均場(field)反饋19。低維性僅造成較小 的局限，因為盡管事實是系統本身是高維的但神經元系統中的大多數“連貫(coherent) ”過 程是低維的。N個節點20的網絡中的每個節點示出了對于第i節點和時間t由(標量或矢 量)變量qi(t)描述的時間連續活動。如果網絡結構14的連通矩陣被描述為W(q) = (Wij (q))，則整個網絡14的動力學 可描述為 其中，N(qi(t))qi(t)表示第i節點的非線性內在動力學特性，S是節點之間的信 息的非線性的和可調節的傳遞。點表示時間導數。時間連續輸入Ii(qi，t)專用于每個節點 并且取決于它的活動qi(t)。任意的外部信號Zi(t)(所示為圖1中的11，作為輸入信號)被以輸入單元12中 的第i樣式矢量&而空間地編碼，其中& elRN。然后，這些多個外部信號經由
被饋
送到網絡14，并且例示(instantiate)第i節點20處的輸入信號
項％表示將被對于適當的應用而調節的線性或非線性函數。在本發明的網絡結構的下面數學模型討論中，為了展示的簡潔而拋棄了輸入信 號。還應當注意，自動機20之間的鏈接22典型地取決于q的活動。這對于使得網絡能夠 生成如下概述的任意處理是重要的。對于大多數應用，鏈接的乘法形式Wij(q) =&」1(具 有常數是足夠的，這將在下面進行討論。如果所有網絡鏈接具有相同的常數權重Wij=W和Wij(q) =%，則直觀的是，不能 將節點彼此區分，并且可以證明，整個網絡作用為單個單元。= w+UCiJ中的小權重變化 Cu (如附圖1中虛線18所示)在上面的動力學中引入了對稱性破缺，所述動力學可以用方 程表示如下么⑴=(0)9, (0+1；似紙.(f))丨(0 + MCySigj (tM (/) (2)
j其中ii表示變化較小的事實。如果滿足某些條件(請看下面)，則方程(2)右邊的前兩項對于所有節點都是相同 的，并且產生所謂的慢流形(slow manifold)。該流形是子空間，其中第i過程 ξi (t)(其
中-
)隨時間發展。它通過簡單的線性投影
而與全網絡
動力學相關，其中q(t)是矢量q(t) = (qi(t))，并且vf是存儲在活動分布中的第i慢過程 的第i矢量的第k分量。過程l“t)由m個分量療⑴組成。高維數互補空間由N-m 個矢量％連同由、(t)給出的快速瞬變動力學一起定義。由于y是小的參數，所以時標 分離允許如下地單獨討論兩個子系統的行為
慢流形(3a)
慢動力學(3b)
快動力學(3c)此處(3a)表征慢流形。如果滿足(3c)，則該流形是有吸引力的。注意，(3a)和 (3c)中的括號{ }表示變量的合適集合。如果所有鏈接22相同，S卩y =0，則該流形上的 流是零(也參考圖2C)。這等效于以下陳述所有節點20和連接22是相同的。如果y不 為零，則在由(3b)捕獲的流形上通過18生成一個流。由于對于連通的對稱性破缺的特性 未加以限制，因此過程的動力學特性f i (t))保持任意性并且僅由樣式矢量Vi和網絡節 點20處的自動機的內在動力學確定。或者換句話說，通過操縱連通矩陣W而在流形上生成 任意流。或者再次換句話說，在流形上形成盡管有規律但是任意的行為，并且所述行為定義 過程。在圖2A中，網絡14中的上面的八個節點20斷開連接。結果，下層節點生成非常 特定的輸出，并且將其映射到編好號的四個節點，所述四個節點用作輸出單元16。這種網絡 對損害非常敏感。具體地，如果發生損傷，則網絡函數將遭到破壞。圖2C捕獲了以下情形其中所有節點20通過鏈接22連接，并且以類似的程度對 輸出16有一些貢獻。這種架構對于損害是健壯的，但是并沒有充分地允許輸出的特殊性。 換句話說，每個輸出將會有一些類似，并且真實的編程是不可能的。
圖2B描述了本發明的情形所有節點20連接，但是連通18中的對稱性破缺允許 權重變化，因此生成如此處通過f( I i (t))表征的受控的網絡行為。由于f i (t))和連通的對稱性破缺彼此不是唯一相關，因此通過各種權重變化 可以實現相同的函數f i(t))。在圖2B中，分別在30處用陰影和在32處用散點示出兩 個網絡，它們部分地重疊(如在34處用陰影和散點所示)。編號2的輸出節點中的相同輸 出可以或者通過網絡30、或者通過網絡32來生成。這樣的靈活性允許抵抗錯誤或損害的健 壯性。圖3示出了初始輸入條件隨時間的發展。圖3的圖形具有三個軸(對于N = 3， q2和q3)，它們張成由1，q2，q3表示的空間。平坦表面40 (m = 2)定義由第i過程的變
量& =(^，打)張成的流形。繪制了五個初始條件，并且該五個初始條件通過五個各自星號表 示。隨著時間發展，系統的狀態矢量q(t) = (qi(t)，q2(t)，q3(t))描繪出向該流形快速運 動的軌跡。一旦在該流形上，動力學較慢，并且軌跡遵循該流形內的圓形流。因此，出現的 過程對總網絡動力學q(t)取近似。為了更好理解本發明的新穎的基于過程的架構，下面將基于狀態的計算中的已形 成的觀念和術語與本發明的操作比較。“計算”是執行如方程(3b)規定的處理。它在對P 0的網絡連通中進行。“存儲器”是重做方程(3a)到(3c)規定的相同動態過程的性能，并且主要由連通 wi3中的對稱性破缺所定義。過程的“編碼”通過破壞連通權重以使得方程(3c)保持成立而發生。到網絡的“輸入”作為值集合而被提供，其將確定待執行的處理的初始條件；可替 換地，在正執行處理的同時，這些輸入值可以作為時間自身的函數而變化，并且該處理將相 應地變化。解釋說明這一情況的比喻可以如下兩個舞蹈演員按協調一致的方式運動。一 個舞蹈演員代表輸入流，另一個舞蹈演員代表CPU處理。作為第一個舞蹈演員的函數，第二 個舞蹈演員將與他/她的舞蹈動作協調；等效地，作為輸入流的行為的函數，CPU處理將改 變它的動力學特性。“輸出”是網絡的讀出，并且通過從網絡動力學q中提取€ J典型地通過將q投影 到的伴隨(adjoint)坐標系統)而發生。
權利要求
一種神經元網絡結構(10)，包括處理單元(14)、用于將變量(11)輸入到處理單元(14)的輸入單元(12)和用于輸出來自處理單元(14)的處理后的變量(17)的輸出單元(16)，其中所述處理單元(14)包括多個自動機(20)，所述多個自動機(20)通過形成連通矩陣的相同互連(22)而彼此互連，并且其中所述神經元網絡結構(10)具有基于過程的架構。
2.如權利要求1所述的神經元網絡結構，其中所述互連取決于狀態變量。
3.如權利要求1或2所述的神經元網絡結構，其中將被基于過程的處理單元處理的過 程通過諸如微分方程集合之類的動力系統定義。
4.如權利要求1到3中任一項所述的神經元網絡結構，其中所述處理單元捕獲給定處 理的較低動力學。
5.如權利要求4所述的神經元網絡結構，其中所述處理單元通過時標分離來捕獲給定 過程的較低動力學。
6.如權利要求1到5中任一項所述的神經元網絡結構，其中所述處理單元中的受控網 絡行為是通過連通的對稱性破缺來實現的。
7.如權利要求6所述的神經元網絡結構，其中所述處理單元調節所述互連的權重差異 以便獲得對稱性破缺。
8.一種操作神經元網絡結構的方法，多個自動機通過形成連通矩陣的相同互連而彼此 互連，所述操作是基于過程的。
9.如權利要求8所述的方法，其中所述互連取決于狀態變量。
10.如權利要求8或9所述的方法，其中將被處理的過程是通過諸如微分方程集合之類 的動力系統來定義的。
11.如權利要求8到10中任一項所述的方法，包括捕獲給定過程的較低動力學的步驟。
12.如權利要求11所述的方法，其中捕獲步驟包括執行時標分離。
13.如權利要求8到12中任一項所述的方法，包括連通的對稱性破缺步驟。
14.如權利要求13所述的方法，其中所述對稱性破缺步驟包括調節所述互連的權重差巳
全文摘要
一種神經元網絡結構，包括處理單元；輸入單元，用于將變量輸入到處理單元；和輸出單元，用于輸出來自處理單元的處理后的變量，其中所述處理單元包括多個自動機，所述多個自動機通過形成連通矩陣的相同互連而彼此互連，并且其中所述神經元網絡結構具有基于過程的架構。
文檔編號G06N3/04GK101868803SQ200780101617
公開日2010年10月20日 申請日期2007年9月21日 優先權日2007年9月21日
發明者約肯·默斯曼, 維克托·杰薩 申請人:科德博克斯計算機服務有限責任公司