用于修改神經動態的自動化方法
【專利說明】用于修改神經動態的自動化方法
[0001] 相關申請的交叉引用
[0002] 本申請要求于2013年10月2日提交的題為"AUTOMATED METHOD FOR MODIFYING NEURAL DYNAMICS(用于修改神經動態的自動化方法)"的美國臨時專利申請No. 61/885，950 的權益，其公開內容通過援引全部明確納入于此。
[0003] 背景
[0004] 領域
[0005] 本公開的某些方面一般涉及神經系統工程，并且尤其涉及用于修改神經網絡模型 中的神經動態的系統和方法。
【背景技術】
[0006] 可包括一群互連的人工神經元（即神經元模型）的人工神經網絡是一種計算設備 或者表示將由計算設備執行的方法。人工神經網絡可具有生物學神經網絡中的對應的結構 和/或功能。然而，人工神經網絡可為其中傳統計算技術是麻煩的、不切實際的、或不勝任的 某些應用提供創新且有用的計算技術。由于人工神經網絡能從觀察中推斷出功能，因此這 樣的網絡在因任務或數據的復雜度使得通過常規技術來設計該功能較為麻煩的應用中是 特別有用的。
[0007] 尖峰神經網絡的研究者花費了相當多的時間來理解和設計尖峰神經元的數學模 型。這些數學模型可能是任意復雜的并且需要手動調諧來產生某種期望行為。設計者將通 常使用一組方程式以及用于那些方程式的參數來描述神經元。隨后，將操縱這些參數以與 現有或原型神經元的一些特性相匹配。例如，神經元模型可被設計成相對于已知存在于生 物學中的神經元的時間來再現膜電壓。研究者隨后使用已知原型神經元隨時間的電壓作為 參考并且嘗試使用他自己的模型來復制那些動態。在呈現給與原型神經元相同的輸入時， 模型神經元意圖在廣泛的調諧之后產生對膜電壓的準確逼近。
[0008] 概述
[0009] 在本公開的一個方面，公開了一種用于改進神經動態的方法。該方法包括獲取原 型神經元動態。該方法進一步包括修改神經元模型的參數以使得神經元模型與原型神經元 動態相匹配。
[0010] 本公開的另一方面涉及一種設備，包括用于獲取原型神經元動態的裝置。該設備 進一步包括用于修改神經元模型的參數以使得神經元模型與原型神經元動態相匹配的裝 置。
[0011] 在本公開的另一方面，公開了一種具有非瞬態計算機可讀介質的用于改進神經動 態的計算機程序產品。該計算機可讀介質上記錄有非瞬態程序代碼，該程序代碼在由（諸） 處理器執行時使得(諸)處理器執行獲取原型神經元動態的操作。該程序代碼還使得(諸)處 理器修改神經元模型的參數以使得神經元模型與原型神經元動態相匹配。
[0012] 另一方面公開了一種具有存儲器以及耦合至該存儲器的至少一個處理器的用于 改進神經動態的裝置。該處理器被配置成獲取原型神經元動態。該處理器被進一步配置成 修改神經元模型的參數以使得神經元模型與原型神經元動態相匹配。
[0013] 公開了一種用于優化神經動態的自動化方法。該方法利用分段式線性神經元模型 并且自動地確定最佳匹配原型神經元的行為的參數。該過程獲取原型神經動態。優化度量 被定義并被用來對分段式線性模型與原型神經元的膜電壓之差進行量化。最優參數隨后基 于優化度量來確定。
[0014] 這已較寬泛地勾勒出本公開的特征和技術優勢以便下面的詳細描述可以被更好 地理解。本公開的附加特征和優點將在下文描述。本領域技術人員應該領會，本公開可容易 地被用作修改或設計用于實施與本公開相同的目的的其他結構的基礎。本領域技術人員還 應認識到，這樣的等效構造并不脫離所附權利要求中所闡述的本公開的教導。被認為是本 公開的特性的新穎特征在其組織和操作方法兩方面連同進一步的目的和優點在結合附圖 來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說 和描述目的，且無意作為對本公開的限定的定義。
[0015] 附圖簡述
[0016] 在結合附圖理解下面闡述的詳細描述時，本公開的特征、本質和優點將變得更加 明顯，在附圖中，相同附圖標記始終作相應標識。
[0017] 圖1解說了根據本公開的某些方面的示例神經元網絡。
[0018] 圖2解說了根據本公開的某些方面的計算網絡(神經系統或神經網絡）的處理單元 (神經元)的示例。
[0019] 圖3解說了根據本公開的某些方面的尖峰定時依賴可塑性(STDP)曲線的示例。
[0020] 圖4解說了根據本公開的某些方面的用于定義神經元模型的行為的正態相和負態 相的示例。
[0021] 圖5是根據本公開的一方面的用于將神經元模型的非線性函數的部分逼近為分段 式線性函數的示例操作的流程圖。
[0022] 圖6解說根據本公開的一方面的支配神經動態的分段式線性函數的示圖的示例。
[0023] 圖7解說了根據本公開的某些方面的使用通用處理器來設計神經網絡的示例實 現。
[0024] 圖8解說了根據本公開的某些方面的設計其中存儲器可以與個體分布式處理單元 對接的神經網絡的示例實現。
[0025] 圖9解說了根據本公開的某些方面的基于分布式存儲器和分布式處理單元來設計 神經網絡的示例實現。
[0026] 圖10解說了根據本公開的某些方面的神經網絡的示例實現。
[0027] 圖11是解說根據本公開的一方面的解說用于修改神經動態的方法的框圖。
[0028] 詳細描述
[0029] 以下結合附圖闡述的詳細描述旨在作為各種配置的描述，而無意表示可實踐本文 中所描述的概念的僅有的配置。本詳細描述包括具體細節以便提供對各種概念的透徹理 解。然而，對于本領域技術人員將顯而易見的是，沒有這些具體細節也可實踐這些概念。在 一些實例中，以框圖形式示出眾所周知的結構和組件以避免湮沒此類概念。
[0030] 基于本教導，本領域技術人員應領會，本公開的范圍旨在覆蓋本公開的任何方面， 不論其是與本公開的任何其他方面相獨立地還是組合地實現的。例如，可以使用所闡述的 任何數目的方面來實現裝置或實踐方法。另外，本公開的范圍旨在覆蓋使用作為所闡述的 本公開的各個方面的補充或者與之不同的其他結構、功能性、或者結構及功能性來實踐的 此類裝置或方法。應當理解，所披露的本公開的任何方面可由權利要求的一個或多個元素 來實施。
[0031] 措辭"示例性"在本文中用于表示"用作示例、實例或解說"。本文中描述為"示例 性"的任何方面不必被解釋為優于或勝過其他方面。
[0032] 盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之 內。雖然提到了優選方面的一些益處和優點，但本公開的范圍并非旨在被限定于特定益處、 用途或目標。相反，本公開的各方面旨在能寬泛地應用于不同的技術、系統配置、網絡和協 議，其中一些作為示例在附圖以及以下對優選方面的描述中解說。詳細描述和附圖僅僅解 說本公開而非限定本公開，本公開的范圍由所附權利要求及其等效技術方案來定義。
[0033]示例神經系統、訓練及操作
[0034] 圖1解說了根據本公開的某些方面的具有多級神經元的示例人工神經系統100。神 經系統100可具有神經元級102,該神經元級102通過突觸連接網絡104(即，前饋連接)來連 接到另一神經元級106。為簡單起見，圖1中僅解說了兩級神經元，盡管神經系統中可存在更 少或更多級神經元。應注意，一些神經元可通過側向連接來連接至同層中的其他神經元。此 外，一些神經元可通過反饋連接來后向連接至先前層中的神經元。
[0035] 如圖1所解說的，級102中的每一個神經元可以接收可由前級的神經元(未在圖1中 示出）生成的輸入信號108。信號108可表示級102的神經元的輸入電流。該電流可在神經元 膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經元可激發并生成輸出尖峰， 該輸出尖峰將被傳遞到下一級神經元(例如，級106)。此類行為可在硬件和/或軟件(包括模 擬和數字實現，諸如以下所述那些實現）中進行仿真或模擬。
[0036] 在生物學神經元中，在神經元激發時生成的輸出尖峰被稱為動作電位。該電信號 是相對迅速、瞬態的神經沖激，其具有約為IOOmV的振幅和約為Ims的歷時。在具有一系列連 通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級神經元）的神經系統的特定實 施例中，每個動作電位都具有基本上相同的振幅和歷時，并且因此該信號中的信息可僅由 尖峰的頻率和數目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的信息可由 尖峰、發放了尖峰的神經元、以及該尖峰相對于一個或數個其他尖峰的時間來確定。尖峰的 重要性可由向各神經元之間的連接所應用的權重來確定，如以下所解釋的。
[0037] 尖峰從一級神經元向另一級神經元的傳遞可通過突觸連接(或簡稱"突觸"）網絡 104來達成，如圖1中所解說的。關于突觸104,級102的神經元可被視為突觸前神經元，而級 106的神經元可被視為突觸后神經元。突觸104可接收來自級102的神經元的輸出信號（即， 尖峰），并根據可調節突觸權重wf+1)來按比例縮放那些信號，其中P是級102的 神經元與級106的神經元之間的突觸連接的總數，并且i是神經元級的指示符。例如，在圖1 的示例中，i表示神經元級102并且i+Ι表示神經元級106。此外，經按比例縮放的信號可被組 合以作為級106中每個神經元的輸入信號。級106中的每個神經元可基于對應的組合輸入信 號來生成輸出尖峰11 〇。可使用另一突觸連接網絡（圖1中未示出）將這些輸出尖峰11 〇傳遞 到另一級神經元。
[0038]生物學突觸可被分類為電的或化學的。電突觸主要用于發送興奮性信號，而化學 突觸可調停突觸后神經元中的興奮性或抑制性(超極化)動作，并且還可用于放大神經元信 號。興奮性信號使膜電位去極化(即，相對于靜息電位增大膜電位）。如果在某個時間段內接 收到足夠的興奮性信號以使膜電位去極化到高于閾值，則在突觸后神經元中發生動作電 位。相反，抑制性信號一般使膜電位超極化（即，降低膜電位）。抑制性信號如果足夠強則可 抵消掉興奮性信號之和并阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制還可 對自發活躍神經元施加強力的控制。自發活躍神經元是指在沒有進一步輸入的情況下（例 如，由于其動態或反饋而)發放尖峰的神經元。通過壓制這些神經元中的動作電位的自發生 成，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決于期望的行為， 各種突觸104可充當興奮性或抑制性突觸的任何組合。
[0039] 神經系統100可由通用處理器、數字信號處理器(DSP)、專用集成電路(ASIC)、現場 可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組 件、由處理器執行的軟件模塊、或其