用于按概率性方式使用存儲器來存儲神經網絡的突觸權重的方法和裝置制造方法
【專利摘要】本公開的某些方面支持一種用于按概率性方式利用存儲器來存儲與神經網絡的各突觸的權重有關的信息的技術。
【專利說明】用于按概率性方式使用存儲器來存儲神經網絡的突觸權重的方法和裝置
【背景技術】
[0001]領域
[0002]本公開的某些方面一般涉及神經系統工程，且更具體地涉及用于按概率性方式利用存儲器來存儲與神經網絡的突觸權重有關的信息的方法和裝置。
[0003]背景
[0004]神經網絡可具有數十萬突觸，其中這些突觸的權重在網絡訓練期間可被學習。在訓練過程期間，權重通常用隨機值來初始化并且以小增量變化。通常，突觸權重被存儲在多比特或多級存儲器中。然而，在許多情形中，這些權重可穩定至兩個值之一(權重的雙峰分布)。因此，使用多比特存儲器來存儲最終二進制權重會浪費存儲資源。此外，在網絡訓練或操作期間對多比特突觸存儲器進行尋址會成為速度的瓶頸。
[0005]概述
[0006]本公開的某些方面提供了一種在存儲器中存儲信息的方法。該方法一般包括對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新，以及對于這些突觸中的每一者，基于該權重的更新按概率性方式切換該存儲器內與這一突觸相關聯的位置的二進制狀態。
[0007]本公開的某些方面提供了 一種用于在存儲器中存儲信息的裝置。該裝置一般包括第一電路，第一電路被配置成對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新，并包括第二電路，第二電路被配置成對于這些突觸中的每一者，基于該權重的更新按概率性方式切換該存儲器內與這一突觸相關聯的位置的二進制狀態。
[0008]本公開的某些方面提供了一種用于在存儲器中存儲信息的設備。該設備一般包括用于對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新的裝置，以及用于對于這些突觸中的每一者，基于該權重的更新按概率性方式切換該存儲器內與這一突觸相關聯的位置的二進制狀態的裝置。
[0009]本公開的某些方面提供了一種用于在存儲器中存儲信息的計算機程序產品。該計算機程序產品一般包括包含用于以下操作的代碼的計算機可讀介質:對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新，以及對于這些突觸中的每一者，基于該權重的更新按概率性方式切換該存儲器內與這一突觸相關聯的位置的二進制狀態。
[0010]附圖簡述
[0011]為了能詳細理解本公開的以上陳述的特征所用的方式，可參照各方面來對以上簡要概述的內容進行更具體的描述，其中一些方面在附圖中解說。然而應該注意，附圖僅解說了本公開的某些典型方面，故不應被認為限定其范圍，因為本描述可允許有其他等同有效的方面。
[0012]圖1解說了根據本公開的某些方面的神經系統的示例處理單元。
[0013]圖2解說了根據本公開的某些方面的按概率性方式利用存儲器來存儲信息的示例。
[0014]圖3解說了根據本公開的某些方面的自旋轉移矩(STT)存儲器的示例。
[0015]圖4A-4B解說了根據本公開的某些方面的與STT存儲器的概率性切換有關的示例曲線圖。
[0016]圖5解說了根據本公開的某些方面的按概率性方式使用存儲器的示例操作。
[0017]圖5A解說了能夠執行圖5中解說的操作的示例組件。
[0018]圖6解說了根據本公開的某些方面的利用通用處理器進行概率性存儲器使用的示例軟件實現。
[0019]圖7解說了根據本公開的某些方面的概率性存儲器使用的示例實現，其中權重存儲器與個體分布式處理單元對接。
[0020]圖8解說了根據本公開的某些方面的基于分布式權重存儲器和分布式處理單元的概率性存儲器使用的示例實現。
[0021]詳細描述
[0022]以下參照附圖更全面地描述本公開的各個方面。然而，本公開可用許多不同形式來實施并且不應解釋為被限定于本公開通篇給出的任何具體結構或功能。確切而言，提供這些方面是為了使得本公開將是透徹和完整的，并且其將向本領域技術人員完全傳達本公開的范圍。基于本文中的教導，本領域技術人員應領會，本公開的范圍旨在覆蓋本文中所披露的本公開的任何方面，不論其是與本公開的任何其他方面相獨立地還是組合地實現的。例如，可以使用本文所闡述的任何數目的方面來實現裝置或實踐方法。另外，本公開的范圍旨在覆蓋使用作為本文中所闡述的本公開的各種方面的補充或者與之不同的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，本文中所披露的本公開的任何方面可由權利要求的一個或多個元素來實施。
[0023]措辭“示例性”在本文中用于表示“用作示例、實例或解說”。本文中描述為“示例性”的任何方面不必被解釋為優于或勝過其他方面。
[0024]盡管本文中描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之內。雖然提到了優選方面的一些益處和優點，但本公開的范圍并非旨在被限定于特定益處、用途或目標。相反，本公開的各方面旨在能寬泛地應用于不同的技術、系統配置、網絡和協議，其中一些作為示例在附圖以及以下對優選方面的詳細描述中解說。詳細描述和附圖僅僅解說本公開而非限定本公開，本公開的范圍由所附權利要求及其等效技術方案來定義。
[0025]示例神經系統
[0026]圖1解說了根據本公開的某些方面的計算網絡(例如，神經系統或神經網絡)的處理單元(例如，神經元)102的示例100。神經元102可接收多個輸入信號KM1-KMn(X1-Xn),這些輸入信號可以是該神經系統外部的信號、或是由同一神經系統的其他神經元所生成的信號、或者兩者皆有。輸入信號可以是實數值或復數值的電流或電壓。輸入信號可包括具有定點或浮點表示的數值。可通過突觸連接將這些輸入信號遞送到神經元102，這些突觸連接根據可調節突觸權重106^106^%-%)對這些信號進行按比例縮放，其中N可以是神經元102的輸入連接的總數。
[0027]神經元102可組合這些經按比例縮放的輸入信號，并且使用組合的經按比例縮放的輸入來生成輸出信號108 (即，信號y)。輸出信號108可以是實數值或復數值的電流或電壓。輸出信號可包括具有定點或浮點表示的數值。隨后該輸出信號108可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元102、或作為該神經系統的輸出傳遞。
[0028]處理單元(神經元)102可由電路來仿真，并且其輸入和輸出連接可由具有突觸電路的導線來仿真。處理單元102、其輸入和輸出連接也可由軟件代碼來仿真。處理單元102還可由電子電路來仿真，而其輸入和輸出連接可由軟件代碼來仿真。在本公開的一方面，計算網絡中的處理單元102可以包括模擬電路。在另一方面，處理單元102可以包括數字電路。在又一方面，處理單元102可以包括具有模擬和數字組件兩者的混合信號電路。計算網絡可包括任何前述形式的處理單元。使用這樣的處理單元的計算網絡(神經系統或神經網絡)可用在大范圍的應用中，諸如圖像和模式識別、機器學習、電機控制等。
[0029]在訓練神經網絡的過程期間，突觸權重(例如，來自圖1的權重106^106。可用隨機值來初始化并且根據學習規則(例如，取決于尖峰定時的可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro (BCM)規則等)以小增量變化。很多時候，這些權重可穩定至兩個值(即，權重的雙峰分布)之一。本公開的某些方面利用這來減少每突觸權重的比特數、提高從/向存儲突觸權重的存儲器讀取和寫入的速度、以及降低存儲器的功耗。[0030]在一方面，可采用多比特存儲器來存儲突觸權重。這類存儲器可減少給定容量的存儲器中所存儲的突觸權重的數量。然而，因為每權重可能需要讀取或寫入若干比特，所以突觸權重的讀取和寫入可能較慢。
[0031]在另一方面，可利用(例如，基于憶阻器的)模擬多級存儲器來存儲突觸權重。然而，這類存儲器有若干問題。第一，模擬存儲器可能要求復雜的寫入，即，可能要求對脈沖幅度和持續時間的精確控制。第二，存儲器讀取也可能需要是復雜的，例如，可能要求在從存儲器中讀取時對所存儲的值進行數字化。第三，對模擬多級存儲器進行高效克隆或許是不可能的。第四，模擬存儲器常常具有差的保持性和可靠性。
[0032]按概率性方式利用存儲器的方法
[0033]為減少每突觸權重的比特數以及存儲權重的存儲器的功耗，本公開中提議了一種按概率性方式利用存儲器的方法。根據本公開的某些方面，可將突觸權重(例如，來自圖1的權重106^106)表示成存儲器位置的二進制狀態(即，可只將O和I存儲在存儲器位置中)。
[0034]在神經網絡的訓練期間，可以根據權重學習規則(例如，STDP規則、Hebb規則、Oja規則、或BCM規則)來計算對于神經網絡中多個突觸中的每個突觸的權重的更新。隨后，可基于各權重更新按概率性方式來切換與多個突觸相關聯的存儲器位置的二進制狀態。在許多訓練事件之后，每個權重處于這兩個狀態之一(O或I)的概率可與該權重的總更新成比例，即，與最終權重成比例。
[0035]應注意，用二進制值表示突觸權重是可能的，這是因為實驗數據指示生物突觸可能趨于具有權重的雙峰分布。此外，二進制突觸可被存儲在一比特存儲器中，從而允許給定容量的存儲器中存儲更多突觸。按概率性方式存儲突觸權重可促成對突觸訓練事件的時間平均，即，經訓練的存儲器狀態可示出多個訓練事件的累積效應。
[0036]圖2解說了根據本公開的某些方面的按概率性方式利用存儲器來存儲信息(例如，突觸權重)的示例200。如圖2中解說的，權重更新模塊202可被配置成根據特定學習規則來計算與正被訓練的神經網絡的突觸相關聯的權重的更新204。
[0037]在本公開的一方面，接口模塊206可被配置成基于權重的更新204用一定概率來生成信號208 (例如，脈沖)。例如，脈沖的符號(正或負脈沖)可與權重更新204的符號相對應。存儲器210內表示特定權重的存儲器位置的二進制狀態可基于脈沖208來切換(例如，從零變為一，或反之)。在一方面，切換方向可基于脈沖208的符號。應注意,存儲神經網絡的突觸權重的存儲器210可包括具有在存儲器位置中的二進制值的完全確定性存儲器，其中所存儲的二進制值按概率性方式來獲得。
[0038]通過應用該辦法，存儲器210的大小可以很小(例如，每突觸權重一比特)，這還可提供存儲器功耗的降低。此外，存儲器內容的加載和存儲速度可以很快，這是因為每個突觸權重可用一比特數來表示。
[0039]在本公開的另一方面，存儲突觸權重的存儲器210可包括概率性非易失性二進制存儲器。例如，概率性非易失性二進制存儲器可基于磁性隧道結(MTJ)或自旋轉移矩(STT)器件。這些器件可充當二進制電阻性開關，這些二進制電阻性開關從一個狀態向另一狀態的切換是一概率性事件，該概率性事件具有為寫入電流/電壓幅度和持續時間的函數的概率,如圖3中解說的。在示例302、304中，通行電流306被用來切換磁化的方向。如圖3中解說的，如果磁化方向處于平行狀態(即，電流306因低電阻而可以容易地流過鐵磁層)，則二進制零可被存儲在STT存儲器的位置中。另一方面，如果磁化方向處于反向平行狀態(即，因高電阻而致使電流306要流過鐵磁層可能有某些困難)，則二進制一可被存儲在該存儲器位置中。
[0040]根據某些方面，STT存儲器可實現2:1的高電阻/低電阻比率(例如，比率為4ΚΩ/2ΚΩ)。此外，STT存儲器可提供極好的保持性(例如，超過十年)和可靠性，而功耗可以非常低。然而，由于隨機熱效應，二進制狀態之間的切換是概率性的。
[0041]應注意，STT存儲器位置中的二進制內容的切換概率可取決于以下各項中的至少一項:寫入電流的幅度(例如，幅度在0.1-1OmA的范圍中)，或寫入時間(例如，1-1OOns)。如在圖4A中的曲線圖402中解說的，一旦寫入電流(例如，來自圖3的電流306)變得大于第一閾值(例如，圖4A中解說的閾值Iui)，MTJ電阻就會顯著地增大(例如，從值404到值406)，且對應存儲器位置的值可切換到二進制一。此外，當寫入電流變得小于第二閾值(例如，來自圖4A的閾值Ihl)時，MTL電阻就會變低(例如，從值408減小到值410)，且對應存儲器位置的值可切換到二進制零。
[0042]圖4B解說了 STT存儲器中作為電流(脈沖)幅度和寫入時間的函數的切換概率的曲線圖412。從曲線圖412可以觀察到，較長寫入時間可為較低電流幅度提供相同切換概率(例如，對于IOOns寫入時間的切換概率標繪414比之對于3ns寫入時間的切換概率標繪416比之對于Ins寫入時間的切換概率標繪418)。
[0043]回來參照圖2，模塊202可被配置成根據所選學習規則(例如，基于速率的學習規則或STDP規則)為每一權重計算突觸權重更新204。在本公開的一方面，權重更新204的絕對值可(例如，由接口模塊206)決定流經STT存儲器設備210的寫入電流212的幅度I寫X。權重更新的符號可決定電流212的方向。
[0044]在本公開的一方面，可使用與權重更新204成比例的I胃入將新突觸權重寫入STT存儲器210中。正的I胃入可以按一定概率將存儲器位置的二進制值從零(突觸權重的最小值)切換到一(突觸權重的最大值)。在另一方面，負的1胃入可以按一定概率將存儲器位置的二進制值從一(突觸權重的最大值)切換到零(突觸權重的最小值)。
[0045]上述辦法可實現每突觸非常小的存儲器大小(例如，每突觸僅一個MTJ或STT)。這還可有助于降低突觸權重存儲器的功耗。此外，存儲器操作可以非常簡單，例如，二進制狀態之間的切換僅用一定幅度和方向的寫入電流就可實現。
[0046]圖5解說了根據本公開的某些方面的按概率性方式利用存儲器來存儲信息的示例操作500。在502，對于神經網絡中多個突觸中的每個突觸，可根據學習規則計算該突觸的權重的更新。在504，可基于權重更新按概率性方式來切換存儲器內與該突觸相關聯的位置的二進制狀態。在一方面，神經網絡可包括尖峰神經網絡。在另一方面，神經網絡可包括基于速率的神經網絡。
[0047]在本公開的一方面，按概率性方式切換二進制狀態可包括基于權重更新以一概率生成脈沖，并且使用該脈沖來切換存儲器位置的二進制狀態。例如，該概率可與權重更新的絕對值成比例，并且切換的方向可基于權重更新的符號。
[0048]在本公開的另一方面，權重更新的絕對值可決定流經存儲器位置的電流的幅度，并且權重更新的符號可決定流經存儲器位置的電流的方向。存儲器位置的二進制狀態可基于電流的方向以一概率進行切換。例如，該概率可與電流的幅度成比例。
[0049]在一方面，存儲器可包括概率性非易失性二進制存儲器。進一步，該概率性非易失性二進制存儲器可包括STT存儲器。
[0050]根據本公開的某些方面，上述學習規則可包括尖峰神經網絡和基于速率的神經網絡的權重學習規則。例如，尖峰神經網絡和基于速率的神經網絡的權重學習規則可包括以下各項中的至少一項:STDP規則、Hebb規則、Oja規則、或Bienenstock-Cooper-Munro (BCM)規則。
[0051]圖6解說了根據本公開的某些方面的利用通用處理器602來實現上述概率性存儲器使用的示例軟件實現600。與計算網絡(神經網絡)的每個處理單元(神經元)相關聯的現有權重可被存儲在存儲器塊604中，而與正在通用處理器602處執行的概率性存儲器使用有關的指令可從程序存儲器606加載。根據本公開的某些方面，所加載的指令可包括用于以下操作的代碼:對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新。此外，所加載的指令可包括用于以下操作的代碼:對于這些突觸中的每一者，基于權重的更新按概率性方式來切換存儲器塊604內與該突觸相關聯的位置的二進制狀態。
[0052]圖7解說了根據本公開的某些方面的上述概率性存儲器使用的示例實現700，其中權重存儲器702經由互連網絡704與計算網絡(神經網絡)的各個體(分布式)處理單元(神經元)706對接。與處理單元706相關聯的至少一個現有權重可經由互連網絡704的(諸)連接從存儲器702加載到該處理單元706中。處理單元706可被配置成對于神經網絡中與該處理單元(神經元)706相關聯的多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新。此外,處理單元706可被配置成對于這些突觸中的每一者，基于權重的更新按概率性方式來切換存儲器702內與該突觸相關聯的位置的二進制狀態。
[0053]圖8解說了根據本公開的某些方面的基于分布式權重存儲器802和分布式處理單元804的上述概率性存儲器使用的示例實現800。如圖8中所解說的，一個權重存儲器組802可以與計算網絡(神經網絡)的一個處理單元(神經元)804直接對接，其中該存儲器組802可存儲與該處理單元804相關聯的至少一個現有權重。處理單元804可被配置成對于神經網絡中與該處理單元(神經元)804相關聯的多個突觸中的每個突觸，根據學習規則計算該突觸的權重的更新。此外，處理單元804可配置成對于這些突觸中的每一者，基于權重的更新，按概率性方式切換存儲器組802內與該特定處理單元(神經元)804相關聯的該突觸的存儲器位置的二進制狀態。
[0054]盡管針對尖峰神經網絡示出了本文的各實施例，但將這些概念用于其他神經網絡類型(包括但不限于基于速率的神經網絡)同樣在本公開的范圍內。
[0055]以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路(ASIC)或處理器。一般而言，在附圖中解說操作的場合，那些操作可具有帶相似編號的相應配對裝置加功能組件。例如，圖5中所解說的操作500對應于圖5A中所解說的組件500A。
[0056]如本文所使用的，術語“確定”涵蓋各種各樣的動作。例如，“確定”可包括演算、計算、處理、推導、研究、查找(例如，在表、數據庫或其他數據結構中查找)、探知及類似動作等。而且，“確定”可包括接收(例如，接收信息)、訪問(例如，訪問存儲器中的數據)及類似動作等。而且，“確定”還可包括解析、選擇、選取、確立及類似動作等。
[0057]如本文中所使用的，引述一列項目中的“至少一個”的短語是指這些項目的任何組合，包括單個成員。作為示例，“a、b或c中的至少一個”旨在涵蓋:a、b、C、a_b、a_c、b_c、以及a_b_c。
[0058]上面描述的方法的各種操作可由能夠執行這些操作的任何合適的裝置來執行，諸如各種硬件和/或軟件組件、電路、和/或模塊。一般而言，在附圖中所解說的任何操作可由能夠執行這些操作的相對應的功能性裝置來執行。
[0059]結合本公開所描述的各種解說性邏輯框、模塊、以及電路可用設計成執行本文所描述功能的通用處理器、數字信號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器或狀態機。處理器還可以被實現為計算設備的組合，例如DSP與微處理器的組合、多個微處理器、與DSP核心協同的一個或多個微處理器或任何其它此類配置。
[0060]結合本公開描述的方法或算法的步驟可直接在硬件中、在由處理器執行的軟件模塊中、或在這兩者的組合中實施。軟件模塊可駐留在本領域所知的任何形式的存儲介質中。可使用的存儲介質的一些示例包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃存、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動盤、⑶-R0M，等等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個存儲介質分布。存儲介質可被耦合到處理器以使得該處理器能從/向該存儲介質讀寫信息。替換地，存儲介質可以被整合到處理器。
[0061]本文所公開的方法包括用于達成所描述的方法的一個或多個步驟或動作。這些方法步驟和/或動作可以彼此互換而不會脫離權利要求的范圍。換言之，除非指定了步驟或動作的特定次序，否則具體步驟和/或動作的次序和/或使用可以改動而不會脫離權利要求的范圍。
[0062]所描述的功能可在硬件、軟件、固件或其任何組合中實現。如果在軟件中實現，則各功能可作為一條或多條指令或代碼存儲在計算機可讀介質上或藉其進行傳送。計算機可讀介質包括計算機存儲介質和通信介質兩者，這些介質包括促成計算機程序從一地向另一地轉移的任何介質。存儲介質可以是能被計算機訪問的任何可用介質。作為示例而非限定，這樣的計算機可讀介質可包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲、磁盤存儲或其他磁存儲設備、或能被用來攜帶或存儲指令或數據結構形式的期望程序代碼且能被計算機訪問的任何其他介質。任何連接也被正當地稱為計算機可讀介質。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數字訂戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、服務器、或其他遠程源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在介質的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(⑶)、激光碟、光碟、數字多用碟(DVD)、軟盤、和藍光?碟，其中盤(disk)常常磁性地再現數據，而碟(disc)用激光來光學地再現數據。因此，在一些方面，計算機可讀介質可包括非瞬態計算機可讀介質(例如，有形介質)。另外，對于其他方面，計算機可讀介質可包括瞬態計算機可讀介質(例如，信號)。以上的組合也應被包括在計算機可讀介質的范圍內。
[0063]因此，某些方面可包括用于執行本文中給出的操作的計算機程序產品。例如，此種計算機程序產品可包括其上存儲(和/或編碼)有指令的計算機可讀介質，這些指令能由一個或多個處理器執行以執行本文中所描述的操作。對于某些方面，計算機程序產品可包括包裝材料。
[0064]軟件或指令還可以在傳輸介質上傳送。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數字訂戶線(DSL)、或諸如紅外、無線電、以及微波等無線技術從web站點、服務器或其它遠程源傳送而來的，則該同軸電纜、光纖電纜、雙絞線、DSL、或諸如紅外、無線電以及微波等無線技術就被包括在傳輸介質的定義里。
[0065]此外，應當領會，用于執行本文中所描述的方法和技術的模塊和/或其它恰適裝置能由用戶終端和/或基站在適用的場合下載和/或以其他方式獲得。例如，此類設備能被耦合至服務器以促成用于執行本文中所描述的方法的裝置的轉移。替換地，本文所述的各種方法能經由存儲裝置(例如，RAM、R0M、諸如壓縮碟(CD)或軟盤等物理存儲介質等)來提供，以使得一旦將該存儲裝置耦合至或提供給用戶終端和/或基站，該設備就能獲得各種方法。此外，能利用適于向設備提供本文中所描述的方法和技術的任何其他合適的技術。
[0066]應該理解的是，權利要求并不被限定于以上所解說的精確配置和組件。可在以上所描述的方法和設備的布局、操作和細節上作出各種改動、更換和變形而不會脫離權利要求的范圍。
[0067]盡管上述內容針對本公開的各方面，然而可設計出本公開的其他和進一步的方面而不會脫離其基本范圍，且其范圍是由所附權利要求來確定的。
【權利要求】
1.一種在存儲器中存儲信息的方法，包括: 對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重更新；以及對于所述多個突觸中的每一者，基于所述權重更新按概率性方式切換所述存儲器內與這一突觸相關聯的位置的二進制狀態。
2.如權利要求1所述的方法，其特征在于，按概率性方式切換所述二進制狀態包括: 基于所述權重更新以一概率生成脈沖；以及 使用所述脈沖來切換所述存儲器位置的所述二進制狀態。
3.如權利要求2所述的方法，其特征在于，所述概率與所述權重更新的絕對值成比例。
4.如權利要求2所述的方法，其特征在于，所述切換的方向基于所述權重更新的符號。
5.如權利要求1所述的方法，其特征在于: 所述權重更新的絕對值決定流經所述存儲器位置的電流的幅度， 所述權重更新的符號決定流經所述存儲器位置的電流的方向，并且所述方法還包括: 基于所述方向以一概率來切換所述存儲器位置的二進制狀態。
6.如權利要求5所述的方法，其特征在于，所述概率與所述電流的幅度成比例。
7.如權利要求1所述的方法，其特征在于，所述存儲器包括概率性非易失性二進制存儲器。
8.如權利要求7所述的方法，其特征在于，所述概率性非易失性二進制存儲器包括自旋轉移矩(STT)存儲器。
9.如權利要求1所述的方法，其特征在于，所述學習規則包括尖峰神經網絡和基于速率的神經網絡的權重學習規則。
10.如權利要求9所述的方法，其特征在于，所述尖峰神經網絡和基于速率的神經網絡的權重學習規則包括以下各項中的至少一項:取決于尖峰定時的可塑性(STDP)規則、Hebb規則、Oja 規則、或 Bienenstock-Cooper-Munro (BCM)規則。
11.一種用于在存儲器中存儲信息的裝置，包括: 第一電路，所述第一電路被配置成對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重更新；以及 第二電路，所述第二電路被配置成對于所述多個突觸中的每一者，基于所述權重更新按概率性方式來切換所述存儲器內與這一突觸相關聯的位置的二進制狀態。
12.如權利要求11所述的裝置，其特征在于，所述第二電路還被配置成: 基于所述權重更新以一概率生成脈沖；以及 使用所述脈沖來切換所述存儲器位置的二進制狀態。
13.如權利要求12所述的裝置，其特征在于，所述概率與所述權重更新的絕對值成比例。
14.如權利要求12所述的裝置，其特征在于，所述切換的方向基于所述權重更新的符號。
15.如權利要求11所述的裝置，其特征在于: 所述權重更新的 絕對值決定流經所述存儲器位置的電流的幅度， 所述權重更新的符號決定流經所述存儲器位置的電流的方向，并且所述第二電路還被配置成:基于所述方向以一概率來切換所述存儲器位置的二進制狀態。
16.如權利要求15所述的裝置，其特征在于，所述概率與所述電流的幅度成比例。
17.如權利要求11所述的裝置，其特征在于，所述存儲器包括概率性非易失性二進制存儲器。
18.如權利要求17所述的裝置，其特征在于，所述概率性非易失性二進制存儲器包括自旋轉移矩(STT)存儲器。
19.如權利要求11所述的裝置，其特征在于，所述學習規則包括尖峰神經網絡和基于速率的神經網絡的權重學習規則。
20.如權利要求19所述的裝置，其特征在于，所述尖峰神經網絡和基于速率的神經網絡的權重學習規則包括以下各項中的至少一項:取決于尖峰定時的可塑性(STDP)規則、Hebb 規則、Oja 規則、或 Bienenstock-Cooper-Munro (BCM)規則。
21.一種用于在存儲器中存儲信息的設備，包括: 用于對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重更新的裝置；以及 用于對于所述多個突觸中的每一者，基于所述權重更新按概率性方式切換所述存儲器內與這一突觸相關聯的位置的二進制狀態的裝置。
22.如權利要求21所述的設備，其特征在于，所述用于按概率性方式切換所述二進制狀態的裝置包括: 用于基于所述權重更新以一概率生成脈沖的裝置；以及 用于使用所述脈沖來切換所述存儲器位置的二進制狀態的裝置。
23.如權利要求22所述的設備，其特征在于，所述概率與所述權重更新的絕對值成比例。
24.如權利要求22所述的設備，其特征在于，所述切換的方向基于所述權重更新的符號。
25.如權利要求21所述的設備，其特征在于: 所述權重更新的絕對值決定流經所述存儲器位置的電流的幅度， 所述權重更新的符號決定流經所述存儲器位置的電流的方向，并且所述設備還包括: 用于基于所述方向以一概率來切換所述存儲器位置的二進制狀態的裝置。
26.如權利要求25所述的設備，其特征在于，所述概率與所述電流的幅度成比例。
27.如權利要求21所述的設備，其特征在于，所述存儲器包括概率性非易失性二進制存儲器。
28.如權利要求27所述的設備，其特征在于，所述概率性非易失性二進制存儲器包括自旋轉移矩(STT)存儲器。
29.如權利要求21所述的設備，其特征在于，所述學習規則包括尖峰神經網絡和基于速率的神經網絡的權重學習規則。
30.如權利要求29所述的設備，其特征在于，所述尖峰神經網絡和基于速率的神經網絡的權重學習規則包括以下各項中的至少一項:取決于尖峰定時的可塑性(STDP)規則、Hebb 規則、Oja 規則、或 Bienenstock-Cooper-Munro (BCM)規則。
31.一種用于在存儲器中存儲信息的計算機程序產品，包括用于以下操作的代碼的計算機可讀介質: 對于神經網絡中多個突觸中的每個突觸，根據學習規則計算該突觸的權重更新；以及 對于所述多個突觸中的每一者，基于所述權重更新按概率性方式來切換所述存儲器內與這一突觸相關聯的位置的二進制狀態。
32.如權利要求31所述的計算機程序產品，其特征在于，所述計算機可讀介質還包括用于以下操作的代碼: 基于所述權重更新以一概率生成脈沖；以及 使用所述脈沖來切換所述存儲器位置的二進制狀態。
33.如權利要求32所述的計算機程序產品，其特征在于，所述概率與所述權重更新的絕對值成比例。
34.如權利要求32所述的計算機程序產品，其特征在于，所述切換的方向基于所述權重更新的符號。
35.如權利要求31所述的計算機程序產品，其特征在于: 所述權重更新的絕對值決定流經所述存儲器位置的電流的幅度， 所述權重更新的符 號決定流經所述存儲器位置的電流的方向，并且所述計算機可讀介質還包括用于以下操作的代碼: 基于所述方向以一概率切換所述存儲器位置的二進制狀態。
36.如權利要求35所述的計算機程序產品，其特征在于，所述概率與所述電流的幅度成比例。
37.如權利要求31所述的計算機程序產品，其特征在于，所述存儲器包括概率性非易失性二進制存儲器。
38.如權利要求37所述的計算機程序產品，其特征在于，所述概率性非易失性二進制存儲器包括自旋轉移矩(STT)存儲器。
39.如權利要求31所述的計算機程序產品，其特征在于，所述學習規則包括尖峰神經網絡和基于速率的神經網絡的權重學習規則。
40.如權利要求39所述的計算機程序產品，其特征在于，所述尖峰神經網絡和基于速率的神經網絡的權重學習規則包括以下各項中的至少一項:取決于尖峰定時的可塑性(STDP)規則、Hebb 規則、Oja 規則、或 Bienenstock-Cooper-Munro (BCM)規則。
【文檔編號】G06N3/04GK103917992SQ201280054886
【公開日】2014年7月9日 申請日期:2012年11月6日 優先權日:2011年11月9日
【發明者】V·阿帕林 申請人:高通股份有限公司