基于主動學習的madaline神經網絡樣本選擇方法及系統的制作方法
【技術領域】
[0001] 本發明涉及MADALINE神經網絡設計時的學習樣本的選擇方法及其系統，尤其涉及 可有效提高神經網絡分類效率的基于主動學習的學習樣本選擇方法及其裝置，屬于智能科 學與技術中的機器學習技術領域。
【背景技術】
[0002] MADALINE神經網絡是一種輸入、輸出和激活函數的輸入輸出都是離散值的一類神 經網絡。在設計MADALINE神經網絡分類器時，訓練樣本的標記一般是由專家來完成的，這往 往要花費大量的金錢和時間代價。以往選擇需要標記的樣本時，一般是從已獲得的無標號 樣本中隨機抽取的。這樣訓練出一個分類器往往需要大量的標記過的樣本，需要花費很大 的人力物力，而且容易使得訓練時間延長。
[0003] 主動學習技術是將無標記的樣本經過某種準則的篩選，得到的樣本使用人工進行 標記。這些標記的樣本加入到訓練集中。分類器經過這些訓練集樣本的訓練，能更好地改進 其性能。主動學習技術的關鍵是如何構造一個好的篩選準則，使得使用盡量少的標記樣本 得到盡量好的分類器分類性能。
[0004] 主動學習算法中比較有影響的篩選準則主要有：1)不確定性采樣準則:在這個準 則中，設計者認為根據信息論的知識，樣本的香農熵越大說明樣本所含的信息量越大。選擇 信息量越大的樣本對改進分類器的性能越好。而樣本的熵越大說明這個樣本的類別越不確 定，故名不確定性采樣。在這個指導思想下又衍生出很多種算法，比如選擇最靠近邊界的樣 本算法，選擇各個類別后驗概率差最小算法等等。2)委員會機器準則:使用已有的訓練集利 用不同的復雜度訓練出一族分類器，由這一族分類器對未標記的樣本分別進行分類，挑選 這些分類器分類標號最不確定的樣本。3)期望誤差減少法:這種算法以減少分類誤差為準 則挑選樣本。相對來講這個算法對減少分類誤差最為直接，也比較容易理解。但這種算法復 雜度特別高，對于很多比較復雜的問題不適用。上述這些準則都能應用到神經網絡分類器 中。
[0005] 以上篩選準則大致上集中在樣本的不確定性或者分類器的誤差方面。能不能在其 它方面構造準則，實現較好的篩選效果？
【發明內容】
[0006] 發明目的:本發明的首要目的在于提供一種以MADALINE神經網絡敏感性為基準的 主動學習方法和系統，從而有效提高MADALINE神經網絡分類器的分類性能。
[0007] 技術方案:一種基于主動學習的MADALINE神經網絡樣本選擇方法，包括以下步驟：
[0008] 1)從未經標記的訓練樣本中隨機選取一小部分樣本進行標記以形成訓練樣本集； [0009] 2)利用訓練樣本集訓練神經網絡，得到經過訓練的分類器；
[0010] 3)計算未經標記的樣本在已有分類器下的敏感性，利用敏感性得到一批在已有分 類器中比較敏感的樣本；
[0011] 4)將所得比較敏感的樣本加入到已有訓練樣本集中，得到新的訓練樣本集，并利 用新的訓練樣本集訓練神經網絡，得到新的分類器；
[0012] 5)利用測試樣本集對步驟4)得到的新的分類器進行測試，若測試結果滿足用戶要 求則結束樣本選擇，若所述測試結果不滿足用戶要求則回到步驟3)，重復步驟3)~5)，直到 分類器性能達到要求為止。
[0013] 一種基于主動學習的MADALINE神經網絡樣本選擇系統，包括：
[0014] 訓練樣本集形成模塊，其請求用戶從未經標記的訓練樣本中隨機選取一小部分樣 本進行標記以形成訓練樣本集；
[0015] 訓練模塊，其利用已有訓練樣本集訓練神經網絡，得到經過訓練的分類器；
[0016] 判定模塊，其計算未經標記的樣本在已有分類器下的敏感性，根據計算結果挑選 出一批在已有分類器中比較敏感的樣本；
[0017] 訓練樣本集更新模塊，其將判斷模塊挑選出的比較敏感的樣本加入到已有訓練樣 本集中，得到新的訓練樣本集；
[0018] 測試模塊，利用測試樣本集對得到的分類器進行測試;若測試結果滿足用戶要求 則結束樣本選擇，若所述測試結果不滿足用戶要求則命令判定模塊和訓練樣本集更新模塊 繼續執行，直到分類器性能達到要求為止。
[0019] 本發明采用上述技術方案，具有以下有益效果：
[0020] (1)本發明在選擇訓練樣本時采用了一種新穎的主動學習方法，相對于被動學習 算法而言，所需選擇標記的訓練樣本數量大大減少，降低了標記樣本所耗費的時間和代價， 且有效提高了前向神經網絡的分類效果。
[0021] (2)根據本發明通過挑選敏感性大的樣本點，來尋找在其周圍變化劇烈的樣本點， 這些樣本點往往對訓練分類器是重要的。通過這樣的方法可以有效減少需要標記樣本點的 數量，減少標記的代價并提高分類器的性能。
【附圖說明】
[0022] 圖1為MADALINE神經網絡結構圖；
[0023]圖2為本發明【具體實施方式】的基于主動學習的MADALINE神經網絡樣本選擇方法流 程圖。
【具體實施方式】
[0024]下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用于說明本發明 而不用于限制本發明的范圍，在閱讀了本發明之后，本領域技術人員對本發明的各種等價 形式的修改均落于本申請所附權利要求所限定的范圍。
[0025]現以MADALINE神經網絡為例，說明根據本發明的前向神經網絡樣本選擇方法。然 而，本領域的技術人員應理解，本發明不限于MADALINE神經網絡，而是可以應用于其它前向 離散神經網絡。
[0026] MADALINE是一種全連接的前向神經網絡，適用于目標的分類。MADALINE的結構如 圖1所示，它是一種三層前向網絡:輸入層MA由輸入模式節點組成，Xl表示輸入模式向量的 第i個分量(i = l，2, . . .，n);第二層是隱含層MB，它由m個節點bj(j = l，2,. . .，m)組成。第三 層是輸出層MC，匕由p個~p點〇<(1<: = 1，2，· · ·，p)組成。
[0027] 對于上述MADALINE神經網絡的訓練在這里采用標準MRII學習算法。
[0028] 下面我們定義上述神經網絡的敏感性。
[0029] 當神經網絡訓練完成后，它的映射關系也就確定了。設映射關系函數為