基于分類頻率敏感三維自組織映射的視差估計方法
【專利摘要】本發明公開一種基于分類頻率敏感三維自組織映射的視差估計方法，先由FS?3DSOM算法對視差圖的低亮度區域和高亮度區域分別進行訓練，得到最佳匹配的低亮度模式庫和高亮度模式庫，然后對待估計視差圖的低亮度區域和高亮度區域分別進行視差模式識別，得到視差預測圖，完成視差估計。本發明所得到的視差預測圖的質量更好，并且計算量小。
【專利說明】
基于分類頻率敏感三維自組織映射的視差估計方法
技術領域
[0001] 本發明涉及圖像處理技術領域，具體涉及一種基于分類頻率敏感三維自組織映射 的視差估計方法。
【背景技術】
[0002] 視差估計作為立體視頻編碼的關鍵技術，已經得到越來越多的重視和關注，各種 算法也相繼提出。傳統視差估計算法大致可分為兩大類，一類是基于區域的視差估計，即把 圖像中的某一點或某一塊作為基本匹配單元，在另一幅圖像中搜索對應的點或塊，從而得 到各個點的視差，這類算法可以得到稠密的視差估計。根據匹配策略的不同，基于區域的視 差估計可以分為局部法和全局法。代表性的局部法是基于塊的方法，實現復雜度低。代表性 的全局算法有動態規劃法、圖割法和置信度傳播法等。全局法能得到比局部法更好的結果， 但是其計算復雜度高，不便于硬件實現。另一類是基于特征的視差估計，即利用圖像的自身 特征來實現匹配，這些特征包括一些特征點（如SIFT關鍵點等)或幾何結構。此類算法只能 得到稀疏的視差估計，且特征的提取比較復雜。可見，目前視差估計技術仍未成熟，沒有一 種具有普適性的視差估計方法，而且計算量巨大。
【發明內容】
[0003] 本發明所要解決的技術問題是提供一種基于分類頻率敏感三維自組織映射的視 差估計方法，該方法能提高視差預測圖像的質量。
[0004] 為解決上述問題，本發明是通過以下技術方案實現的：
[0005] 基于分類頻率敏感三維自組織映射的視差估計方法，包括如下步驟：
[0006] 步驟1、先對視差序列樣本的每幀圖像分塊，每個圖像塊為一個訓練矢量，再根據 亮度大小將訓練矢量進行分類，每個分類形成一個訓練矢量集；
[0007] 步驟2、分別每個分類的訓練矢量集進行以下學習訓練，得到每個分類的最佳匹配 模式庫；
[0008] 步驟2.1、根據設定的三維自組織映射網絡的大小N，從該分類的L個訓練矢量集中 選擇N個訓練矢量來構成該分類的初始模式庫，其中N< <L;該初始模式庫中的訓練矢量稱 為模式矢量，且初始模式庫中的模式矢量排列成三維立體結構；
[0009] 步驟2.2、初始化每個模式矢量的鄰域函數Nj (0)和每個模式矢量的響應計數器Cj;
[0010] 步驟2.3、輸入該分類訓練矢量集中的一個訓練矢量，并分別計算該訓練矢量與其 對應分類的初始模式庫中的各個模式矢量的失真1(0 ^人中選擇出與訓練矢量失真最小 的模式矢量作為獲勝模式矢量；
[0011] = ?.::?/,.(/)
[0012] 其中，< 為頻率敏感函數;S為設定的頻率敏感指數;dj⑴為訓練矢量與模式矢量 的均方誤差；j = 〇，1，…，N-ι，N為設定的三維自組織映射網絡的大小；t = 0，1，…，L-l，L為 該分類訓練矢量集中訓練矢量的個數；
[0013] 步驟2.4、調整獲勝模式矢量及其三維鄰域范圍內的模式矢量；
[0014] 步驟2.5、將獲勝模式矢量的響應計數器累加1，并返回步驟步驟2.3重新選擇一個 訓練矢量，直到輸入完該分類訓練矢量集中所有的訓練矢量，即得到該分類的最佳匹配模 式庫；
[0015] 步驟3、對待估計的視差序列進行分塊和分類處理，得到每個分類的待估計圖庫； 并將待估計圖庫與相同分類的最佳匹配模式庫進行視差模式匹配，得到待估計的視差序列 的預測圖。
[0016] 步驟1中，根據下式將圖像塊分高亮度區域和低亮度區域兩類，
[0017]
[0018] 其中，J(i)為圖像塊的均值，Th為均值判定限值，乂:表示高亮度區域集合，X2表示低 亮度區域集合。
[0019] 步驟2.1中，采用按固定的間隔抽取的方法從L個訓練矢量集中選擇Ν個訓練矢量 來構成該分類的初始模式庫。
[0020] 步驟2.3中，頻率敏感指數s的取值范圍為0 < s < 1。
[0021] 步驟2.4、根據下式調整獲勝模式矢量及其三維鄰域范圍內的模式矢量，
[0022]
[0023]其中，Wj(t+1)為第t+Ι次訓練時的模式矢量，Wj(t)為第t次訓練時的模式矢量，X (t)為訓練矢量，f為獲勝模式矢量，為獲勝模式矢量f在第t次訓練時的鄰域函數，α (t)為第t次訓練時的學習速度函數;上述j = 0，1，…，Ν-1，Ν為設定的三維自組織映射網絡 的大小;t = 0，1，…，L-l，L為所每一類的訓練矢量的個數。
[0024] 步驟3具體為：
[0025] 步驟3.1、先將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊 大小與視差序列樣本的每幀分塊大小相一致;再根據步驟1相同的方法將圖像塊進行分類， 每個分類的圖像塊形成一個待估計圖庫；
[0026] 步驟3.2、針對每個分類的待估計圖庫，根據步驟2.3相同的方法計算該待估計圖 庫中的待估計圖像塊與所對應分類的最佳匹配模式庫中的模式矢量的失真并選擇 具有最小失真的模式矢量作為該待估計圖像塊的預測塊；
[0027] bi(l') = c)h;(i,)
[0028] 其中，c丨為頻率敏感函數，s為設定的頻率敏感指數，bXV )為待估計圖像塊與模式 矢量的均方誤差，j = 〇，1，…，Ν-1，N為設定的三維自組織映射網絡的大小，V = 0，1，…，Κ-? ，K為待估計圖像塊的個數；
[0029] 步驟3.3、對待估計的視差序列的所有待估計圖像快進行步驟3.2的處理，得到待 估計的視差序列的預測圖。
[0030] 與現有技術相比，本發明先由S0M算法對視差圖進行訓練，得到最佳匹配的視差模 式庫，然后對視差圖進行視差模式識別，得到視差預測圖，完成視差估計，所得到的視差預 測圖的質量更好，并且計算量小。
【附圖說明】
[0031] 圖1為視差模式庫的訓練過程。
[0032] 圖2為視差模式識別得到視差預測圖過程。
[0033]圖3為Exit序列視差預測圖像的PSNR分布情況。
[0034]圖4為Vassar序列視差預測圖像的PSNR分布情況。
【具體實施方式】
[0035]下面結合實施例，對本
【發明內容】
作進一步地詳細說明，但本發明的實施方式不限 于此。
[0036] 一種基于分類頻率敏感三維自組織映射的視差估計方法，包括如下步驟：
[0037] 步驟1)構建訓練矢量集，參見圖1。
[0038] 步驟1.1)將視差序列樣本的每幀圖像分割成8X8的子塊，得到總的訓練矢量集。 [0039]步驟1.2)根據亮度大小將圖像塊進行分類。根據需要確定分類數量，在發明中，將 圖像塊分為兩類，即高亮度區域的訓練矢量集和低亮度區域的訓練矢量集。分類的方法可 以采用均分法，即將所有的圖像塊按照均值平均分為兩類，即高亮度區域的訓練矢量集中 含有的訓練矢量個數與低亮度區域的訓練矢量集中含有的訓練矢量個數相同；也可以采用 閾值判定法，即計算訓練矢量x(t)的均值根據下式進行分類：
[0040]
[0041] 其中，Th為高亮度區域和低亮度區域均值判定限值，XjPX2分別表示高亮度區域和 低亮度區域的訓練矢量集。
[0042] 步驟2)構建最佳匹配模式庫，參見圖1。
[0043]根據人腦神經元的組織原理所提出的自組織映射(S0M)算法，是一種具有自組織 特性的人工神經網絡算法。該算法模擬了人腦神經系統對某一圖形或某一頻率特定興奮的 特征，在模式識別和數據挖掘等領域得到了深入的研究和廣泛的應用，是一種高效的數據 聚類方法。S0M算法的核心是尋找最佳分類，即通過對大量的樣本序列的不斷學習和訓練， 從而得到最優匹配的模式庫。
[0044]為了提高視差模式庫的性能，本發明對S0M算法進行了改進，提出了一種三維自組 織映射算法(3DS0M)。三維S0M網絡結構及其算法能有效地將二維輸入映射為三維輸出，從 而實現三維信號的非線性映射。三維S0M網絡將映射層神經元排列成三維立體結構，三維立 體結構的行數、列數和層數可根據應用的需要選取不同的值，排列成不同的三維結構以適 應不同應用;通常三維鄰域形狀可選取球形鄰域、正方形鄰域或正交十字鄰域，選取不同的 三維鄰域形狀對算法的性能有一定的影響。S0M網絡與普通的競爭網絡一樣，對于每個輸入 模式，在映射層都有相應的獲勝節點，獲勝節點代表最相似的模式，該節點及其三維鄰域范 圍內的所有節點均按一定規則調整其權值。與二維平面結構鄰域相比，三維立體結構鄰域 在相等鄰域半徑內的節點數量增多，節點被調整的機會增加，因此，更有利于得到最佳匹配 的模式。用FS-3DS0M算法對高亮度區域訓練矢量集和低亮度區域訓練矢量集分別進行學習 訓練，得到最佳匹配的高亮度模式庫和低亮度模式庫。
[0045] 具體來說，基于FS-3DS0M算法的模式庫訓練步驟如下：
[0046] 步驟2.1)設定S0M網絡大小為(N，M)，其中N、M分別為模式庫的大小和模式庫中模 式矢量的大小。
[0047] 步驟2.2)用隨機法從每個分類的訓練矢量集中選擇N個訓練矢量來構成初始模式 庫，得到初始化模式庫{Wj (0)，j = 0，1，…，N-1}，并將初始模式庫中模式矢量排列成三維立 體結構。其中L>>N。
[0048] 步驟2.3)設置初始化鄰域為Nj(0)，j = 0，1，…，N-1，設置響應計數器Cj = 1，其中j = 0,1,···,Ν-1〇
[0049] 步驟2 · 4)輸入一個訓練矢量{X(t)，t = 0，1，…，L-l}。
[0050] 步驟2.5)將失真測度設定為<(〇=/'^',；)<_(/)5其中以(^)為頻率敏感函數， = 它隨著頻率敏感參數U的增大而單調增大，s為頻率敏感指數。山（t)為均方誤 差，山(t)= | |X(t)-WXt) | |2。分別計算出該訓練矢量與模式庫中各模式矢量的失真丨（0 ( 并選擇獲勝模式矢量f為具有最小失真的模式矢量。
[0051] 步驟2.6)按下式調整獲勝模式矢量f及其三維鄰域iV,力)范圍內的模式矢量，
[0052]
[0053] 其中，⑷為鄰域函數，通常選用單調遞減函數~(0 = 4 +傘μ，知^:分別為獲 勝模式矢量f的最小鄰域和最大鄰域，!^為鄰域衰減常數。在訓練的初始階段，鄰域半徑較 大，而隨著訓練次數的增加，網絡逐漸趨于穩定，只需對獲勝節點進行較細微的權值調整， 因而鄰域半徑不斷縮小。a(Cj)為學習速度函數，它反映了模式矢量調整的幅度大小，一般 選用單調遞減函數式中A2為訓練開始時的最大學習速度，T2為學習衰減常數。
[0054] 步驟2.7)設置返回步驟2.4)，直到訓練完所有的模式矢量。
[0055] 步驟3)對視差圖的高亮度區域和低亮度區域分別進行視差模式匹配，得到每幀的 視差預測圖。參見圖2。
[0056] 對視差序列每幀分塊，塊的大小一般取8X8,然后在對應的視差模式庫中尋找與 子圖像塊最匹配的視差模式作為該子塊圖像的預測塊。對所有子塊圖像進行處理后得到該 幀的視差預測圖。
[0057] 步驟3.1、將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊大 小與視差序列樣本的每幀分塊大小相一致;使用步驟1)中的圖像塊分類步驟將所有塊分為 高亮度塊和低亮度塊。
[0058] 步驟3.2、對于高亮度塊，分別計算每一個圖像塊與高亮度模式庫中各模式矢量的 失真，并選擇具有最小失真的模式矢量作為該圖像塊的預測塊;對于低亮度塊，分別計算每 一個圖像塊與低亮度模式庫中各模式矢量的失真，并選擇具有最小失真的模式矢量作為該 圖像塊的預測塊；
[0059] 采用均方誤差準則即下式來計算上述待估計圖像塊與最佳匹配模式庫中各模式 矢量的失真bW);
[0060] bjCt7 )= | |Y(t7 ) 112
[0061 ]其中，Wj (V )為模式矢量，Y(V )為待估計圖像塊;j = 0，1，…，N-l，N為設定的三維 自組織映射網絡的大小;V =0，1，…，K-1，κ為待估計圖像塊的個數。
[0062] 步驟3.3、對待估計的視差序列的所有圖像進行步驟3.2的處理，得到待估計的視 差序列的預測圖。
[0063] 為了說明本方法的性能，做了大量的仿真實驗，實驗采用標準立體視頻測試序列 Exi t、Vassar的第1、2視點，圖像分辨率為480 X 640，左右視點各8幀。重建圖像品質的客觀 評價采用峰值信噪比
^*EMSE為原始圖像與重建圖像之間的均方誤 差。在基于分類頻率敏感三維自組織映射的立體視頻視差估計(CFS-3DS0M-DPR)方法中，圖 像壓縮比為
式中Μ為模式矢量的維數，Β〇為原始圖像的每像素比特數，BC為模 式矢量地址比特數。例如，模式矢量大小為M = 8 X 8，模式庫大小設為2048，壓縮率為46.5。 在基于塊的視差估計算法中，塊的大小為Μ = 8 X 8，橫向搜索范圍為[-31，32 ]，縱向搜索范 圍為[_15，16]，壓縮率為46.5。
[0064] 圖3和圖4給出了 CFS-3DS0M-DPR方法與基于塊的方法的視差預測圖像的PSNR分布 情況，其中圖3為Exit序列，圖4為Vassar序列。表1給出了CFS-3DS0M-DPR方法與基于塊的方 法的視差預測圖像的平均PSNR對比。由表1可以看出，由CFS-3DS0M-DPR方法得到的視差預 測圖像的平均峰值信噪比(PSNR)較基于塊的方法提高了0.78-1.78dB。
[0065] 表1CFS-3DS0M-DPR算法與基于塊的方法的比較結果(平均峰值信噪比/dB)
[0066]
[0067](與傳統的視差估計方法相比，利用基于分類頻率敏感三維自組織映射的立體視 頻視差估計方法，得到的視差預測圖的質量更好，并且計算量小。
【主權項】
1. 基于分類頻率敏感三維自組織映射的視差估計方法，其特征是，包括如下步驟： 步驟1、先對視差序列樣本的每幀圖像分塊，每個圖像塊為一個訓練矢量，再根據亮度 大小將訓練矢量進行分類，每個分類形成一個訓練矢量集； 步驟2、分別每個分類的訓練矢量集進行以下學習訓練，得到每個分類的最佳匹配模式 庫； 步驟2.1、根據設定的三維自組織映射網絡的大小N，從該分類的L個訓練矢量集中選擇 N個訓練矢量來構成該分類的初始模式庫，其中N<<L;該初始模式庫中的訓練矢量稱為模 式矢量，且初始模式庫中的模式矢量排列成三維立體結構； 步驟2.2、初始化每個模式矢量的鄰域函數Nj (0)和每個模式矢量的響應計數器Cj; 步驟2.3、輸入該分類訓練矢量集中的一個訓練矢量，并分別計算該訓練矢量與其對應 分類的初始模式庫中的各個模式矢量的失真從中選擇出與訓練矢量失真最小的模 式矢量作為獲勝模式矢量；其中，^為頻率敏感函數;s為設定的頻率敏感指數;山(t)為訓練矢量與模式矢量的均 方誤差；j = 〇，1，…，N-I，N為設定的三維自組織映射網絡的大小；t = 0，1，…，L-I，L為該分 類訓練矢量集中訓練矢量的個數； 步驟2.4、調整獲勝模式矢量及其三維鄰域范圍內的模式矢量； 步驟2.5、將獲勝模式矢量的響應計數器累加1，并返回步驟步驟2.3重新選擇一個訓練 矢量，直到輸入完該分類訓練矢量集中所有的訓練矢量，即得到該分類的最佳匹配模式庫； 步驟3、對待估計的視差序列進行分塊和分類處理，得到每個分類的待估計圖庫；并將 待估計圖庫與相同分類的最佳匹配模式庫進行視差模式匹配，得到待估計的視差序列的預 測圖。2. 根據權利要求1所述基于分類頻率敏感三維自組織映射的視差估計方法，其特征是， 步驟1中，根據下式將圖像塊分高亮度區域和低亮度區域兩類，其中，為圖像塊的均值，Th為均值判定限值，乂:表示高亮度區域集合，X2表示低亮度 區域集合。3. 根據權利要求1所述基于分類頻率敏感三維自組織映射的視差估計方法，其特征是， 步驟2.1中，采用按固定的間隔抽取的方法從L個訓練矢量集中選擇N個訓練矢量來構成該 分類的初始模式庫。4. 根據權利要求1所述基于分類頻率敏感三維自組織映射的視差估計方法，其特征是， 步驟2.3中，頻率敏感指數s的取值范圍為0 < s < 1。5. 根據權利要求1所述基于分類頻率敏感三維自組織映射的視差估計方法，步驟2.4、 根據下式調整獲勝模式矢量及其三維鄰域范圍內的模式矢量，其中，Wj (t+1)為第t+1次訓練時的模式矢量，Wj (t)為第t次訓練時的模式矢量，X⑴為 訓練矢量，f為獲勝模式矢量，為獲勝模式矢量f在第t次訓練時的鄰域函數，a(t)為 第t次訓練時的學習速度函數;上述j = O，1，…，N-1，N為設定的三維自組織映射網絡的大 小;t = O，1，…，L-I，L為所每一類的訓練矢量的個數。6.根據權利要求1~5中所述基于分類頻率敏感三維自組織映射的視差估計方法，步驟 3具體為： 步驟3.1、先將待估計的視差序列的每幀分塊，其中待估計的視差序列的每幀分塊大小 與視差序列樣本的每幀分塊大小相一致;再根據步驟1相同的方法將圖像塊進行分類，每個 分類的圖像塊形成一個待估計圖庫； 步驟3.2、針對每個分類的待估計圖庫，根據步驟2.3相同的方法計算該待估計圖庫中 的待估計圖像塊與所對應分類的最佳匹配模式庫中的模式矢量的失真并選擇具有 最小失真的模式矢量作為該待估計圖像塊的預測塊；其中，S為頻率敏感函數，s為設定的頻率敏感指數，bKt')為待估計圖像塊與模式矢量 的均方誤差，j = 〇，1，…，N-I，N為設定的三維自組織映射網絡的大小，V = O，1，…，K-I，K為 待估計圖像塊的個數； 步驟3.3、對待估計的視差序列的所有待估計圖像快進行步驟3.2的處理，得到待估計 的視差序列的預測圖。
【文檔編號】H04N13/00GK105933691SQ201610317515
【公開日】2016年9月7日
【申請日】2016年5月13日
【發明人】黎洪松, 程福林
【申請人】桂林電子科技大學