圖像處理設備、圖像處理方法和程序的制作方法
【專利摘要】本發明提供了計算具有高可靠度的全局運動向量(GMV)的方法和裝置。計算對應于塊的局部運動向量(LMV)、以及作為每個塊的LMV的可靠度指標的塊權重，并根據塊權重計算全局運動向量(GMV)。針對關注塊和與關注塊鄰近的鄰近塊計算對應于塊的局部運動向量(LMV)的可靠度，還計算關注塊和鄰近塊的局部運動向量(LMV)的相似度，并通過應用可靠度和相似度執行的計算處理來計算塊權重。通過該特征，可以高效地計算具有高可靠度的全局運動向量(GMV)。
【專利說明】圖像處理設備、圖像處理方法和程序
【技術領域】
[0001]本公開涉及一種圖像處理設備、圖像處理方法和程序。具體地，本公開涉及用于執行檢測圖像中的運動向量的處理的圖像處理設備、圖像處理方法和程序。
【背景技術】
[0002]在諸如運動圖像的壓縮的圖像編碼中，檢測運動向量，并執行基于運動向量信息的數據壓縮處理。在被稱作圖像編碼系統的MPEG系統中，例如，執行將每個幀分割成塊并針對當前幀和參考幀的對應塊中的每個塊檢測運動向量的處理。然而，當塊單位的運動向量信息包括在壓縮數據中時，數據量增大。當通過例如平搖、傾斜和手抖等來移動攝像裝置時，各個塊的多數運動向量是共同的。在這種情況下，可以通過不設置塊單位的運動向量而是設置對應于單個幀的單個運動向量并執行編碼處理，來減少數據量。
[0003]塊單位的單獨的運動向量被稱作局部運動向量(LMV)，并且對應于單個幀的單個運動向量被稱作全局運動向量(GMV)。例如在MPEG-4中采用使用全局運動向量(GMV)的數據編碼。
[0004]例如，如圖1(a)所示，存在在時間t0和tl處拍攝的兩個幀圖像10和11。這兩個幀是通過例如平搖、傾斜、手抖等移動攝像裝置而拍攝的幀，并且如附圖所示拍攝圖像整體地移動。
[0005]當對這種圖像進行編碼時，每個幀被分割成例如n像素Xn像素的多個塊。常規地，通過檢測各個塊單位的運動向量(MV)，S卩，局部運動向量(LMV)，執行使用塊單位的各個運動向量的數據壓縮和恢復處理。然而，當通過平搖、傾斜、手抖等移動攝像裝置時，如圖1 (b)所示,任何每個塊的運動向量變為基本上相同的向量。
[0006]在這種情況下，如圖1(c)所示，通過執行使用表示整個屏幕的運動的單個運動向量21的圖像編碼，可以極大提高編碼效率。表示整個屏幕的運動的這樣的向量被稱作全局運動向量(GMV)。
[0007]全局運動向量(GMV)可以被表示為下述數據:所述數據使用不僅伴隨有簡單的平行移動而且伴隨有使用多個參數的旋轉、放大和縮小的仿射變換和投影陰影變換(projection shadow transformation)的數據,如附圖所示。如上所述,作為應用全局運動向量(GMV)的編碼方法，采用MPEG-4等。
[0008]在MPEG-4中，應用全局運動向量(GMV)，采用使用全局運動補償(GMC)的圖像編碼方法作為標準，在編碼裝置(編碼器)側檢測全局運動向量(GMV)，并通過使用從解碼裝置(解碼器)側傳送的全局運動向量(GMV)執行基于全局運動補償(GMC)的恢復。
[0009]全局運動向量(GMV)在圖2所示的當前幀與參考幀之間的對應相似像素位置(x，y)和(x’，y’)的關系中被表示為使用平行移動、旋轉、放大、縮小、仿射變換、投影陰影變換等的數據，并且通常單個全局運動向量(GMV)被應用于單個幀圖像。應注意，屏幕可以被分割成均具有例如大于正常塊大小的片(Piece)，并且可以針對各個片設置全局運動向量(GMV)。也就是，對于幀圖像，全局運動向量(GMV)的數目不限于一個，并且可以采用下述配置:其中針對幀圖像中包括的多個塊設置作為共同運動向量的單個全局運動向量(GMV)，或針對單個幀設置多個全局運動向量(GMV)。
[0010]在僅表示例如平行移動(平移)的向量的情況下，全局運動向量(GMV)通過使用兩個參數Iiatl, aj表示如下。
[0011]
【權利要求】
1.一種圖像處理設備，包括: 局部運動向量計算部，其將作為幀圖像的分割區域的塊設置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應于每個設置的塊的運動向量作為局部運動向量(LMV)； 塊權重計算部，其把塊權重計算為對應于每個塊的所述局部運動向量(LMV)的可靠性指標；以及 全局運動向量計算部，其輸入所述局部運動向量(LMV)和所述塊權重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，所述塊權重計算部計算與目標塊和與所述目標塊鄰近的近場塊中的每個塊對應的所述局部運動向量(LMV)的可靠度、以及所述目標塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，并通過應用所述可靠度和所述相似度的算術處理來計算所述塊權重。
2.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部提取所述可靠度高的近場塊作為可靠近場塊，從所述可靠近場塊之中提取所述相似度高的相似塊，并執行將所述相似塊與所述可靠近場塊之比設置為所述目標塊的權重的處理。
3.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部通過應用基于對應于各個塊的所述局部運動向量(LMV)而關聯的塊之間的絕對像素值差之和來計算所述可靠度。
4.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部通過應用基于對應于各個塊的所述局部運動向量(L MV)而關聯的塊的特征點數目或方差來計算所述可靠度。
5.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部通過確定所述目標塊和所述近場塊的每個局部運動向量(LMV)是否近似于對應于一個全局運動的旋轉的運動向量(GMV)，來執行所述相似度的計算。
6.根據權利要求5所述的圖像處理設備，其中，所述塊權重計算部通過在考慮到所述圖像處理設備中的圖像校正部能夠校正旋轉的容許旋轉角度的情況下確定所述目標塊和所述近場塊的每個局部運動向量(LMV)是否在所述容許旋轉角度內近似于對應于所述全局運動的旋轉的運動向量(GMV)，來執行所述相似度的計算。
7.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部通過使所述目標塊的可靠度與將下述值的相加的結果除以所述近場塊的可靠度的相加值的結果相乘來計算所述塊權重:所述值是通過將所述目標塊與所述近場塊之間的相似度與所述近場塊的可靠度相乘而獲得的。
8.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部計算將下述值的相加的結果除以所述近場塊的可靠度的相加值的結果以作為所述塊權重:所述值是通過使所述目標塊與所述近場塊之間的相似度與近場塊的可靠度相乘而獲得的。
9.根據權利要求1所述的圖像處理設備，其中，所述塊權重計算部計算將所述目標塊與所述近場塊之間的相似度的相加值除以所述近場塊的可靠度的相加值的結果以作為所述塊權重。
10.根據權利要求1所述的圖像處理設備，其中，所述全局運動向量計算部通過應用成本計算表達式來計算用于使成本最小化的所述全局運動向量(GMV)的參數，其中對應于各個塊的所述局部運動向量(LMV)和各個塊權重被應用于所述成本計算表達式。
11.根據權利要求10所述的圖像處理設備，其中，所述全局運動向量計算部計算考慮了平移和旋轉的三軸順應的全局運動向量的參數、或考慮了仿射變換的六軸順應的全局運動向量的參數。
12.—種由圖像處理設備執行的圖像處理方法，所述圖像處理方法包括: 局部運動向量計算步驟，其中局部運動向量計算部將作為幀圖像的分割區域的塊設置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應于每個設置的塊的運動向量作為局部運動向量(LMV)； 塊權重計算步驟，其中塊權重計算部把塊權重計算為對應于每個塊的所述局部運動向量(LMV)的可靠性指標；以及 全局運動向量計算步驟，其中全局運動向量計算部輸入所述局部運動向量(LMV)和所述塊權重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，在所述塊權重計算步驟中，所述塊權重計算部計算與目標塊和與所述目標塊鄰近的近場塊中的每個塊對應的所述局部運動向量(LMV)的可靠度、以及所述目標塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，并通過應用所述可靠度和所述相似度的算術處理來計算所述塊權重。
13.一種程序，所述程序使圖像處理設備執行圖像處理: 局部運動向量計算步驟，使局部運動向量計算部將作為幀圖像的分割區域的塊設置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應于每個設置的塊的運動向量作為局部運動向量(LMV)； 塊權重計算步驟，使塊權重計算部把塊權重計算為對應于每個塊的所述局部運動向量(LMV)的可靠性指標；以及 全局運動向量計算步驟，使全局運動向量計算部輸入所述局部運動向量(LMV)和所述塊權重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，在所述塊 權重計算步驟中，通過計算與目標塊和與所述目標塊鄰近的近場塊中的每個塊對應的所述局部運動向量(LMV)的可靠度、以及所述目標塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，通過應用所述可靠度和所述相似度的算術處理來計算所述塊權重。
【文檔編號】H04N19/51GK103765898SQ201280040885
【公開日】2014年4月30日 申請日期:2012年7月23日 優先權日:2011年9月2日
【發明者】玉山研, 半田正樹, 江山碧輝 申請人:索尼公司