圖像處理裝置的制作方法

本發明涉及圖像處理裝置，使用壓縮視頻中包含的運動矢量來檢測圖像的邊緣成分。

背景技術：

圖像的邊緣(輪廓)檢測技術作為在圖像識別等中使用的特征量檢測的手段已廣為人知。通常，關于邊緣檢測已知有將圖像的亮度梯度(gradient)取極值的像素作為邊緣的方法。另外，為了消除噪聲的影響，作為預處理往往實施sobel濾波等平滑處理。

另一方面，對利用數字攝像機等拍攝的動態圖像進行旨在容量壓縮的編碼處理并保存。關于編碼手段，例如可以舉出在dvd(digitalversatiledisc：數字通用化光盤)-video中采用的被稱為mpeg-2(movingpictureexpertsgroup：運動圖像專家組)的方式、在面向便攜終端的地面數字廣播(單區段廣播)和blu-ray(藍光，注冊商標)disk中采用的方式即h.264方式等。在這些編碼手段中采取基于利用了圖像幀間的相似性的運動補償的壓縮方法，在編碼圖像信號中包含表示幀間相似的部位的位置關系的運動矢量和差分值。

在對編碼后的動態圖像檢測邊緣的情況下，需要對編碼圖像信號進行解碼并實施同樣的處理。例如，在專利文獻1中公開了對實際圖像的亮度信號求出梯度來檢測圖像邊緣的方法。

現有技術文獻

專利文獻

專利文獻1：日本特開平8-329252號公報

技術實現要素：

發明要解決的問題

在現有技術中，由于有關濾波處理和梯度計算的計算處理很多，因此要求計算處理能力高的圖像處理裝置。另外，在對編碼圖像信號實施邊緣處理的情況下，需要在解碼處理后實施梯度計算等處理，因而存在計算負荷和處理延遲較大的問題。

本發明正是為了解決上述問題而完成的，其目的在于，實現靈活應用了在圖像的編碼過程或者解碼過程中產生的運動矢量的邊緣檢測。

用于解決問題的手段

本發明的圖像處理裝置的特征在于，該圖像處理裝置具有：運動矢量處理部，其被輸入編碼圖像信號的運動矢量，根據該運動矢量按照每個宏塊計算有關圖像的運動的信息；運動矢量濾波器，其使具有由所述運動矢量處理部計算出的信息中的預定信息的運動矢量通過；幀計數器，其對被輸入到所述運動矢量處理部的編碼圖像信號的幀數進行計數，在計數值達到預定幀數時輸出計數結束信號；頻度計數器，其在整個所述預定幀數下按照每個所述宏塊累計通過了所述運動矢量濾波器的運動矢量的頻度；以及邊緣判定器，其在接收到所述幀計數器輸出的所述計數結束信號時，判定所述頻度計數器按照每個所述宏塊累計的頻度是否超過閾值，在超過的情況下將該宏塊判斷為邊緣。

發明效果

根據本發明，通過將在圖像編碼時或者圖像解碼時產生的運動矢量靈活應用于邊緣檢測中，由此不再需要現有技術中有關梯度計算和濾波處理的計算處理，因而能夠實現處理負荷的減輕和處理延遲的縮短。

附圖說明

圖1是示出本發明的實施方式1的圖像處理裝置的結構圖。

圖2是示出本發明的實施方式1的圖像處理裝置的處理內容的流程圖。

圖3是示出本發明的實施方式2的圖像處理裝置的結構圖。

圖4是示出本發明的實施方式2的輻角計算部及輻角濾波器的動作原理的圖。

圖5是示出本發明的實施方式2的圖像處理裝置的處理內容的流程圖。

圖6是示出本發明的實施方式3的圖像處理裝置的結構圖。

圖7是示出本發明的實施方式3的圖像處理裝置的處理內容的流程圖。

圖8是示出本發明的實施方式4的圖像處理裝置的結構圖。

圖9是示出本發明的實施方式4的圖像處理裝置的處理內容的流程圖。

具體實施方式

實施方式1

圖1是示出本發明的實施方式1的圖像處理裝置的一例的結構圖。在圖1中，101表示作為運動矢量處理部的范數計算部，102表示作為運動矢量濾波器的范數濾波器，103表示頻度計數器，104表示幀計數器，105表示邊緣判定器。這些構成圖1的圖像處理裝置的各要素可以分別利用計算機中的處理器和存儲器等硬件實現。

在作為壓縮圖像的編碼圖像信號中包含表示幀間相似部位之間的位置關系的運動矢量和差分值。運動矢量是表示幀之間的圖像運動的矢量，是在壓縮圖像的編碼過程中計算出來的。范數計算部101被輸入以幀為單位的運動矢量。范數計算部101針對編碼圖像信號的每個宏塊，計算范數，并向范數濾波器102輸出，其中，該范數是所輸入的運動矢量的信息。范數表示運動矢量的大小，表示幀間相似部位的圖像運動的大小。能夠使用像素單位將該范數數值化。范數有歐幾里得范數、最大值范數等各種范數，能夠使用任何形式的范數。此外，也可以將計算出的范數值四舍五入等，用整數值進行表示。

范數濾波器102判定由范數計算部101計算出的范數的值是否在預定信息即預定的基準值以下(例如1以下)，將判定結果輸出給頻度計數器103。頻度計數器103針對來自范數濾波器102的輸入，將判定為真的頻度按照相應的運動矢量所在的每個宏塊進行累計，將該頻度輸出給邊緣判定器105。并且，在從幀計數器104接收到超過預定的累計張數(例如600張)的通知的情況下，視為完成了對規定張數的幀的累計，而重置頻度的計數值。

幀計數器104對所輸入的幀的輸入數進行計數，在輸入數達到預定的累計張數的情況下，向頻度計數器103及邊緣判定器105進行計數結束信號的通知。邊緣判定器105在從幀計數器104接收到表示超過預定的累計張數的計數結束信號的通知的情況下，參照頻度計數器103的輸出值。并且，判定按照每個宏塊分別累計的頻度的值是否超過預定的閾值(例如500)，并輸出判定結果。

在圖像的邊緣(輪廓)部分，圖像的幀間產生微小的運動。該微小的運動被認為是起因于攝像系統的光學系統噪聲等。該微小的運動在編碼圖像信號中表現為范數較小的運動矢量。因此，通過檢測范數較小的運動矢量，能夠使用運動矢量檢測圖像的邊緣。

因此，能夠根據來自邊緣判定器105的判定結果的輸出來檢測圖像的邊緣。

圖2是示出本發明的實施方式1的圖像處理裝置的處理內容的流程圖。

下面，使用圖2說明本發明的實施方式1的邊緣檢測的流程。

范數計算部101計算以幀為單位輸入的運動矢量的范數，并輸出給范數濾波器102(st201)。范數濾波器102判定由范數計算部101輸入的范數是否在預定的基準值以下，并將判定結果輸出給頻度計數器103(st202)。頻度計數器103在范數濾波器102的輸出低于基準值的情況下，使運動矢量所在的宏塊的范數濾波器102的判定次數遞增(st203)。

然后，幀計數器105更新自身的計數值，并記錄所輸入的幀數(st204)。在幀計數器105的計數值為預定的累計張數以下的情況下，轉入對下一幀的運動矢量的處理(st205)。在幀計數器105的值超過預定的累計張數的情況下，判定頻度計數器103的頻度是否超過閾值(st206)，在超過閾值的情況下，將該運動矢量所在的宏塊視為邊緣，并輸出邊緣位置(st207)。

如上所述，實施方式1的圖像處理裝置通過靈活應用因攝像系統的光學系統噪聲而產生的范數較小的運動矢量，能夠根據編碼圖像信號進行邊緣檢測。

實施方式2

圖3是示出本發明的實施方式2的圖像處理裝置的一例的結構圖。在圖3中，301表示作為運動矢量處理部的輻角(argument)計算部，302表示作為運動矢量濾波器的輻角濾波器，303表示頻度計數器，304表示幀計數器，305表示邊緣判定器。這些構成圖3的圖像處理裝置的各要素可以分別利用計算機中的處理器和存儲器等硬件實現。

以幀為單位向輻角計算部301輸入運動矢量。輻角計算部301計算輻角，并向輻角濾波器302輸出計算結果。其中，該輻角是以幀為單位輸入的運動矢量的信息。輻角是表示運動矢量的方向的要素，表示幀間相似部位的圖像的運動方向。使用該輻角能夠表示水平方向、垂直方向、對角方向等。水平方向和垂直方向統稱為軸向。如果使用角度，則能夠將水平方向表示為0度、180度等，將垂直方向表示為90度、270度等，將對角方向表示為45度、135度、225度、315度等。

輻角濾波器302判定由輻角計算部301計算出的輻角是否為預定信息即對角方向(45度、135度、225度、315度)或者軸向(0度、90度、180度、270度)，并將判定結果輸出給頻度計數器303。頻度計數器303針對來自輻角濾波器302的輸入，將判定為真的頻度按照相應的運動矢量所在的每個宏塊進行累計，并輸出給邊緣判定器305。并且，在從幀計數器304接收到表示超過預定的累計張數(例如600張)的計數結束信號的通知的情況下，視為對規定張數的幀完成累計而重置計數值。

幀計數器304對所輸入的幀的輸入數進行計數，在輸入數達到預定的累計張數的情況下，向頻度計數器303及邊緣判定器305通知判定結果。邊緣判定器305在從幀計數器304接收到表示超過預定的累計張數的計數結束信號的通知的情況下，參照頻度計數器303的輸出值，判定對每個宏塊分別累計的值是否超過閾值(例如500)，并輸出判定結果。

實施方式2的特征在于，輻角濾波器302如實施方式1的范數濾波器102那樣，具有與對基準值以下(例如1以下)的運動矢量進行濾波處理同樣的效果，下面對其內容進行說明。

運動矢量也能夠利用具有整數精度的值的二維量來表示，在以整數進行離散化的像素空間中，其范數在第1象限中如圖4所示那樣分布。圖4所示的范數用將運動的大小四舍五入進行取整后的歐幾里得范數表示。如圖4所示，例如與范數1相當的像素的輻角是0度、45度、90度這三種類型，僅存在軸向和對角方向。例如，如果是與范數9相當的像素，則像素的輻角存在18種類型，成為軸向或對角方向的僅是一部分類型。這不限于第1象限，對于所有象限都是一樣的。即，選擇運動矢量的輻角中的軸向和對角方向，是選擇從概率上講范數較小的運動矢量。因此，通過使運動矢量通過軸向或者對角方向的輻角濾波器，能夠實質上限制在輻角濾波器以后輸入的運動矢量的范數。

在圖像的邊緣(輪廓)部分，在圖像的幀之間產生微小的運動。該微小的運動被認為是起因于攝像系統的光學系統噪聲等。該微小的運動在編碼圖像信號中容易表現為輻角是軸向或對角方向的運動矢量。因此，通過檢測輻角是軸向或對角方向的運動矢量，能夠使用運動矢量檢測圖像的邊緣。

因此，能夠根據來自邊緣判定器305的判定結果的輸出來檢測圖像的邊緣。

圖5是示出本發明的實施方式2的圖像處理裝置的流程圖。下面，使用圖5說明本發明的實施方式2的邊緣檢測的流程。

輻角計算部301計算以幀為單位輸入的運動矢量的輻角，并輸出給輻角濾波器302(st501)。輻角濾波器302判定由輻角計算部301輸入的輻角是否是軸向或者對角方向，并將判定結果輸出給頻度計數器303(st502)。頻度計數器303在輻角濾波器302的判定結果為真的情況下，使運動矢量所在的宏塊的輻角濾波器302的判定次數遞增(st503)。

然后，幀計數器305更新自身的計數值，并記錄所輸入的幀數(st504)。在幀計數器305的計數值為預定的累計張數以下的情況下，轉入對下一個幀的運動矢量的處理(st505)。在幀計數器305的值超過預定的累計張數的情況下，判定頻度計數器303的值是否超過閾值(st506)，在超過閾值的情況下，將該運動矢量所在的宏塊視為邊緣，并輸出邊緣位置(st507)。

另外，在本實施方式中，示出了對輻角是軸向或對角方向的運動矢量進行計數并在邊緣的判定中加以利用的例子，但也能夠僅使用軸向、僅使用對角方向、或者使用除此以外的輻角或它們的組合并在邊緣的判定中加以利用。

由于具有如上所述的結構，因而實施方式2的圖像處理裝置通過靈活應用具有因攝像系統的光學系統噪聲引起的軸向或對角方向等的特定輻角的運動矢量，能夠根據編碼圖像信號進行邊緣檢測。

實施方式3

圖6是示出本發明的實施方式3的圖像處理裝置的一例的結構圖。在圖6中，601表示范數計算部，602表示范數濾波器，603表示頻度計數器，604表示幀計數器，605表示邊緣判定器，606表示棄置判定部。

關于范數計算部601、范數濾波器602、頻度計數器603、幀計數器604、邊緣判定器605，與實施方式1中的范數計算部101、范數濾波器102、頻度計數器103、幀計數器104、邊緣判定器105相同，因而省略說明。

棄置判定部606按照每個宏塊記錄由邊緣判定器605持續判定為邊緣而檢出邊緣的時間，當存在持續規定時間被檢出的宏塊的情況下，視為存在被暫時留置的棄置物并輸出檢測結果。但是，此時通過將達某個閾值以上長時間持續判定為邊緣的宏塊作為背景成分從檢測對象中排除，由此實現準確的棄置檢測。即，棄置判定部606按照每個宏塊記錄由邊緣判定器605持續判斷為邊緣而檢出邊緣的時間，在檢出的時間成為預定的時間范圍內時，將與該宏塊對應的部位判定為棄置物，并輸出判定結果。

在本發明的實施方式3中，棄置判定部606記錄在規定期間中范數較小的運動矢量的發生頻度。此時，能夠將由邊緣判定器605持續規定時間判定為邊緣的部位判斷為是被留置了規定期間以上的被攝體即棄置物。

圖7是本發明的實施方式3的圖像處理裝置的流程圖。下面，使用圖7說明本發明的實施方式3的棄置物檢測的流程。

范數計算部601計算以幀為單位輸入的運動矢量的范數，并輸出給范數濾波器602(st701)。范數濾波器602判定由范數計算部601輸入的范數是否在預定的基準值以下，并將判定結果輸出給頻度計數器603(st702)。頻度計數器603在范數濾波器602的輸出低于基準值的情況下，使運動矢量所在的宏塊的范數濾波器602的判定次數遞增(st703)。

然后，幀計數器605更新自身的計數值，并記錄所輸入的幀數(st704)。在幀計數器605的計數值為預定的累計張數以下的情況下，轉入對下一個運動矢量的處理(st705)。在幀計數器605的值超過預定的累計張數的情況下，判斷頻度計數器603的值是否超過閾值(st706)，在超過閾值的情況下，將該運動矢量所在的宏塊視為邊緣，并輸出邊緣位置(st707)。棄置檢測部606記錄各宏塊被邊緣判定部605持續判定為邊緣的時間，當存在持續被判定為邊緣的宏塊的情況下，視為存在棄置物并輸出檢測結果。并且，將持續長時間被判定為邊緣的宏塊視為背景并從棄置物檢測的對象中排除，由此實現準確的棄置物檢測。

由于具有如上所述的結構，因而實施方式3的圖像處理裝置通過應用因攝像系統的光學系統噪聲引起的范數較小的運動矢量的檢出時間，能夠根據編碼圖像信號進行棄置物的檢測。

實施方式4

圖8是示出本發明的實施方式4的圖像處理裝置的一例的結構圖。在圖8中，801表示輻角計算部，802表示輻角濾波器，803表示頻度計數器，804表示幀計數器，805表示邊緣判定器，806表示棄置判定部。

關于輻角計算部801、輻角濾波器802、頻度計數器803、幀計數器804及邊緣判定器805，與實施方式2的輻角計算部301、輻角濾波器302、頻度計數器303、幀計數器304及邊緣判定器305相同，因而省略說明。

棄置判定部806按照每個宏塊記錄由邊緣判定器805持續判定為邊緣的時間，當存在持續規定時間被檢出的宏塊的情況下，視為存在被暫時留置的棄置物并輸出檢測結果。并且，將長時間持續被判定為邊緣的宏塊作為背景成分從檢測對象中去除，由此實現準確的棄置檢測。即，棄置判定部806按照每個宏塊記錄由邊緣判定器805持續判定為邊緣而檢出邊緣的時間，在檢出的時間成為預定的時間范圍內時，將與該宏塊對應的部位判定為棄置物，并輸出判定結果。

在本發明的實施方式4中，需要記錄在規定期間范數較小的運動矢量的發生頻度，因而能夠將由邊緣判定器805判定為邊緣的部位判斷為是被留置了規定期間以上的被攝體即棄置物。

圖9是本發明的實施方式4的圖像處理裝置的流程圖。下面，使用圖9說明本發明的實施方式4的棄置物檢測的流程。

輻角計算部801計算以幀為單位輸入的運動矢量的輻角，并輸出給輻角濾波器802(st901)。輻角濾波器802判定由輻角計算部801輸入的輻角是否是軸向或者對角方向，并將判定結果輸出給頻度計數器803(st902)。另外，輻角的判定也能夠使用軸向和對角方向以外的角度。頻度計數器803在輻角濾波器802的判定結果為真的情況下，使運動矢量所在的宏塊的輻角濾波器802的判定次數遞增(st903)。

然后，幀計數器805更新自身的計數值，并記錄所輸入的幀數(st904)。在幀計數器805的計數值為預定的累計張數以下的情況下，轉入對下一個運動矢量的處理(st905)。在幀計數器805的值超過預定的累計張數的情況下，判斷頻度計數器803的值是否超過閾值(st906)，在超過閾值的情況下，將該運動矢量所在的宏塊視為邊緣，并輸出邊緣位置(st907)。

由于具有如上所述的結構，因而實施方式4的圖像處理裝置通過靈活應用具有因攝像系統的光學系統噪聲引起的特定輻角的運動矢量的檢出時間，能夠根據編碼圖像信號進行棄置物的檢測。

產業上的可利用性

如上所述，本發明的圖像處理裝置能夠用于對編碼后的動態圖像檢測邊緣的裝置和/或檢測棄置物的裝置等。

標號說明

101范數計算部；102范數濾波器；103頻度計數器；104幀計數器；105邊緣判定器；301輻角計算部；302輻角濾波器；303頻度計數器；304幀計數器；305邊緣判定器；601范數計算部；602范數濾波器；603頻度計數器；604幀計數器；605邊緣判定器；606棄置判定部；801輻角計算部；802輻角濾波器；803頻度計數器；804幀計數器；805邊緣判定器；806棄置判定部。