圖像信號處理裝置、圖像信號處理方法以及程序的制作方法

專利名稱：圖像信號處理裝置、圖像信號處理方法以及程序的制作方法
技術領域：
本發(fā)明涉及進行圖像信號處理的裝置，特別涉及進行從單片彩色互補色場色差順序方式攝像元件獲取的圖像數據的失真像差校正的圖像信號處理裝置。
背景技術：
隨著高畫質/低成本化的發(fā)展，監(jiān)視攝像機使用于各種場合。監(jiān)視攝像機例如使用于銀行、便利店、彈球游戲廳等室內或者車站、道路、河流、水壩等室外的監(jiān)視場合。預測監(jiān)視攝像機的應用領域從今以后還會進一步擴大。
監(jiān)視攝像機的成本在不斷下降。但也不能無限量地任意設置。考慮到經濟效果以及畫質要求等，希望以有限臺數的攝像機覆蓋盡可能廣的監(jiān)視區(qū)域。在不使用云臺(pan&tilt)底座的情況下，應該會使用廣角鏡頭。
視場角開闊的鏡頭一般會發(fā)生圖像的桶形失真。失真的圖像與人眼實際所見風景差異較大。在失真的圖像中，例如直線無法映像為直線，物體的大小在畫面中央和畫面端上出現差異。因此，失真圖像的不適感強烈而影響攝像機圖像監(jiān)視者的疲勞強度。希望校正失真像差。
在高級鏡頭中，使用高折射率、非球面、多組/枚透鏡來校正失真等像差。但是，在監(jiān)視用途中使用高級鏡頭是在成本上較為困難。因此，需要基于信號處理的失真像差校正處理。
作為現有的進行失真像差校正的圖像信號處理裝置而公知有例如專利文獻I中所示的裝置。圖12為該公報中示出的圖像信號處理裝置的框圖。該圖像信號處理裝置，具有:坐標變換部102，根據彩色圖像的像素位置，算出與實施了變形處理情況下的彩色圖像的像素位置對應的色度馬賽克圖像上的對應的采樣坐標；采樣部104，按照分解色度馬賽克圖像的多個色度平面的每個色度平面插補生成采樣坐標上的像素值；色度生成部106，通過合成各色度平面的插補值來生成彩色圖像。該圖像信號處理裝置根據色度馬賽克圖像通過插補運算求出實施了變形處理的彩色圖像的各像素值而作為采樣坐標的像素值。由此，能夠通過一次插補運算實現根據色度馬賽克圖像生成彩色圖像的色度插補處理、和該彩色圖像的變形處理。
在上述圖像信號處理裝置中，也可以使用互補色陣列的色度濾波陣列。但是，在將互補色場色差順序數據作為處理對象時，如果按照每個色度平面進行基于線性插補的坐標變換，則會顯著降低分辨率。特別是在亮度數據生成以前進行水平方向的插補，容易降低水平分辨率。
關于垂直方向，按照每個色度濾波平面處理隔行數據。S卩，由于按照隔行掃描數據進行線性插補，因此容易發(fā)生垂直方向的頻率成分的重疊而導致圖像劣化。
現有技術文獻
專利文獻
專利文獻1:日本特開2009-005232號公報發(fā)明內容
發(fā)明要解決的問題
本發(fā)明是在上述背景下做出的。本發(fā)明目的在于提供能夠適當地對互補色場色差順序信號圖像進行失真像差校正的圖像處理裝置。
用于解決問題的手段
本發(fā)明一實施方式是圖像信號處理裝置，該圖像信號處理裝置具有:幀存儲器，用于存儲場色差順序互補色形式的圖像數據；地址生成部，基于預先獲得的失真信息，生成地址，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置；色度數據生成部，將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成；色度數據對應亮度數據生成部,將由上述地址特定的點的第一亮度數據,通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成；亮度基礎數據生成部，將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成；以及互補色數據生成部，基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據。
本發(fā)明另一實施方式是圖像信號處理方法，該圖像信號處理方法包括:將場色差順序互補色形式的圖像數據存儲到幀存儲器中的步驟；基于預先獲得的失真信息，生成地址的步驟，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置；將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成的步驟；將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成的步驟；將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成的步驟；基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據的步驟。
本發(fā)明另一實施方式是程序，用于校正場色差順序互補色形式的圖像數據的失真像差，該程序使計算機執(zhí)行以下步驟:將上述圖像數據存儲到幀存儲器中的步驟；基于預先獲得的失真信息，生成地址的步驟，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置；將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成的步驟；將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成的步驟；將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成的步驟；基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據的步驟。
如下所述，本發(fā)明存在其它實施方式。因此，本發(fā)明公開的意圖在于提供本發(fā)明部 分實施方式，這里進行記述而并非限制發(fā)明范圍。


圖1為表示本發(fā)明實施方式的圖像信號處理裝置的框圖。
圖2為表示具備本發(fā)明實施方式的圖像信號處理裝置的攝像機信號處理的圖。
圖3(a)為表示互補色場色差順序數據列的例子的圖；圖3(b)為表示隔行掃描的A場的例子的圖；圖3(c)為表示隔行掃描的B場的例子的圖。
圖4為表示互補色場色差順序數據列和校正坐標點的圖。
圖5為表示基于場的差異的垂直光學中心位置的圖。
圖6為表示互補色場色差順序數據列與校正坐標點(詳細)的圖。
圖7 (a)為表示校正前的圖像的圖；圖7(13)為表示理想的失真像差校正圖像的圖；圖7(c)為表示按照隔行數據的每個色度平面進行插補而引起的畫質劣化的圖。
圖8為表示插補處理概要的圖。
圖9(a)為表示亮度數據生成時色度數據未劣化的例子的圖；圖9(b)為表示亮度數據生成時色度數據劣化的例子的圖。
圖10(a)為表示亮度數據生成濾波器與亮度色度信號處理后圖像的圖；圖10(b)為表示亮度數據生成濾波器與亮度色度信號處理后圖像的圖；圖10(c)為表示亮度數據生成濾波器與亮度色度信號處理后圖像的圖。
圖11(a)為表示亮度數據垂直插補濾波器與亮度色度信號處理后圖像的圖；圖11(b)為表示亮度數據垂直插補濾波器與亮度色度信號處理后圖像的圖；圖11(C)為表示亮度數據垂直插補濾波器與亮度色度信號處理后圖像的圖；圖11(d)為表示亮度數據垂直插補濾波器與亮度色度信號處理后圖像的圖。
圖12為表示現有的圖像處理裝置的例子的圖。
附圖標記說明
1:圖像信號處理裝置；
10:前級處理部；
12:幀存儲器；
16:第一失真校正處理部；
18:亮度色度信號生成部；
20:第二失真校正處理部；
22:后級處理部；
24:地址生成部；
26:色度數據選擇部；
28:色度數據生成部；
30:亮度數據生成部；
32:色度數據對應亮度數據選擇部；
34:色度數據對應亮度數據生成部；
36:亮度基礎數據生成部；
38:互補色數據生成部；
100:色度平面分解部；
102:坐標變換部；
104:采樣部；
106:色度生成部。
具體實施方式
下面，對本發(fā)明進行詳細說明。但是，以下的詳細說明以及附圖并非用于限定發(fā)明。
本發(fā)明的圖像信號處理裝置具有:幀存儲器，用于存儲場色差順序互補色形式的圖像數據；地址生成部，基于預先獲取的失真信息，生成表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置的地址；色度數據生成部，將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成；色度數據對應亮度數據生成部，將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成；亮度基礎數據生成部，將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成；互補色數據生成部，基于上述色度數據、上述第一亮度數據、上述第二亮度數據生成由上述地址特定的點的互補色數據。
根據該構成，在進行互補色場色差順序信號圖像的垂直方向的失真像差校正時，基于空間相位較遠的色度數據以及與色度數據對應的第一亮度數據和空間相位較近的第二亮度數據生成互補色數據，從而能夠得到畫質良好的互補色場色差順序彩色圖像信號。
本發(fā)明的圖像信號處理裝置可以具有:亮度色度信號生成部，基于由互補色數據生成部生成的互補色數據，生成亮度色度信號；以及校正處理部，對由亮度色度信號生成部生成的亮度色度信號的水平方向上的失真像差進行校正。
根據該構成，對于水平方向的失真像差校正處理，可以采用不使用幀存儲器的構成。
本發(fā)明的圖像信號處理方法包含:在幀存儲器中存儲場色差順序互補色形式的圖像數據的步驟；基于預先獲取的失真信息，生成表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置的地址的步驟；將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度色系列同色度系列的像素的色度數據進行插補而生成的步驟；將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成的步驟；將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成的步驟；基于上述色度數據、上述第一亮度數據、上述第二亮度數據生成由上述地址特定的點的互補色數據的步驟。另外，本發(fā)明的程序，使計算機執(zhí)行上述圖像信號處理方法的各步驟。
根據本發(fā)明，在將互補色場色差順序信號圖像對于垂直方向進行失真像差校正時，基于空間相位較遠的色度數據以及與色度數據對應的第一亮度數據和空間相位較近的第二亮度數據生成互補色數據，從而能夠獲得畫質良好的互補色場色差順序彩色圖像信號。
(實施方式)
下面，參照附圖對本發(fā)明實施方式的圖像信號處理裝置進行說明。
圖1為表示本發(fā)明實施方式的圖像信號處理裝置的圖。圖像信號處理裝置I具有:存儲圖像信號的幀存儲器12、進行存儲到幀存儲器12中的圖像信號的前處理的前級處理部10、對幀存儲器12內存儲的圖像信號進行循環(huán)型噪聲抑制的循環(huán)型噪聲抑制部14、對幀存儲器12內存儲的圖像信號的垂直方向上的失真像差進行校正的第一失真像差校正處理部(以下稱為“第一校正處理部”)16、根據進行了校正處理的圖像信號生成亮度色度信號的亮度色度信號生成部18、對水平方向上的失真像差進行校正的第二失真像差校正處理部(以下稱為“第二校正處理部”)20、對進行了校正處理的亮度色度信號進行后處理的后級處理部22。
第一校正處理部16具有地址生成部24，該地址生成部24基于預先獲取的失真信息，生成表示與應當顯示的畫面內各像素的位置對應的幀存儲器上的各位置的地址?；谟稍摰刂诽囟ǖ狞c的互補色數據進行畫面顯示而對垂直方向的失真像差進行校正，因此以下將由該地址特定的點稱為“校正坐標點”。
圖像信號處理裝置I具有失真量的信息。失真量可以通過曲線或折線賦予相對于理想像高的實際像高。當視場角為90度以下情況下的失真像差時，可以通過多次程度的多項式比較良好地近似。圖像信號處理裝置1，例如以多項式的形式具有失真量的信息。
圖4為表示校正坐標點的圖。圖4的右側的圖為圖像的整體圖。在該圖中，失真的橫線表示在顯示空間中的直線失真映像的情況。在失真像差校正處理中，將該失真的橫線校正為直線。
具體而言，地址生成部24基于失真量而特定失真的橫線。通過生成如下的幀存儲器12上的地址來能夠表示失真的橫線，S卩，距離圖像的光學中心越遠，就越提高垂直方向的變焦倍率。例如，對從圖像的光學中心起的像素數以及表示失真量的多項式的系數，賦予調節(jié)失真像差校正量的系數。并且，第一校正處理部16，讀出其橫線上的互補色數據，將所讀出的數據在同一行上顯示，從而能夠校正失真像差。
圖4的左側的圖是右側的整體圖像中的左上區(qū)域的放大圖。如該圖所示，在失真的線與像素的列交叉的位置上生成校正坐標點Pl P6。第一校正處理部16讀出校正坐標點的互補色數據。其中，如圖4所示，校正坐標點Pl P6未必與幀存儲器12上的像素位置一致，因此對于與幀存儲器12的像素位置不一致的校正坐標點，需要對周邊的像素的數據進行插補而生成校正坐標點的互補色數據。
第一校正處理部16作為用于進行插補像素值的處理的構成，具有:色度數據選擇部26、色度數據生成部28、亮度數據生成部30、色度數據對應亮度數據選擇部32、色度數據對應亮度數據生成部34、亮度基礎數據生成部36、互補色數據生成部38。在本實施方式中，互補色數據生成部38基于由色度數據生成部28生成的色度數據、由色度數據對應亮度數據生成部34生成的色度數據對應亮度數據、由亮度基礎數據生成部36生成的亮度基礎數據，生成校正了垂直方向的失真像差的互補色數據。接著，對第一校正處理部16的各構成進行說明。
色度數據選擇部26從上下的行中選擇具有所需的色度數據的行，并將特定所選擇的行的信息輸入到色度數據生成部28。色度數據生成部28基于由地址生成部24生成的校正坐標點和位于其上下的像素的位置關系，進行色度數據的插補處理。色度數據生成部28將進行了插補處理的色度數據輸入到互補色數據生成部38。
亮度數據生成部30根據從幀存儲器12讀出的圖像數據生成亮度數據，并將所生成的亮度數據輸入到色度數據對應亮度數據選擇部32和亮度基礎數據生成部36。色度數據對應亮度數據選擇部32從所輸入的亮度數據中選擇與所需的色度數據對應的像素的亮度數據，將所選擇的亮度數據輸入到色度數據對應亮度數據生成部34。色度數據對應亮度數據生成部34基于由地址生成部24生成的校正坐標點和位于其上下的像素的位置關系，進行與色度數據對應的亮度數據的插補處理。色度數據對應亮度數據生成部34將進行了插補處理的亮度數據輸入到互補色數據生成部38。這里生成的亮度數據相當于權利要求中的“第一亮度數據”。
亮度基礎數據生成部36基于由地址生成部24生成的校正坐標點和位于其上下的像素的位置關系，進行亮度數據的插補處理。亮度基礎數據生成部36將進行了插補處理的亮度數據輸入到互補色數據生成部38。這里生成的亮度數據相當于權利要求中的“第二亮度數據”。
互補色數據生成部38，基于從色度數據生成部28輸入的色度數據、從色度數據對應亮度數據生成部34輸入的亮度數據(第一亮度數據)、從亮度基礎數據生成部36輸入的亮度數據(第二亮度數據)，生成校正垂直方向的失真像差的互補色數據。
圖2為表示本發(fā)明實施方式的圖像信號處理裝置I的攝像機信號處理的動作的圖。參照圖2對圖像信號處理裝置I的動作進行說明。圖像信號處理裝置I進行互補色場色差順序形式彩色圖像信號的前級處理(SlO)。圖像信號為進行了數字化處理的信號。圖像數據可以從攝像元件取得，也可以輸入存儲裝置中存儲的數據。作為前級處理(S10)，進行增益附加或光學黑體(optical black)調節(jié)等。接著，圖像信號處理裝置I將前級處理后的圖像信號存儲到幀存儲器12中。
接著，圖像信號處理裝置I作為使用幀存儲器12的攝像機信號處理，進行幀循環(huán)型噪聲抑制處理(S12)、電子變焦、上下翻轉、圖像更新停止(凍結(freeze))等。這里，幀循環(huán)型噪聲抑制處理(S12)是使用幀存儲器12形成時間方向的無限脈沖響應濾波器的處理。該幀循環(huán)型噪聲抑制處理(S12)具有較高的噪聲抑制力。因此，在圖像信號處理裝置I中搭載幀存儲器12的事例逐漸增加。
接著，圖像信號處理裝置I對幀存儲器12內存儲的圖像信號進行第一失真像差校正處理(以下稱為“第一校正處理”)(S14)。第一校正處理是校正垂直方向的失真像差的處理。以下，參照圖1對第一校正處理進行詳細說明。
當幀存儲器12內存儲的互補色圖像數據按照場色差順序存在時，以行單位交替呈現R-G系和B-G系。在不考慮失真像差校正等的通常的對巾貞存儲器12的讀取訪問的情況下，通過光柵掃描(raster scan)以行單位交替讀出R-G系和B-G系,并輸入到亮度色度信號生成部18。在亮度色度信號生成部18中，在R-G系和B-G系中切換色度生成處理等，由互補色數據生成亮度色度信號。在校正垂直方向的失真像差時，沿著失真讀出任意行的數據，生成亮度色度信號生成部18能夠處理的數據。這里，使用圖3對互補色數據系列與RGB系列的對應關系進行說明。
圖3(a)為互補色場色差順序形式的數據列的例子的圖，圖3(b)為隔行掃描的A場，圖3(b)為表示隔行掃描的B場的圖。圖3(a) 圖3(c)中，如下地記載色度數據。“CM”或“CyMg”表示青+品紅?！癥G”或“YeGr”表示黃+綠。“CG”或“CyGr”表示青+綠?！癥M”或“ YeMg ”表示黃+品紅。
在圖3(b)所示像素列中，考慮與I個相鄰的像素的減法處理。在圖3(b)中，O行Oa列為“CM”，I行Oa列為“YG”。“CM”如上所述，是青與品紅相加之和?！癥G”為黃與綠相加之和。另外，青由藍⑶和綠(G)組成。品紅由紅(R)和藍⑶組成。黃(Y)由綠(G)和紅(R)組成。因此，從O行Oa列的“CM”減去其左鄰的I行Oa列的“YG”的結果如下。
CM-YG = B+G+R+B- (G+R+G) = 2B-G
同樣地，圖3 (b)的O行Ia列為“CG”，I行Ia列為“YM”?！癈G”如上所述，是青與綠相加之和。“YM”為黃與品紅相加之和。因此，從I行Ia列的“YM”減去其右鄰的O行Ia列的“CG”的結果如下。
YM-CG = G+R+R+B- (B+G+G) = 2R-G
對于圖3 (C)的O行Ob列的CM、I行Ob列的YG，這些關系也是相同的，并且，對于圖3 (c)的O行Ib列的CG、I行Ib列的YM也是相同的。S卩，CMYG行為B-G系，YMCG行為R-G 系。
圖4為表示校正坐標點的圖。地址生成部24基于失真像差信息和從光學中心起的距離，取得校正坐標點Pl P6而作為與應當顯示的畫面內的行上的各像素的位置對應的、幀存儲器12上的各位置。在圖4中，對一個場進行說明。實際上，如圖3(b)以及圖3(c)所示，A場(參照圖3(b))和B場(圖3(c))，在垂直方向上偏移0.5行。地址生成部24能夠對應于該行的偏移，通過場信號(未圖示)將垂直方向的光學中心位置錯開0.5行。圖5為表不基于場的差異的垂直光學中心位置的圖。在A場的情況下垂直中心為4行,在B場的情況下相同為3.5行。由此，在A場與B場之間，能夠對齊垂直中心。
接著，對通過插補處理生成校正坐標點Pl P6的互補色數據的處理進行說明。這里，以算出校正坐標點Pl P6的R-G系數據的情況為例進行說明。校正坐標點Pl P6未必一定與幀存儲器12的像素位置一致，通過來自周邊數據的插補算出互補色數據，對齊空間相位。校正坐標與所期望的色度濾波器(這里為R-G系)的相對位置關系各種各樣。插補處理必須盡可能避免色度數據和亮度數據劣化(鈍化或附加偽信號)。為了實施這種插補處理，在本實施方式中，使用校正坐標點的上下2行的合計4行。
此外，對于失真像差校正后的像素數據，可以從幀存儲器12讀出所需的行數(在本實施方式中為4行)的數據，也可以利用垂直坐標連續(xù)變化的情況而設置行單位的緩沖器等，削減每單位時間從幀存儲器12讀出的數據。
這里，對于設置行單位的緩沖器來削減讀出數據的方法進行說明。
圖4的坐標I的插補處理所需的4行的垂直坐標為，
Y (2n)、Y (2n+l)、Y (2n+2)、Y (2n+3)。
坐標2的插補處理所需的4行的垂直坐標為，
Y (2n-l)、Y (2n)、Y (2n+l)、Y (2n+2)。
坐標3的插補處理所需的4行的垂直坐標為，
Y (2n-l)、Y (2n)、Y (2n+l)、Y (2n+2)。
如果以行單位考慮，則坐標I的處理所需的數據與坐標2的處理所需的數據的差分是以垂直坐標Y(2n-1)和Υ(2η+3)表示的行的數據。在坐標2的處理中不使用由Y(2η+3)表示的行的數據而廢棄，重新從幀存儲器12讀出由Υ(2η-1)表示的行的數據。同樣地，如果以行單位考慮，則不存在坐標2的處理與坐標3的處理所需的數據的差分。在從坐標I的處理轉入坐標2的處理時，可以重新從幀存儲器12僅讀出由Υ(2η-1)表示的行的數據。在從坐標2的處理向坐標3的處理轉移時，如果就行單位而言，則不需要從幀存儲器12讀出數據。
圖6為進一步詳細說明圖4所示校正坐標點Ρ3的圖?？紤]算出校正坐標點Ρ3(行:line = 2.5，像素:pixel = 2)的R-G系數據的情況。如果考慮按照每個色度平面的插補，則可以從R-G系即YMCG行進行數據選擇。作為校正坐標點P3中的R-G系的數據需要算出CG，根據2行I列的數據和2行3列的數據(均為CG)進行插補。
這里，由相同色濾波器形成的色度數據僅每2行出現，并且在如本實施方式那樣隔行讀取時，如果按照每個色度平面進行線性插補，則無法避免頻帶上發(fā)生重疊以及基于插補運算的垂直分辨率的劣化。特別是，像監(jiān)視攝像機這樣在垂直方向上不對頻帶進行光學限制的情況下，該劣化程度顯著。
圖7(a)為表示校正前圖像的圖，圖7(b)為表示理想的失真像差校正圖像的圖，圖7(c)為表示基于按照隔行同色平面進行的線性插補的失真像差校正圖像的圖。由圖7(c)可知，在按照每個色度平面進行的線性插補中，畫質顯著受損。
因此在本實施方式中，為了盡可能避免畫質劣化(鈍化或附加偽信號)，基于以下3成分算出互補色數據。
1.色度數據 Tgt_H
2.色度數據對應亮度數據(第一亮度數據)yl_compre
3.亮度基礎數據(第二亮度數據)YLc
首先，對“1.色度數據Tgt_H”進行說明。如上所述，在本實施方式中，使用校正坐標點的上下2行的合計4行進行校正。通過色度數據選擇部26，根據從幀存儲器12讀出的4行，選擇與算出對象(這里為R-G系)相同色差系的2行的數據。
在圖6所示例子的情況下，從幀存儲器12讀出在垂直方向上第一行、第二行、第三行、第四行的4行的數據。在算出對象為R-G系的情況下，如圖6中(A)所示，色度數據選擇部26選擇第一行和第三行的數據。此外，在算出對象為B-G系的情況下，如圖6中(B)所示，選擇第二行和第四行的數據。
色度數據生成部28基于校正坐標點的位置，對所選擇的2行的數據進行加權而進行插補處理。在圖6所示例子中，校正坐標點沒有在行上，坐標值由整數部和小數部組成。在圖6中的垂直方向坐標為2.5的情況下，從第一行起的距離為1.5，從第三行起的距離為0.5?？梢詫⒕嚯x的合計的補碼作為權重系數。權重系數如下所示。
第一行的權重:(1.5+0.5)-1.5 = 0.5
第三行的權重:(1.5+0.5)-0.5 = 1.5
在本實施方式中，色度數據的插補運算方法為線性插補。
此外，色度數據的插補需要利用空間相位較遠的數據。即，為了求出坐標P的R-G系的數據，需要使用比鄰接的第二行遠的第一行的數據。
接著，對“2.色度數據對應亮度數據yl_compre”進行說明。此外，色度對應亮度數據的插補也與色度數據相同地需要利用空間相位較遠的數據。如上所述，在本實施方式中，使用校正坐標點的上下2行的合計4行。亮度數據生成部30根據該4行的數據，按照每行生成亮度數據。色度數據對應亮度數據選擇部32根據所生成的4行的亮度數據，選擇與算出對象(這里為R-G系)相同色差系的行即2行的數據。色度數據對應亮度數據生成部34基于校正坐標點的位置，對所選擇的2行的數據進行加權而進行插補處理。校正坐標點由整數部和小數部組成,也可以使用與色度數據生成部28相同的加權。
圖8為表示由基于亮度數據生成部30的4行量的亮度生成、基于色度數據對應亮度數據選擇部32的2行的選擇、基于色度數據對應亮度數據生成部34的2行組成的亮度數據的插補處理的概要的圖。
互補色場色差順序形式的圖像數據是直流成分構成亮度。因此，亮度數據生成部30能夠通過適用低通濾波器(Low Pass Filter:LPF)來獲得亮度數據。在本實施方式中，根據是數字信號處理的情況或是幀內處理的情況、可以構成直線相位濾波器的情況等，使用奇數抽頭(tap)的有限脈沖響應(Finite Impulse Response:FIR)LPF0
亮度數據生成FIRLPF需要考慮以下的項目。
(I)幀存儲器頻帶和抽頭數
(2)衰減量
(3)通過帶寬
通常，數字濾波器是:抽頭數越多，通過帶寬或截止頻率和衰減量等的設計自由度越高。在本案中，抽頭數越多，每單位時間必須從幀存儲器12讀出的數據量越增大。為了擴展幀存儲器頻帶，必須提高讀出速度或擴展數據總線等。速度或總線寬度等均有可能成為成本增加的要因，因此需要與(2)和(3)所示條件取得平衡。
色度數據對應亮度數據需要使作為高頻成分存在的色度數據(色度載波成分)充分衰減。當色度載波成分殘留時，可能會導致在后級的亮度色度信號生成(S16)中算出的色度數據劣化。
圖9(a)為表示色度載波的衰減為65dB時的色度成分正確的圖像，圖9 (b)為表示衰減為14dB時的劣化圖像的例子的圖。在亮度數據生成中色度載波成分衰減量不足的情況下，如圖9(b)的右圖所示表現出亮度色度信號處理后的色度數據在矢量示波器(vectorscope)上向Mg-Gr方向擴展的癥狀。色度載波成分衰減量必須設定為避免在亮度色度信號處理后發(fā)生這種現象。
圖10(a)為表示將2TAP(抽頭)(1，1)用于亮度數據生成的圖像的例子的圖，圖10(b)為表示將3TAP(1，2，1)用于亮度數據生成的圖像例的圖。2TAP(1，1)或3TAP(1，2，I)對于色度載波衰減量沒有問題，但是2TAP(1，1)與色度數據發(fā)生空間相位偏移，因此會發(fā)生畫質劣化(斜線局部變粗)。3TAP(1，2，1)與色度數據的空間相位匹配，但是通過頻帶寬度較窄，因此斜線整體變粗。為了盡可能避免畫質劣化，構成通過頻帶較寬的LPF較好。在本實施方式中，從幀存儲器頻帶和濾波器性能的權衡(trade-off)出發(fā)，在亮度數據生成部30中，構成11TAPFIRLPF。圖10(c)為表示將11TAPFIRLPF用于亮度數據生成的圖像的例子的圖。
如圖8所示，色度數據對應亮度數據是通過以下方法生成，S卩，觀察同列的上下，使用與需算出的對象的色度系列相同色度系列的互補色濾波器數據存在的行的亮度數據而插補生成。為了與后述的亮度基礎數據(空間相位較近)替換而使用。
接著，對“3.亮度基礎數據YLc”進行說明。亮度基礎數據可以使用鄰接的像素的數據生成，因此空間相位較近。亮度基礎數據生成部36使用處理對象垂直坐標的上下2行計4行，生成亮度基礎數據。在本實施方式中，使用BiCubic (雙三次)插補。
圖11為表示基于垂直方向的插補方式的亮度色度信號處理后的圖像數據的差異進行的圖。在BiLinear (雙線性)中，斜線的粗細變化。在B-Spline (B-樣條)中，基本上看不出斜線的粗細變化，但是作為對亮度色處理前數據進行的運算在整體中信號的鈍化較大。在BiCubic中，雖然不是沒有斜線的粗細變化或波形的鈍化，但是基本上能夠取得良好的處理結果。
這里，B-Spline與BiCubic的插補式如下所示。
.B-Spline:
(3*t*t*t_6*t*t+4)/6: (O < = t < I)
-(t-2)*(t-2)*(t_2)/6: (O < = t < 2)
t:校正坐標點和用于插補計算的像素的距離
.BiCubic:
(a+2)*t*t*t_(a+3)*t*t+l: (O < = t < I)
a*t*t*t_5*a*t*t+8*a*t_4*a:(O < = t < 2)
t:校正坐標點和用于插補計算的像素的距離
示出了 BiCubic插補式的系數a為a = -1和a = -0.5時的處理結果。a = -1時，能夠取得具有良好分辨率的處理結果。a = -0.5時，則能夠取得斜線的粗細變化較少的處理結果。
根據以上的3個數據，通過互補色數據生成部38，將與空間上較遠的色度數據對應的亮度數據替換為空間上較近的亮度基礎數據，從而算出所需的互補色濾波器數據out。以下示出式子。
out = Ylc+ (Tgt_H-yl_compre)
通過以上詳細說明的處理，能夠取得校正了垂直方向的失真像差的互補色場色差順序數據。
返回到圖2而進行說明。圖像信號處理裝置1，在亮度色度信號生成部18中處理獲取的互補色場色差順序數據而取得亮度數據和色度數據(S16)。接著，圖像信號處理裝置對所生成的亮度色度信號進行第二失真像差校正處理(以下稱為“第二校正處理”)(SlS)0第二校正處理是水平方向上的失真像差的校正處理。水平方法的失真像差校正所需的存儲器是行單位，因此第二校正處理的實施場所的自由度較高。此外，失真量的規(guī)定可以與垂直方向處理(S14)相同。在亮度色度信號生成后，不是利用隔行等特殊的采樣，通過對于水平方向單純按照失真量進行插補運算，來能夠取得比較好的處理結果。最后，圖像信號處理裝置I對第二校正處理后的亮度色度信號進行后處理(S20)。以上，對本實施方式的圖像信號處理裝置I的構成以及動作進行了說明。
本實施方式的圖像信號處理裝置I與現有的圖像信號處理裝置相比，在對互補色場色差順序信號圖像進行失真像差校正時，關于垂直方向，對互補色場色差順序信號，使用空間相位較遠的色度數據、與色度數據對應的亮度數據、空間相位較近的亮度基礎數據，算出互補色數據。亮度數據使用空間相位較近者且色度數據使用空間相位較遠的同色濾波器而獲得畫質良好的場色差順序彩色圖像信號。關于水平方向，能夠在亮度生成后進行校正失真像差的插補運算。
以上，對于本發(fā)明的圖像信號處理裝置以及圖像信號處理方法，舉出實施方式進行了詳細說明，但是本發(fā)明不限于上述實施方式。
圖像信號處理裝置I的功能可以作為程序存儲在磁盤、光磁盤、ROM等存儲介質中。因此，由計算機讀取該存儲介質，并通過MPU、DSP等執(zhí)行而能夠實現圖像信號處理裝置I的功能。
在上述實施方式中，以互補色場色差順序形式輸入、互補色場色差順序輸出為例說明了第一校正處理(垂直方向的失真像差校正處理)。其理由于，明確處理的段落，并通過提高功能模塊的分離性的構成來進行說明，由此明確本案實現的優(yōu)良功能和效果。也可以采用第一校正處理的最后成為亮度色度信號生成部18的最前級的構成。另外，若要進行一體化，則在亮度色度信號處理中也可以采用直接使用亮度數據且將色度數據輸入到另設的色差生成部的構成。
以上，說明了當前考慮到的本發(fā)明的優(yōu)選實施方式，但是應當理解為對本實施方式能夠進行各種變形，并且意圖在于所附權利要求包含屬于本發(fā)明實施精神和范圍內的各種變形。
產業(yè)上的利用可能性
如上所述，本發(fā)明的圖像信號處理裝置，在對互補色場色差順序信號圖像進行失真像差校正時，關于垂直方向，對互補色場色差順序信號，能夠使用空間相位較遠的色度數據、與色度數據對應的亮度數據、空間相位較近的亮度基礎數據取得畫質良好的互補色場色差順序彩色圖像信號，適于用作監(jiān)視攝像機等的失真校正處理裝置等。
權利要求
1.一種圖像信號處理裝置，具有: 幀存儲器，用于存儲場色差順序互補色形式的圖像數據； 地址生成部，基于預先獲得的失真信息，生成地址，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置； 色度數據生成部，將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成； 色度數據對應亮度數據生成部，將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成； 亮度基礎數據生成部，將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成；以及 互補色數據生成部，基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據。
2.根據權利要求1所述的圖像信號處理裝置，其特征在于， 具有: 亮度色度信號生成部，基于由上述互補色數據生成部生成的互補色數據，生成亮度色度信號； 校正處理部，對由上述亮度色度信號生成部生成的亮度色度信號的水平方向上的失真像差進行校正。
3.一種圖像信號處理方 法，包括: 將場色差順序互補色形式的圖像數據存儲到幀存儲器中的步驟； 基于預先獲得的失真信息，生成地址的步驟，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置； 將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成的步驟； 將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成的步驟； 將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成的步驟；以及 基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據的步驟。
4.一種程序，用于校正場色差順序互補色形式的圖像數據的失真像差，該程序使計算機中執(zhí)行以下步驟: 將上述圖像數據存儲到幀存儲器中的步驟； 基于預先獲得的失真信息，生成地址的步驟，該地址表示與應當顯示的畫面內各像素的位置對應的上述幀存儲器上的各位置；將由上述地址特定的點的色度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的色度數據進行插補而生成的步驟； 將由上述地址特定的點的第一亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素即與想要通過插補生成的色度系列同色度系列的像素的亮度數據進行插補而生成的步驟； 將由上述地址特定的點的第二亮度數據，通過對位于其上下的預定個數的行中所包含的同列的像素的亮度數據進行插補而生成的步驟；以及 基于上述色度數據、上述第一亮度數據以及上述第二亮度數據生成由上述地址特定的點的互補色數據的步驟。
5.一種計 算機可讀取的存儲介質，存儲有權利要求4所述程序。
全文摘要
圖像信號處理裝置(1)具有用于存儲場色差順序互補色形式的圖像數據的幀存儲器(12)；基于預先獲得的失真信息而生成校正坐標點的地址的地址生成部(24)；將校正坐標點的色度數據通過對位于其上下的同色度系列的像素的色度數據進行插補而生成的色度數據生成部(28)；將校正坐標點的第一亮度數據通過對位于其上下的同色度系列的像素的亮度數據進行插補而生成的色度數據對應亮度數據生成部(34)；將校正坐標點的第二亮度數據通過對位于其上下的像素的亮度數據進行插補而生成的亮度基礎數據生成部(36)；基于所生成的色度數據、第一亮度數據、第二亮度數據而生成校正坐標點的互補色數據的互補色數據生成部(38)。提供一種圖像處理裝置，能夠適當地對互補色場色差順序信號圖像進行失真像差校正。
文檔編號G06T3/00GK103154999SQ20118000357
公開日2013年6月12日 申請日期2011年10月26日 優(yōu)先權日2010年10月26日
發(fā)明者樋爪太郎, 佐野俊幸 申請人:松下電器產業(yè)株式會社