數字攝像裝置及其影像處理方法
【專利摘要】一種影像處理方法，適用于nxn像素陣列的正中央的待測像素，待測像素具有待測像素值。所述的影像處理方法包含以下步驟：首先，預設搜尋窗口，包含多個校正像素以及置于正中央的待測像素；之后，計算搜尋窗口中的待測像素以及校正像素在各個方向上與各自的同色像素的最小差異量為各自的平滑方向值；最后，根據校正像素以及待測像素的平滑方向值來判斷待測像素是否為瑕疵像素。
【專利說明】數字攝像裝置及其影像處理方法
【技術領域】
[0001]本發明涉及一種影像處理方法，特別是涉及一種用于檢測及校正瑕疵像素的數字攝像裝置及其影像處理方法。
【背景技術】
[0002]目前數字成像技術大多利用互補金屬氧化物半導體(Complementary Metal —Oxide Semiconductor, CMOS)作為感光元件，并在其上覆蓋一層彩色的濾色陣列(ColorFilter Array, CFA)，將擷取到的影像的紅綠藍(RGB)三原色各自分開，進而產生符合拜耳圖樣(Bayer Pattern)的像素陣列影像，如圖1所示，其為5x5像素陣列1，其中R表示紅色，B表示藍色，G表示綠色。
[0003]然而，所擷取到的像素陣列I中的相鄰像素會互相干擾，或CMOS感光元件在工藝中的電路缺陷，都有可能產生瑕疵像素(Bad Pixel)，進而使得處理后的影像中出現特別突兀的部份，如亮點。瑕疵像素的分布情況有很多種，例如，叢集型(cluster type)、十字型(cross type)、或單獨只有一個(位于正中央)瑕疵像素(stand alone badpixel)等。
[0004]為了修正瑕疵像素，目前作法通常會找其周圍同顏色的像素來進行修補，以圖1為例，假設欲修正正中央的藍色像素，其中一種方法是，處理器會從其四周的藍色像素中找最大和次大的像素值來作權重運算后，取代中央的藍色樣素值。但對于不同分布的瑕疵像素，需要使用不同的演算法來校正，因此在某些情況下，運算出的校正值仍然無法顯著且有效地校正瑕疵像素。再者，對于位在影像中物件邊緣(edge)的像素，由于對比的強烈落差容易造成瑕疵像素的誤判。
[0005]因此，亟需提出一種新穎的數字攝像裝置及其影像處理方法，使能準確地檢測出瑕疵像素，并有效地對其校正。
【發明內容】
[0006]鑒于上述，本發明實施例的目的之一在于提出一種數字攝像裝置及其影像處理方法，其通過待測像素周圍的像素值來檢測是否為瑕疵像素，并根據與待測像素相同顏色的像素的值，來校正待測像素，進而能準確地檢測出瑕疵像素，并有效地校正它。
[0007]本發明揭示一種影像處理方法，適用于ηχη像素陣列的正中央的待測像素，待測像素具有待測像素值。所述的影像處理方法包含以下步驟:首先，預設搜尋窗口，包含多個校正像素以及置于正中央的待測像素；之后，計算搜尋窗口中的待測像素以及校正像素在各個方向上與各自的同色像素的最小差異量為各自的平滑方向值；最后，根據校正像素以及待測像素的平滑方向值來判斷待測像素是否為瑕疵像素。
[0008]本發明又揭示一種數字攝像裝置，其包含感光元件、平滑方向檢測單元、瑕疵像素判斷單元以及瑕疵像素校正(Bad Pixel Correction, BPC)處理器。感光元件用來擷取符合拜耳圖樣的像素陣列影像，其包含多個ηχη像素陣列，其中每一個ηχη像素陣列的正中央具有待測像素，其具有待測像素值。平滑方向檢測單元用來處理包含多個校正像素以及置于正中央的待測像素的搜尋窗口，并計算每一個校正像素與待測像素的平滑方向值。瑕疵像素判斷單元耦接于感光元件以及平滑方向檢測單元之間，用來根據校正像素以及待測像素的平滑方向值來判斷待測像素是否為瑕疵像素。瑕疵像素校正處理器耦接于瑕疵像素判斷單元，用來根據瑕疵像素判斷單元的判斷結果來校正待測像素。
【專利附圖】
【附圖說明】[0009]圖1為公知的拜耳圖樣的示意圖。
[0010]圖2為本發明實施例的數字攝像裝置的方塊圖。
[0011]圖3為本發明實施例的像素陣列影像的示意圖。
[0012]圖4為本發明實施例的5x5像素陣列的示意圖。
[0013]圖5為本發明實施例的待測像素與周圍的同色像素之間的平滑方向的示意圖。
[0014]圖6為本發明實施例的搜尋窗口的示意圖。
[0015]圖7為本發明實施例的用來校正待測像素的參考像素的示意圖。
[0016]圖8為本發明實施例的影像處理方法的流程圖。
[0017]【主要元件符號說明】
[0018]I 像素陣列
[0019]2數字攝像裝置
[0020]21 感光元件
[0021]23 瑕疵像素判斷單元
[0022]24 平滑方向檢測單元
[0023]241 平滑方向檢測程序
[0024]25 瑕疵像素校正處理器
[0025]251 第一影像校正程序
[0026]253 第二影像校正程序
[0027]27 數字化處理單元
[0028]29 存儲單元
[0029]3像素陣列影像
[0030]4 5x5像素陣列
[0031]6搜尋窗口
[0032]Ne 待測像素
[0033]VNc 待測像素值
[0034]D0-D7第一同色像素
[0035]V0-V7第一同色像素值
[0036]步驟S801-S819
【具體實施方式】
[0037]首先，請參考圖2，為本發明實施例的數字攝像裝置的方塊圖。如圖2所示，數字攝像裝置2包含感光元件21、瑕疵像素判斷單元23、平滑方向檢測單元24、瑕疵像素校正處理器25、數字化處理單元27以及存儲單元29。數字攝像裝置2用來擷取影像，其利用感光元件21上覆蓋的一層拜耳圖樣的彩色濾色陣列(圖中未示)產生拜耳圖樣像素陣列影像。
[0038]平滑方向檢測單元24用來檢測待測像素在哪個方向上的差異量最小(后面詳述)；瑕疵像素判斷單元23耦接于感光元件21以及平滑方向檢測單元24之間，用來判斷像素陣列影像中是否有瑕疵像素；而瑕疵像素校正處理器25耦接于瑕疵像素判斷單元23，并對瑕疵像素判斷單元23判斷出的瑕疵像素進行校正。數字化處理單元27用來將所有瑕疵像素都校正完的像素陣列影像進行處理，如拜耳圖樣插補(Bayer Pattern Interpolation)、信號放大、類比數字轉換等，以產生數字化影像存儲至存儲單元29中。
[0039]具體來說，數字攝像裝置2包含數碼相機、移動通信裝置、個人數字助理(Personal Digital Assistant, PDA)、或任何電子影像傳感器(electronic imagesensors)。感光元件21包含感光稱合元件(Charge Coupled Device,CO))、互補金屬氧化物半導體(Complementary Metal-Oxide Semiconductor, CMOS)、或互補金屬氧化物半導體一有源像素傳感器(Complimentary Metal-Oxide Semiconductor — Active Pixel Sensors,CMOS - APS)。值得一提的是，本發明的主要技術特征在于判斷及校正瑕疵像素的演算法，然而公知數字攝像裝置中的必要元件及電路雖未進一步描述，但亦為本發明保護的范圍，不以揭露者為限。
[0040]接著，請一并參考圖3，該圖為本發明實施例的像素陣列影像的示意圖。如圖3所示，像素陣列影像3符合拜耳圖樣的排列方式，包含多個ηχη像素陣列4，如5x5像素陣列4，其中R表示紅色，B表示藍色，G表示綠色。本發明會對每一組的5x5像素陣列4中的像素進行檢測及校正，為了方便說明，以下針對單一個5x5像素陣列4來舉例。
[0041]請再參考圖4，為本發明實施例的5x5像素陣列4的示意圖，其對應于像素陣列影像3所排列的顏色。每一像素都有所對應的像素值來表示信號強度，5x5像素陣列4的正中央具有待測像素Ne，其待測像素值為VN。；同色像素Dtl-D7最接近待測像素Ne且與其同樣是藍色的像素，各自的同色像素值為Vtl-V715瑕疵像素判斷單元23主要參考每一組5x5像素陣列4中的待測像素Ne與其同色像素Dtl-D7的差異，來判斷待測像素是否是瑕疵像素。具體來說，瑕疵像素判斷單元23會先判斷待測像素值VN。是否大于第一校正臨界值，若是，就表示待測像素值VN。太大，有可能是瑕疵像素，則輸出第一校正致能信號(圖中未示)來驅動或控制瑕疵像素校正處理器25對像素陣列進行校正。收到第一校正致能信號后，瑕疵像素校正處理器25便執行第一影像校正程序251，以最大的同色像素值Vi取代待測像素值\c。在本發明的實施例中，第一校正臨界值可為最大的同色像素值Vi加上一個第一校正子臨界值的總和，其中第一校正子臨界值為實驗數據，例如為20。
[0042]經過上述第一影像校正程序251，已可將5x5像素陣列4中的單點瑕疵像素做第一階段的修正。由于5x5像素陣列4中可能有其它瑕疵像素而導致校正待測像素值VN。的效果不顯著，故尚須考量待測像素Ne在各個方向上與周圍同色像素Dtl-D7的差異量，以確定待測像素Ne的平滑方向。
[0043]具體來說，待測像素Ne與周圍的同色像素Dtl-D7之間具有8個平滑方向，如圖5所示。舉例來說，待測像素Ne在同色像素DpD6的方向上的平滑方向值S1根據公式(I)來計算；而待測像素Ne在同色像素D3、D4的方向上的平滑方向值S2根據公式(2)來計算；以此類推。
[0044]S1= I|/2......(I)[0045]S2=|2*VNc_(V3+V4) 1/2......(2)
[0046]S3=|2*VNc-(V2+V5) 1/2......(3)
[0047]S4=|2*VNc-(V0+V7) 1/2……(4)
[0048]S5= I 2*VNc_(VfV3) 1/2......(5)
[0049]S6= I1/2......(6)
[0050]S7=|2*VNc-(V3+V6) 1/2......(7)
[0051]S8=|2*VNc-(V4+V6) I/2……(8)
[0052]而平滑方向檢測單元24存儲平滑方向檢測程序241，其依照上述公式計算待測像素Ne在各個方向上與同色像素Dtl-D7的差異量，并以最小的差異量作為待測像素Ne的最終平滑方向值。檢測單元24會針對像素陣列影像3中的每個像素執行平滑方向檢測程序241，以計算出每個像素的平滑方向值。
[0053]請參考圖6，為本發明實施例的搜尋窗口的示意圖。在本發明的實施例中，平滑方向檢測單元24預設搜尋窗口 6，其為一個1x7像素陣列，包含6個校正像素LrL3、R1-R3以及置于正中央的待測像素Ne。當平滑方向檢測單元24利用平滑方向檢測程序241計算出搜尋窗口 6中每個像素的平滑方向值之后，瑕疵像素判斷單元23便可根據校正像素L1-LyR1-R3以及待測像素Ne的平滑方向值來判斷待測像素Ne是否為瑕疵像素。一個實施例中，搜尋窗口 6亦可為1x5像素陣列，但不以揭露者為限。
[0054]舉例來說，假設像素L3、1^2山、Ne、R3的平滑方向值分別為SOA[O]、SOA[I]、SOA [2]、S0A[3]、S0A[4]、S0A[5]、S0A[6]。由這些平滑方向值可推出第二校正臨界值。例如，第二校正臨界值可設定為所有校正像素的平滑方向值的總和減去最大的平滑方向值(即(SOA[O] +SOA[I]+SOA[2] +SOA[4] +S`OA[5] +SOA[6])-Max_S0A)再加上第二校正子臨界值的總和，其中第二校正子臨界值為實驗數據，例如為20。如此一來，瑕疵像素判斷單元23便可判斷待測像素Ne的平滑方向值是否大于第二校正臨界值，若是，就表示待測像素Ne在所設定的搜尋窗口 6范圍中，與周圍各方向的差異太大，有可能是瑕疵像素，則輸出第二校正致能信號(圖中未示)來驅動或控制瑕疵像素校正處理器25對像素陣列進行第二次的校正。收到第二校正致能信號后，瑕疵像素校正處理器25便執行第二影像校正程序253，以校正待測像素值VN。。
[0055]請參考圖7，為本發明實施例的用來校正待測像素的參考像素的示意圖。瑕疵像素校正處理器25執行第二影像校正程序253時，會先決定多個參與校正的參考像素，這些參考像素至少包括全部的同色像素Dtl-D715實施例中，以待測像素Ne的同色像素Dtl-D7加上左右兩像素陣列的正中央像素隊、Nk (亦為同色像素)，共10個像素作為參與校正的參考像素。其中，參考像素也可加入待測像素Ne上下兩像素陣列的正中央像素(亦為同色像素)，故不以揭露者為限。
[0056]接著，便將待測像素Ne —一與所選擇的10個參考像素Dq-D7、Nl, Ne比較差異量，若待測像素Ne與任一參考像素的差異量小于參考臨界值,則表示待測像素Ne愈接近此參考像素。當待測像素Ne接近愈多個參考像素，則表示待測像素Ne愈有參考價值，且是瑕疵像素的機率愈低。經上述一一比較之后，便可計算出有多少個參考像素與待測像素Ne的差異量小于參考臨界值。之后，再將所有參考像素Dtl-D7、隊、Nk的像素值與多個待測像素值VN。由大到小進行排序(sort)，并以排序后的中間像素值取代待測像素值VN。。其中，參與排序的待測像素值νΝ。的數量便等于待測像素Ne與參考像素Dtl-Dp Nl, Ne的差異量小于參考臨界值的次數。
[0057]舉例來說，假設有3個參考像素與待測像素Ne的差異量小于參考臨界值。因此在排序過程中，是將所有參考像素Dtl-Dp Nl, Ne的像素值與3個待測像素值VN。由大到小進行排序，最后再以排序后的中間像素值取代待測像素值Vn。。實施例中，上述機制可使用中值濾波器(median filter)來實作。另一實施例中，在——比較待測像素Ne與10個參考像素D0-D7,Nl,Ne的差異量之前，可先從參考像素Dc1-D7、隊、Nk中移除具有最大值以及最小值的像素值的像素，不進行比較，如此可使校正值更為準確。
[0058]為了更進一步了解本發明的運作，請參考圖8，為本發明實施例的影像處理方法的流程圖，其應用于數字攝像裝置2中。相關系統架構及像素陣列請一并參考圖2至圖7。所述的影像處理方法的步驟如下:
[0059]首先，感光元件21將擷取到的影像產生符合拜耳圖樣的像素陣列影像，并將其一一切分成多個ηχη像素陣列的小單位(步驟S801 )，如5x5像素陣列4，來對每一像素進行檢測及校正。瑕疵像素判斷單元23接收到5x5像素陣列4后，便判斷待測像素值VN。是否大于第一校正臨界值(步驟S803)。若否，則表示待測像素Ne是正常像素，進而對下一組5x5像素陣列4進行檢測，直到每組5x5像素陣列4都檢測完及校正完畢后，便將整個像素陣列影像傳至數字化處理單元27，以進行數字化處理(步驟S817)，如信號放大、類比數字轉換等，進而產生數字化影像存儲至存儲單元29 (步驟S819)。
[0060]若步驟803的判斷為是，則表示待測像素Ne為瑕疵像素，因此便輸出第一校正致能信號來驅動瑕疵像素校正處理器25對像素陣列進行校正。瑕疵像素校正處理器25收到第一校正致能信號后，便執行第一影像校正程序251，其以最大的同色像素值Vi取代待測像素值VN。(步驟S805)。
[0061]接著，平滑方向檢測單元24利用平滑方向檢測程序241計算出搜尋窗口 6中每個像素的平滑方向值(步驟S807)，便可根據所獲得的平滑方向值來決定第二校正臨界值(步驟S809)，其中詳細程序請參考圖6及其相關說明。之后，瑕疵像素判斷單元23便判斷待測像素Ne是否大于第二校正臨界值(步驟S811)。若否，則無須作較正處理，可直接進行數字化處理并存儲。
[0062]若步驟811的判斷為是，則表示待測像素Ne為瑕疵像素，因此便輸出第二校正致能信號來驅動瑕疵像素校正處理器25對像素陣列進行校正。瑕疵像素校正處理器25收到第二校正致能信號后，便執行第二影像校正程序253(步驟S813)，其中詳細程序請參考圖7及其相關說明。最后，便以排序后的中間像素值取代待測像素值VN。(步驟S815)，以對其校正。如此重復上述步驟，直到瑕疵像素校正處理器25將每組5x5像素陣列4中的待測像素Ne校正完畢后，便將整個像素陣列影像傳至數字化處理單元27，以進行數字化處理(步驟S817)，如信號放大、類比數字轉換等，進而產生數字化影像存儲至存儲單元29(步驟S819)。
[0063]通過以上實例詳述，當可知悉本發明的數字攝像裝置及其影像處理方法，是先根據待測像素周圍的同色像素值來檢測是否為瑕疵像素，以先進行單點瑕疵校正。之后再根據待測像素與周圍像素的平滑關系來判斷是否為瑕疵像素，并利用周圍像素的平滑方向值來作為校正的參考。通過本發明所提出的演算法，針對各種型態的瑕疵像素，都能更精確地判斷出瑕疵像素，再者，利用平滑方向性也可較正確判斷出在邊緣的像素是否為瑕疵像素，如此可減少誤判的機率，并能顯著且有效地校正瑕疵像素。
[0064]以上所述僅為本發明的優選實施例而已，并非用以限定本發明的權利要求的范圍；凡其它未脫離發明所揭示的精神下所完成的等效改變或修飾，均應包含在下述的權利要求范圍內。
【權利要求】
1.一種影像處理方法，適用于ηχη像素陣列的正中央的待測像素，所述待測像素具有待測像素值，所述方法包含: 預設搜尋窗口，包含多個校正像素以及置于正中央的所述待測像素； 進行第一影像校正程序，包含: 判斷所述待測像素值是否大于第一校正臨界值；以及 進行平滑方向檢測程序，包含: 找出最接近所述待測像素且與所述待測像素同顏色的多個同色像素，其中每一個所述多個同色像素具有同色像素值； 計算所述待測像素在各個方向上與所述多個同色像素的最小差異量為平滑方向值；以及 重復所述平滑方向檢測程序以對每一個所述多個校正像素計算出其所述平滑方向值；以及 根據所述多個校正像素以及所述待測像素的所述多個平滑方向值來判斷所述待測像素是否為瑕疵像素。
2.如權利要求1所述的影像處理方法，其中進行所述第一影像校正程序的步驟中，還包含: 若所述待測像素值大于所述第一校正臨界值，則將最大的所述多個同色像素值取代所述待測像素值。
3.如權利要求2所述的影像處理方法，其中判斷所述待測像素是否為所述瑕疵像素的步驟中，還包含: 判斷所述待測像素的所述平滑方向值是否大于第二校正臨界值，其中所述第二校正臨界值與所述多個校正像素的所述多個平滑方向值有關；以及 若所述待測像素值的所述校正像素大于所述第二校正臨界值，則進行第二影像校正程序。
4.如權利要求3所述的影像處理方法，其中進行所述第二影像校正程序的步驟中，包含: 比較所述待測像素與多個參考像素的每一個的差異量，其中所述多個參考像素至少包括全部的所述多個同色像素； 將所述多個參考像素的像素值與多個所述待測像素值由大到小進行排序；以及 以排序后的中間像素值取代所述待測像素值； 其中，參與排序的所述待測像素值的數量取決于所述待測像素與所述多個參考像素的差異量小于參考臨界值的次數。
5.如權利要求4所述的影像處理方法，其中所述多個參考像素中具有最大及最小像素值的像素不會與所述待測像素進行比較。
6.如權利要求4所述的影像處理方法，其中所述第一校正臨界值為最大的所述多個同色像素值加上第一校正子臨界值的總和。
7.如權利要求6所述的影像處理方法，其中所述第二校正臨界值為所有所述多個校正像素的所述多個平滑方向值的總和減去最大的所述多個平滑方向值再加上第二校正子臨界值的總和。
8.如權利要求7所述的影像處理方法，其中所述ηχη像素陣列為符合拜耳圖樣的濾色陣列的部份，且所述ηχη像素陣列包含5x5像素陣列。
9.如權利要求7所述的影像處理方法，其中所述搜尋窗口包含1x5像素陣列或1x7像素陣列。
10.一種數字攝像裝置，包含: 感光元件，用來擷取符合拜耳圖樣的像素陣列影像，所述像素陣列影像包含多個ηχη像素陣列，其中每一個所述ηχη像素陣列的正中央具有待測像素，所述待測像素具有待測像素值； 平滑方向檢測單元，用來處理包含多個校正像素以及置于正中央的所述待測像素的搜尋窗口，并計算每一個所述多個校正像素與所述待測像素的平滑方向值； 瑕疵像素判斷單元，耦接于所述感光元件以及所述平滑方向檢測單元之間，用來根據所述多個校正像素以及所述待測像素的所述多個平滑方向值來判斷所述待測像素是否為瑕疵像素；以及 瑕疵像素校正處理器，耦接于所述瑕疵像素判斷單元，用來根據所述瑕疵像素判斷單元的判斷結果來校正所述待測像素。
11.如權利要求10所述的數字攝像裝置，其中所述平滑方向檢測單元中存儲平滑方向檢測程序，其執行下列步驟: 找出最接近所述待測像素且與所述待測像素同顏色的多個同色像素，其中每一個所述多個同色像素具有同色像素值； 計算所述待測像素在各個方向上與所述多個同色像素的最小差異量為平滑方向值；以`及 重復所述平滑方向檢測程序以對每一個所述多個校正像素計算出其所述平滑方向值。
12.如權利要求11所述的數字攝像裝置，其中若所述瑕疵像素判斷單元判斷所述待測像素值大于第一校正臨界值，則控制所述瑕疵像素校正處理器將最大的所述多個同色像素值取代所述待測像素值。
13.如權利要求12所述的數字攝像裝置，其中所述瑕疵像素校正處理器包含影像校正程序，其執行下列步驟: 比較所述待測像素與多個參考像素的每一個的差異量，其中所述多個參考像素至少包括全部的所述多個同色像素； 將所述多個參考像素的像素值與多個所述待測像素值由大到小進行排序；以及 以排序后的中間像素值取代所述待測像素值； 其中，參與排序的所述待測像素值的數量取決于所述待測像素與所述多個參考像素的差異量小于參考臨界值的次數。
14.如權利要求13所述的數字攝像裝置，其中所述多個參考像素中具有最大及最小像素值的像素不會與所述待測像素進行比較。
15.如權利要求13所述的數字攝像裝置，其中若所述瑕疵像素判斷單元判斷所述待測像素的所述平滑方向值大于第二校正臨界值，則控制所述瑕疵像素校正處理器執行所述影像校正程序，其中所述第二校正臨界值與所述多個平滑方向值有關。
16.如權利要求15所述的數字攝像裝置，其中所述第一校正臨界值為最大的所述多個同色像素值加上第一校正子臨界值的總和。
17.如權利要求16所述的數字攝像裝置，其中所述第二校正臨界值為所有所述多個校正像素的所述多個平滑方向值的總和減去最大的所述多個平滑方向值再加上第二校正子臨界值的總和。
18.如權利要求10所述的數字攝像裝置，其中所述ηχη像素陣列包含5x5像素陣列。
19.如權利要求10所述的數字攝像裝置，其中所述搜尋窗口包含1x5像素陣列或1x7像素陣列。
20.如權利要求10所述的數字攝像裝置，包含數碼相機、移動通信裝置、個人數字助理、或任何電子影像傳感器。
21.如權利要求10所述的數字攝像裝置，其中所述感光元件包含感光耦合元件、互補金屬氧化物半導體、或互補金屬氧化物半導體一有源像素傳感器。
22.如權利要求10所述的數字攝像裝置，還包含: 數字化處理單元，耦接于所述瑕疵像素校正處理器，用來對已校正的所述像素陣列影像進行處理，以產生數字化影像 '及 存儲單元，存儲所述數字化影像。
【文檔編號】H04N9/04GK103686098SQ201210322469
【公開日】2014年3月26日 申請日期:2012年9月4日 優先權日:2012年9月4日
【發明者】蔡易霖 申請人:恒景科技股份有限公司