圖像處理設備、圖像處理方法和計算機程序的制作方法

專利名稱：圖像處理設備、圖像處理方法和計算機程序的制作方法
技術領域：
本發明涉及圖像處理設備、圖像處理方法和計算機程序。具體而言，本發明涉及用于通過校正其中例如由于透鏡像差而產生假彩色(false color)的圖像數據而產生高質量圖像數據的圖像處理設備、圖像處理方法和計算機程序。
背景技術：
對于使用攝像機拍攝，由于透鏡像差而產生各種問題。典型的色像差的示例包括賽德爾(Seidel)的5個像差，它們是單色像差。這是由德國的賽德爾分析并且基于透鏡球面的5個像差，并且是球面像差、彗形像差、像散像差、失真像差和場曲率的通稱術語。除了那些像差之外，已知的色像差還可以引起嚴重的問題。色像差起因于相對于透鏡材料光的折射指數根據其波長而改變的事實，并且所述色像差在圖像捕獲表面上產生假彩色。
色像差、軸向色像差和放大色像差的典型示例是公知的，由于在光軸上的焦點位置根據波長而改變，因此所述軸向色像差引起色彩模糊(color blur)，并且由于圖像放大根據波長而改變，因此放大色像差引起色移(color shift)。總體上，在英語中被稱為“紫色條紋(purple fringe)”的現象也是圖像劣化的重要原因。這是這樣的現象其中，因為由于光波長而導致的點擴展(pointspread)中的差別，因此在圖像中的邊緣部分中產生假彩色。即使當它在典型的像素中不可視時，發生白飽和(white saturation)的高對比度邊緣部分的存在也使得在所述邊緣部分周邊產生紫色假彩色，因此形成不自然的圖像，所述白飽和即其中亮度(luminance)級飽和的狀態。總體上，在白飽和部分的附近產生的假彩色被稱為“紫色條紋”，因為產生大量的基于紫色的色彩。但是，根據透鏡和拍攝條件，所述假彩色可以是任何色彩，諸如帶有綠色的色彩。以下，“紫色條紋”指的是在發生白飽和的高對比度邊緣部分出現的假彩色產生現象，而與所產生的色彩無關。
作為用于降低色像差的技術，使用以諸如螢石之類的特殊材料構成的玻璃的透鏡可以使用。但是，因為需要高成本來制造這樣的透鏡，因此價格也高。這樣的透鏡用于諸如可更換透鏡的攝像機之類的一些高級攝像機，但是不能被廣泛使用。
專利文件1描述了一種通過執行圖像處理而減少由于色像差而產生的假彩色的方法。在這個處理中，對于綠色信道高頻分量高的部分執行用于抑制色彩、即降低色彩飽和的處理。作為針對其中出現白飽和的情況的措施，專利文件1還公開了一種配置，用于通過以變化的曝光來拍攝兩個圖像，并且估計白飽和部分的原始亮度，而執行用于降低白飽和部分的色彩飽和的處理。
但是，在專利文件1中所述的處理中，因為通過降低色彩飽和而減少假彩色，因此也減少了原始對象色彩的色彩飽和，由此使得不可能如實地再現對象的原始色彩。結果，存在輸出看起來不自然的圖像的問題。另外，為了估計白飽和部分的亮度，需要兩次進行拍攝。當在兩次拍攝操作期間發生手移動或對象移動時，存在難以獲得正確結果的問題。
日本未審查專利申請公開第2003-60983號。

發明內容
已經基于上述問題而作出本發明，本發明的目的是提供一種圖像處理設備、圖像處理方法和計算機程序，它們通過關注諸如在白飽和部分周邊產生的紫色條紋之類的假彩色，有效地檢測假彩色區域，并且執行部分校正，而使得可以產生和輸出高質量圖像數據而不影響整個圖像。
本發明的第一方面提供了一種圖像處理設備。
所述圖像處理設備包括白飽和檢測單元，用于從圖像數據檢測白飽和像素；假彩色像素檢測區域設置單元，用于在由白飽和檢測單元檢測的白飽和像素周圍設置假彩色像素檢測區域；假彩色檢測單元，用于在由假彩色像素檢測區域設置單元設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正單元，用于根據周圍像素的值，對由假彩色檢測單元檢測的假彩色像素執行像素值校正處理。
另外，按照本發明的圖像處理設備的一個實施例，像素值校正單元具有補償內插單元，用于根據周圍的像素值而對假彩色像素執行補償內插處理；以及色彩模糊處理單元，用于對假彩色像素執行色彩模糊處理。
另外，按照本發明的圖像處理設備的一個實施例，像素值校正單元從在假彩色像素周圍存在的像素中，選擇除了假彩色像素和白飽和像素之外的像素，并且根據所選擇的像素而執行補償內插處理。
另外，按照本發明的圖像處理設備的一個實施例，假彩色檢測單元執行在由假彩色像素檢測區域設置單元設置的區域中將具有預設特定色彩的像素識別為假彩色像素的處理。
另外，按照本發明的圖像處理設備的一個實施例，所述假彩色是紫色條紋，并且假彩色檢測單元執行把在由假彩色像素檢測區域設置單元設置的區域中的紫色像素識別為假彩色像素的處理。
另外，按照本發明的圖像處理設備的一個實施例，所述假彩色像素檢測區域設置單元，按照在拍攝將被處理的圖像數據期間的光圈、焦距信息、和從光中心到白飽和像素(x，y)的距離的數據之中的至少一個，執行確定在由白飽和檢測單元檢測的白飽和像素周圍設置的假彩色像素檢測區域的處理。
另外，按照本發明的圖像處理設備的一個實施例，所述白飽和檢測單元執行選擇具有高于或等于預定閾值的亮度的白飽和像素的處理。
另外，按照本發明的圖像處理設備的一個實施例，圖像處理設備還包括用于執行數據轉換處理的色彩轉換單元，所述數據轉換處理將輸入圖像數據分離為亮度分量圖像數據和色彩分量圖像數據，并且所述圖像處理設備根據由所述色彩轉換單元產生的轉換數據來執行像素值校正處理。
另外，按照本發明的圖像處理設備的一個實施例，假彩色像素檢測區域設置單元具有基準圖像分析單元，用于接收基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值。所述基準圖像是與將被處理的圖像對象相同的拍攝圖像。假彩色像素檢測區域設置單元還具有假彩色像素檢測區域確定單元，用于按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值由基準圖像分析單元獲得。
另外，按照本發明的圖像處理設備的一個實施例，假彩色像素檢測區域確定單元通過使用查找表來設置假彩色像素檢測區域，在所述查找表中，基準圖像的亮度值和可產生假彩色的像素范圍或假彩色像素檢測區域彼此相關聯。
另外，按照本發明的圖像處理設備的一個實施例，假彩色像素檢測區域確定單元執行隨著在基準圖像中的對應像素的亮度值的增大而設置更寬的假彩色像素檢測區域的處理。
另外，按照本發明的圖像處理設備的一個實施例，通過使用由具有低靈敏度傳感器的圖像捕獲器件所拍攝的圖像、或在低于適當的曝光的低曝光的條件下拍攝的圖像來作為基準圖像，假彩色像素檢測區域確定單元獲得與在將被處理的圖像中的白飽和像素對應的部分的基準圖像亮度值。
另外，本發明的第二方面提供了一種圖像處理方法。所述圖像處理方法包括白飽和檢測步驟，從圖像數據檢測白飽和像素；假彩色像素檢測區域設置步驟，設置在白飽和檢測步驟中檢測的白飽和像素周圍的假彩色像素檢測區域；假彩色檢測步驟，在假彩色像素檢測區域設置步驟中設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正步驟，根據周圍像素的值，對在假彩色檢測步驟檢測的假彩色像素執行像素值校正處理。
另外，按照本發明的一個實施例，像素值校正步驟包括補償內插步驟，根據周圍的像素值而對假彩色像素執行補償內插處理；以及色彩模糊處理步驟，對假彩色像素執行色彩模糊處理。
另外，按照本發明的圖像處理方法的一個實施例，像素值校正步驟是這樣的步驟從在假彩色像素周圍存在的像素中選擇除了假彩色像素和白飽和像素之外的像素，并且根據所選擇的像素而執行補償內插處理。
另外，按照本發明的圖像處理方法的一個實施例，假彩色檢測步驟是這樣的步驟執行在假彩色像素檢測區域設置步驟中設置的區域中，將具有預設特定色彩的像素識別為假彩色像素的處理。
另外，按照本發明的圖像處理方法的一個實施例，所述假彩色是紫色條紋，并且假彩色檢測步驟是這樣的步驟執行把在假彩色像素檢測區域設置步驟中設置的區域中的紫色像素識別為假彩色像素的處理。
另外，按照本發明的圖像處理方法的一個實施例，所述假彩色像素檢測區域設置步驟是這樣的步驟按照在拍攝將被處理的圖像數據期間的光圈、焦距信息、和從光中心到白飽和像素(x，y)的距離的數據之中的至少一個，執行確定在白飽和檢測步驟中檢測的白飽和像素周圍設置的假彩色像素檢測區域的處理。
另外，按照本發明的圖像處理方法的一個實施例，所述白飽和檢測步驟是這樣的步驟執行選擇具有高于或等于預定閾值的亮度的白飽和像素的處理。
另外，按照本發明的圖像處理方法的一個實施例，圖像處理方法還包括執行數據轉換處理的色彩轉換步驟，所述數據轉換處理將輸入圖像數據分離為亮度分量圖像數據和色彩分量圖像數據，并且所述圖像處理方法還包括根據由色彩轉換單元產生的轉換數據來執行像素值校正處理。
另外，按照本發明的圖像處理方法的一個實施例，假彩色像素檢測區域設置步驟具有基準圖像分析步驟，輸入基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值，所述基準圖像是與將被處理的圖像對象相同的拍攝圖像；以及假彩色像素檢測區域確定步驟，按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值在基準圖像分析步驟中獲得。
另外，按照本發明的圖像處理方法的一個實施例，假彩色像素檢測區域確定步驟是這樣的步驟通過使用查找表來設置假彩色像素檢測區域，在所述查找表中，基準圖像的亮度值和可產生假彩色的像素范圍或假彩色像素檢測區域彼此相關聯。
另外，按照本發明的圖像處理方法的一個實施例，假彩色像素檢測區域確定步驟是這樣的步驟執行隨著在基準圖像中的對應像素的亮度值的增大而設置更寬的假彩色像素檢測區域的處理。
另外，按照本發明的圖像處理方法的一個實施例，在假彩色像素檢測區域確定步驟中，使用由具有低靈敏度傳感器的圖像捕獲器件所拍攝的圖像、或在低于適當的曝光的低曝光的條件下拍攝的圖像來作為基準圖像，獲得與在將被處理的圖像中的白飽和像素對應的部分的基準圖像亮度值。
另外，本發明的第三方面提供了一種計算機程序，用于使得計算機執行圖像處理。所述程序包括
白飽和檢測步驟，從圖像數據檢測白飽和像素；假彩色像素檢測區域設置步驟，設置在白飽和檢測步驟中檢測的白飽和像素周圍的假彩色像素檢測區域；假彩色檢測步驟，在假彩色像素檢測區域設置步驟中設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正步驟，根據周圍像素的值，對在假彩色檢測步驟檢測的假彩色像素執行像素值校正處理。
另外，按照本發明的一個實施例，假彩色像素檢測區域設置步驟包括基準圖像分析步驟，輸入基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值，所述基準圖像是與將被處理的圖像對象相同的拍攝圖像；以及假彩色像素檢測區域確定步驟，按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值在基準圖像分析步驟中獲得。
本發明的計算機程序可以被提供到例如通用計算機系統，所述通用計算機系統可以經由計算機可讀格式的諸如CD、FD或MO之類的存儲介質、或通過諸如網絡的通信介質來執行各種程序代碼。以計算機可讀格式來提供這樣的程序可以使得計算機按照所述程序而實現處理。
通過基于按照本發明的下述實施例和附圖的更詳細的說明，本發明的其它目的、特征和優點將變得清楚。此處的術語“系統”指多個設備的邏輯組合，但不限于各個設備包含在同一外殼中的系統。
按照本發明的配置，從圖像數據檢測白飽和像素，在所檢測的白飽和像素周圍設置假彩色像素檢測區域，從所設置的區域檢測具有與諸如紫色條紋之類的假彩色對應的色彩的像素，所檢測的像素被確定為假彩色像素，并且對所識別的假彩色像素執行基于周圍像素的值的校正處理。因此，可以有效地檢測在白飽和像素的鄰近產生的諸如紫色條紋的假彩色的區域，并且部分地校正像素的值。也可以產生和輸出高質量的圖像數據而不影響整個圖像。
按照本發明的配置，可以對色像差引起的諸如紫色條紋之類的假彩色執行適當的校正，所述色像差對于由攝像機拍攝的圖像而發生，并且可以實現產生和輸出高質量圖像數據。使用傳統的攝像機，有可能拍攝出不自然的圖像，除非在產生紫色條紋的情況下調整諸如透鏡光圈之類的設置。但是，當應用本發明時，可以有效地提取和校正在所拍攝的圖像中包含的諸如紫色條紋之類的假彩色，并且可以產生和輸出高質量圖像。不必關注透鏡光圈和焦距，在拍攝期間不出現紫色條紋，因此使得可以以較高的自由度來執行拍攝。
另外，按照本發明的配置，根據基準圖像來估計與白飽和像素對應的對象實際亮度，設置與對象實際亮度對應的假彩色(紫色條紋)檢測區域，并且檢測和校正在所設置區域中的假彩色(紫色條紋)像素。因此，可以設置與其中有可能產生假彩色(紫色條紋)的區域對應的假彩色(紫色條紋)檢測區域，而不使得所設置的假彩色(紫色條紋)檢測區域變得太大或太小。可以可靠地和有效地檢測假彩色(紫色條紋)像素，提高圖像校正的精確度，并且提高效率。


圖1是示出本發明的圖像處理設備的配置的圖。
圖2是圖解本發明的圖像處理方法的整個處理序列的流程圖。
圖3是圖解要由本發明的圖像處理設備校正的圖像數據的配置的圖。
圖4是在本發明的圖像處理中執行的白飽和區域檢測處理的詳細序列。
圖5是圖解在本發明的圖像處理中執行的假彩色像素檢測區域設置處理的詳細序列的流程圖。
圖6是圖解在本發明的圖像處理中執行的假彩色像素檢測區域設置處理的處理示例的圖。
圖7是圖解在本發明的圖像處理中執行的假彩色像素檢測處理中的詳細序列的流程圖。
圖8是圖解在本發明的圖像處理中執行的假彩色像素檢測處理的處理示例(使用CIE L*a*b*的情況)的圖。
圖9是圖解在本發明的圖像處理中執行的假彩色像素檢測處理的處理示例(使用YCbCr的情況)的圖。
圖10(A)和10(B)包括圖解在本發明的圖像處理中執行的假彩色像素校正處理的處理示例的圖。
圖11是圖解在本發明的圖像處理中執行的假彩色像素校正處理的詳細序列的流程圖。
圖12是圖解在本發明的圖像處理中執行的假彩色像素校正處理的詳細序列的流程圖。
圖13是圖解在本發明的圖像處理中執行的色彩模糊處理的詳細序列的流程圖。
圖14是圖解在本發明的圖像處理設備中、按照第一實施例的用于執行假彩色校正的數字信號處理的功能配置的方框圖。
圖15(a)和15(b)包括圖解對象實際亮度/邊緣配置和假彩色(紫色條紋)的產生之間的關系的圖。
圖16(a)～(c)包括圖解對象實際亮度、邊緣配置、所拍攝圖像亮度和假彩色(紫色條紋)的產生的圖。
圖17(a)、(b)、(p)、(r)、和(q)包括圖解使用例如低靈敏度傳感器以估計對象實際亮度而獲得的基準圖像的亮度信息的圖。
圖18包括圖解在對象實際亮度和假彩色(紫色條紋)的產生范圍之間的關系的圖。
圖19是圖解在第二實施例中的用于設置假彩色檢測區域的處理過程的流程圖。
圖20是示出在第二實施例中的用于設置假彩色檢測區域的處理中使用的查找表(LUT)的結構的示例的表格。
圖21是圖解在本發明的圖像處理設備中的、按照第二實施例的用于執行假彩色校正的數字信號處理的功能配置的方框圖。
圖22是圖解在本發明的圖像處理設備中的、按照第二實施例的用于執行假彩色校正的數字信號處理中的假彩色像素檢測區域設置單元的配置的方框圖。
具體實施例方式
以下，參照附圖來說明按照本發明的圖像處理設備、圖像處理方法和計算機程序的細節。
首先，將參照圖1來說明圖像處理設備的配置的示例。圖1所示的圖像處理設備具有圖像捕獲單元，并且被圖解為用于對由圖像捕獲單元捕獲的圖像的數據執行校正處理的設備的示例。但是，例如，本發明的圖像處理設備可以接收在諸如硬盤之類的存儲單元中存儲的圖像數據，并且校正所輸入的圖像。所述圖像處理設備可以不僅對經由圖像捕獲單元輸入的圖像數據執行校正處理，而且可以對諸如經由存儲裝置或網絡而輸入的圖像數據之類的各種類型的輸入圖像數據執行校正處理。圖1示出了本發明的圖像處理設備的配置的一個示例。
將說明圖1所示的圖像處理設備的詳細配置。如圖1所示，所述圖像處理設備包括透鏡101、光圈102、固態圖像捕獲器件103、相關雙采樣電路104、模數(A/D)轉換器105、DSP塊106、定時產生器107、數模(D/A)轉換器108、視頻編碼器109、視頻監視器110、編碼解碼器(CODEC)111、存儲器112、CPU 113、輸入器件114、快閃控制器件115和快閃發光器件116。
在此，輸入器件114指在攝像機主單元上提供的諸如記錄按鈕之類的操作按鈕等。DSP塊106是具有信號處理器和圖像RAM的塊。所述信號處理器可以對在圖像RAM中存儲的圖像數據執行預先編程的圖像處理。以下，DSP塊將被簡稱為“DSP”。
下面說明本實施例的整體操作。
通過光學系統已經到達固態圖像捕獲器件103的入射光首先到達圖像捕獲表面上的光接收元件，并且被光接收元件光電轉換為電信號。所述電信號的噪音被相關雙采樣電路104消除，并且作為結果產生的信號被模數轉換器105轉換為數字信號。其后，數字信號被臨時存儲在數字信號處理器(DSP)106中的圖像存儲器中。在拍攝期間，可以使得快閃發光器件116在必要時經由快閃控制器件115來發光。
當捕獲圖像時，定時產生器107控制信號處理系統以便將圖像捕獲保持在恒定的幀速率上。還向數字信號處理器(DSP)106發送像素流，在數字信號處理器(DSP)106中執行適當的圖像處理。其后，向數模轉換器108和編碼解碼器(CODEC)111之中的任何一個或兩者發送作為結果產生的圖像數據。數模轉換器108把從數字信號處理器(DSP)106發送的圖像數據轉換為模擬信號，并且視頻編碼器109將所述模擬信號轉換為視頻信號，所述視頻信號然后可以在視頻監視器110上被監視。這個視頻監視器110在本實施例中作為攝像機取景器(finder)。編碼解碼器(CODEC)111把從數字信號處理器(DSP)106發送的圖像數據編碼，并且將所編碼的圖像數據存儲在存儲器112中。在這種情況下，所述存儲器112可以是例如使用半導體、磁存儲介質、磁光存儲介質或光學存儲介質的存儲器件。
上面已經將數字攝像機系統的整個系統描述為本實施例的圖像處理設備的一個示例。通過數字信號處理器(DSP)106來執行按照本發明的圖像處理，即用于校正圖像數據的處理。下面詳細說明所述圖像處理。
將首先說明如何產生假彩色(紫色條紋)的特征。假彩色(紫色條紋)指其中由于色像差而導致的色移顯著出現在白飽和部分周圍的現象，并且具有例如產生紫色假彩色的特征。在白飽和部分周圍產生假彩色的區域的大小關聯于光學系統的類型、光學系統的光圈、和焦距、以及在高亮度部分及其周圍部分之間的亮度差，并且也按照與光學中心的距離而改變。而且，在從光學中心到高亮度像素的外部的方向上、在從高亮度像素向光學中心的方向上等，出現大量的假彩色。出現的趨勢根據執行圖像捕獲的光學系統而不同。根據如上所述的特征，本發明提供了一種用于減少紫色條紋的圖像處理方法。在此的高亮度像素指在圖像上的飽和像素，并且以下將被稱為白飽和像素。
如上所述，在作為亮度級飽和的狀態的白飽和所發生的高對比度邊緣部分產生的由透鏡像差引起的假彩色的典型現象被稱為“紫色條紋”。所述假彩色不限于紫色，并且可以是帶有綠色的色彩。在下面的實施例中，將說明產生紫色假彩色的示例，但是本發明不將假彩色限制到紫色，并且適用于校正具有在白飽和部分的鄰近產生的任何色彩的假彩色的處理。
圖2是示出本實施例的流程圖。將首先說明整個處理的概況，然后說明每個處理的細節。步驟S101是色彩空間轉換處理，其中，輸入圖像經過色彩空間轉換，并且被分離為亮度分量圖像和色彩分量圖像。接著，步驟S102是白飽和區域檢測處理，其中，從要校正的輸入圖像數據檢測白飽和部分。步驟S103是假彩色像素檢測區域設置處理，其中，設置紫色像素的搜索區域，所述紫色像素是在白飽和部分周邊產生的假彩色像素。而且，步驟S104是假彩色像素檢測處理，其中檢測在搜索區域中的紫色像素。步驟S105是假彩色像素校正處理，其中校正所檢測的紫色像素的色彩分量。而且，步驟S106是色彩模糊處理(過濾處理)，其中，進行過濾處理以提供看起來自然的結果。最后，步驟S107是色彩空間逆轉換處理，其中，轉換所校正的結果的亮度分量圖像和色彩分量圖像，并且將作為結果產生的圖像輸出為RGB彩色圖像。
輸入圖像是由例如在具有圖1所示的圖像捕獲單元的系統中的圖像捕獲單元捕獲的圖像的數據，并且是被輸入到數字信號處理器(DSP)106作為數字數據的數據。如上所述，輸入圖像數據可以是在存儲介質中存儲的圖像數據或者通過網絡從另一個設備輸入的數據。
在本實施例中，要被處理的輸入圖像被稱為RGBin。RGBin是具有每個像素中的色彩信息的圖像，并且是通過對從攝像機的固態圖像捕獲器件輸出的數據執行去馬賽克(demosaic)處理和白平衡處理而獲得。將被處理的輸入圖像RGBin，如圖3所示，在輸入圖像RGBin的x方向上的像素的數量(寬度)被指示為w，并且在y方向上的像素的數量(高度)被指示為h。下面詳細說明每個步驟。
首先，在步驟S101中的色彩空間轉換處理中，輸入圖像RGBin被轉換，并且被分離為亮度分量圖像Lin和色彩分量圖像Cin。即，輸入的RGB彩色圖像被轉換為具有亮度分量的色彩空間數據和具有色彩分量的色彩空間數據。例如，YCbCr或CIEL*a*b*可以用于所轉換數據的色彩空間。
接著，在步驟S102中的白飽和區域檢測處理中，執行基于所轉換的圖像數據的白飽和區域檢測處理(白飽和屏蔽確定)。即，從圖像數據檢測白飽和像素，并且產生作為二進制圖像的白飽和屏蔽S。將參照圖4來說明在步驟S102中執行的白飽和像素檢測處理的細節。
在步驟S201和S202中，在要校正的圖像數據中，初始化要檢查的像素的位置。在所述初始化中，要檢查的像素的位置被設置為x＝0和y＝0。在步驟S203中，確定具有亮度分量圖像Lin的像素(x，y)的亮度是否高于或等于預定閾值。當所述亮度高于或等于所述閾值時，處理進行到步驟S204，其中，將白飽和屏蔽S(x，y)設置為真。當亮度低于或等于閾值時，處理進行到步驟S205，其中，將白飽和屏蔽S(x，y)設置為假。
在步驟S206，更新像素位置x。在步驟S207，確定是否x達到最大值(x＝w)。當x未達到最大值時，重復執行步驟S203和隨后的步驟。當在步驟S207中x達到最大值(x＝w)時，處理進行到步驟S208，更新像素位置y。在步驟S209，確定是否y達到最大值(y＝h)。當y未達到最大值時，重復執行步驟S202和隨后的步驟。當結束了對于所有像素(x＝0到w，y＝0到h)的處理時，結束產生白飽和屏蔽。
結果，對每個像素位置產生在具有高于閾值的亮度級的像素區域和具有等于或低于閾值的亮度區域的像素區域之間區別的白飽和屏蔽。當設置了0(暗)-255(亮)的亮度級時，所述閾值被設置到例如大約250，并且將具有高于或等于250的亮度級的像素提取為白飽和產生像素，并且產生僅僅可以區別那些像素的白飽和屏蔽。
通過如上所述的處理，結束了圖2所示的步驟S102。接著，執行在步驟S103中的假彩色像素檢測區域設置處理。在這個處理中，執行對于在白飽和部分周邊的假彩色產生部分的搜索區域設置(擴大(dilate))處理。在這種情況下，產生用于區別在白飽和部分周邊的假彩色產生部分的搜索區域的屏蔽P，即代表在白飽和部分周邊的紫色像素的搜索區域的屏蔽P。P是二進制屏蔽圖像。
將參照圖5來說明在步驟S103中的假彩色產生部分搜索區域設置處理的細節。首先，在步驟S301中，將假彩色區域屏蔽P的所有像素初始化為假。接著，在步驟S302和S303中，初始化像素位置。在所述初始化中，將像素位置設置為x＝0和y＝0。
在設置了像素位置后，在步驟S304，確定所設置的像素位置的白飽和屏蔽S的像素值。當白飽和屏蔽S(x，y)對于所設置的像素位置(x，y)為假時，處理進行到步驟S314以進行對下一像素的處理。如果S(x，y)為真，則處理進行到步驟S305。當白飽和屏蔽S(x，y)對于像素位置(x，y)為假時，這意味著像素位置(x，y)的像素值指示非白飽和的像素。當白飽和屏蔽S(x，y)對于像素位置(x，y)為真時，這意味著像素位置(x，y)的像素值指示白飽和的像素。
當白飽和屏蔽S(x，y)對于像素位置(x，y)為真時，在步驟S305，確定其中可以在白飽和像素(x，y)周邊產生假彩色的區域。如上所述，在白飽和部分周邊出現紫色條紋，并且其中會出現紫色條紋的區域根據光學系統的類型、光圈/焦距的設置、和在高亮度像素及其周圍像素之間的亮度差而改變。其中會發生紫色條紋的區域也根據距圖像上的光學中心的距離而改變。可以在拍攝期間存儲光學系統的類型和設置的信息，以用于圖像處理。可以容易地確定在白飽和部分和光學中心部分之間的位置關系。
例如，根據圖像捕獲系統的光學系統的特征，在本實施例中使用預設假彩色像素檢測區域確定信息，諸如包含對應于圖像區域的假彩色像素檢測區域的查找表(LUT)。例如，所述查找表(LUT)具有能夠輸出作為輸入參數的假彩色檢測區域信息的結構，所述假彩色檢測區域信息諸如從圖像上的光學中心到白飽和像素(x，y)的距離、在圖像數據的拍攝期間的光圈、和焦距信息。
從圖像數據的屬性信息獲得在圖像數據的拍攝期間的光圈和焦距信息，并且被設置為在這個流程中要檢查的信息的所述像素位置信息用于從圖像上的光學中心到白飽和像素(x，y)的距離。
當不能獲得諸如在圖像數據的拍攝期間的光圈和焦距信息之類的屬性信息時，可以僅根據從圖像上的光學中心到白飽和像素(x，y)的距離來確定假彩色像素檢測區域。而且，可以把白飽和像素(x，y)周邊的一定區域自動設置為假彩色像素檢測區域，而不使用諸如從光學中心到白飽和像素(x，y)的距離之類的信息。
在步驟S305中，將白飽和像素(x，y)周邊的假彩色像素檢測區域的范圍確定為四個標量值(x0，x1，y0，y1)。在這個確定中，如圖6所示，將由飽和白像素(x，y)201周邊的x0至x1和y0至y1限定的矩形區域確定為假彩色像素檢測區域202。由圖6中的虛線指示的像素203是除了所關注的白飽和像素(x，y)201之外的白飽和像素203。
接著，關于所確定的假彩色像素檢測區域(x0，x1，y0，y1)，將由i＝x0和j＝y0表達的點設置為原點(在步驟S306和S307)。在步驟S308至S312中，關于在假彩色像素檢測區域(x0，x1，y0，y1)中的每個像素而確定是否白飽和屏蔽S(i，j)的值為真或假。關于圖6中所示的假彩色像素檢測區域202中包括的像素，依序確定是否白飽和屏蔽的值為真或假。在圖6中，關于所關注的白飽和像素(x，y)201和白飽和像素203，確定白飽和屏蔽S(i，j)為真。
當在步驟S308中確定白飽和屏蔽S(i，j)為真時，處理進行到步驟S310，其中執行對于下一像素的處理。當白飽和屏蔽S(i，j)為假時，處理進行到步驟S309，其中，將假彩色區域屏蔽P(i，j)的值設置為真。其后，處理進行到步驟S310，其中，執行對下一像素的處理。步驟S310-S313包括用于更新i和j的值的處理和用于確定是否滿足最大值i＝x1和j＝y1的處理。當依序更新i和j的值時，確定在特定像素(x，y)周邊設置的假彩色區域屏蔽P(i，j)的值。
假彩色屏蔽P(i，j)＝真表示所述像素屬于假彩色像素檢測區域，并且不是白飽和像素。假彩色區域屏蔽P(i，j)＝假表示所述像素不屬于假彩色像素檢測區域，或者是白飽和像素。
當在步驟S313中確定完成對在假彩色像素檢測區域(xo，x1，y0，y1)中的所有像素(i，j)的處理時，所述處理進行到步驟S314。步驟S314-S317包括更新x和y的值的處理和確定是否滿足最大值x＝w和y＝j的處理。當依序更新x和y的值時，關于將被處理的圖像(x＝0到w和y＝0到h)中的所有像素來確定假彩色區域屏蔽P(i，j)的值，并且產生假彩色區域屏蔽P(i，j)。當確定已經處理在所述圖像中的所有像素(x，y)時，結束在圖2中所示的步驟S103中的假彩色像素檢測區域設置處理。
下一處理是在圖2中所示的步驟S104中的假彩色像素檢測處理。在步驟S103中，雖然使用假彩色區域屏蔽P而確定了白飽和部分周邊的假彩色，即其中可以在圖像中產生紫色條紋的區域，但是在下一步驟S104中進行檢測實際上被假定具有紫色條紋的像素的處理。即，從在滿足假彩色區域屏蔽P＝真的區域中的像素中檢測實際上假定具有紫色條紋的像素。
在步驟S104中，通過蓋寫在步驟S103中計算的假彩色區域屏蔽P，來更新假彩色區域屏蔽P，由此產生使得能夠僅僅識別被最終確定為具有假彩色的像素的假彩色區域屏蔽P。將參照圖7來說明在步驟S104中的假彩色像素檢測處理的細節。
在步驟S401和S402中，初始化圖像數據像素位置。在所述初始化中，將像素位置設置為x＝0和y＝0。在步驟S403中，確定像素位置(x，y)的假彩色區域屏蔽P的值。對于P(x，y)＝假，處理進行到步驟S406。對于P(x，y)＝真，處理進行到步驟S404。
如上所述，假彩色區域屏蔽P(i，j)＝真表示所述的像素屬于假彩色像素檢測區域，并且不是白飽和像素。假彩色區域屏蔽P(i，j)＝假表示所述的像素不屬于假彩色像素檢測區域，或者是白飽和像素。
當像素位置(x，y)滿足假彩色區域屏蔽P(i，j)＝真時，即所述的像素屬于假彩色像素檢測區域并且不是白飽和像素時，在步驟S404確定是否在位置(x，y)的色彩分量圖像Cin的色彩是對應于假彩色的色彩。例如，確定是否所述色彩是紫色條紋的紫色。
確定是否色彩分量圖像Cin(x，y)是與例如紫色的假彩色對應的色彩的方法根據所轉換的色彩空間而改變。將參照圖8來說明當例如CIE L*a*b*用于色彩空間時的確定方法的一個示例。使用分量a*和分量b*來確定色彩分量。CIE L*a*b*具有如下的特征。當分量a*的值增加時，色彩接近紅色(Red)，當分量a*的值降低時，色彩接近綠色(Green)。當分量b*的值增加時，色彩接近黃色(Yellow)，當分量b*的值降低時，色彩接近藍色(Blue)。因此，當在第四象限中存在(a*，b*)時，它具有接近紫色(Purple)的色彩。使用由向量(a*，b*)和軸a*形成的角度α來確定是否色彩是紫色。
被確定為假彩色的紫色的角度范圍被適當地設置為參數。或者，預定值用于所述角度范圍。假彩色(紫色條紋)部分像素的色彩飽和趨向高。因此，僅僅當上述的條件被滿足且色彩分量Cin的色彩飽和高于或等于預設閾值時，可以確定為假彩色(紫色條紋)。
確定是否色彩分量圖像Cin(x，y)是與例如紫色的假彩色對應的色彩的方法根據所轉換的色彩空間而改變。下面說明對于YCbCr用于色彩空間的情況的處理。在這種情況下，使用分量Cb和分量Cr來確定色彩分量。因為Cb＝128和Cr＝128表示在YCbCr空間中的非彩色色彩，因此由Cb和Cr表示的色彩被表達為(Cb-128，Cr-28)。例如，由(Cb-128，Cr-128)＝(a×cosθ，a×sinθ)的θ表達的角度被用作色調。通過例如確定是否角度θ在預先指定的范圍內來確定是否色彩分量圖像Cin(x，y)是對應于假彩色的色彩。
參照圖9來說明如下處理確定在使用YCbCr的配置中是否Cin(x，y)具有在預先指定的色調范圍中的色調，即具有在對應于諸如紫色條紋(PF)之類的假彩色的色調范圍中的色調。圖9是示出在色彩空間中的紫色條紋(PF)色調范圍的圖。在圖9中二維地繪制了當YCbCr空間被用作色彩空間的一個示例時對應于色彩信息的CbCr。水平軸指示Cb的值，垂直軸指示Cr的值。原點250具有對應于Cb＝128和Cr＝128的色彩。
作為指定對應于紫色條紋(PF)的色調范圍的方法，使用用于確定是否所述的色調在兩個色彩色調的范圍中的方法。所述紫色條紋具有紫色，并且在圖9所示的二維CbCr坐標空間中設置這個特定的色調范圍。在所述附圖中所示的色調線251和色調線252之間的區域被設置為指示對應于紫色條紋(PF)的色調范圍253的區域。
可以根據在圖9所示的色調范圍253中是否包括Cin(x，y)來確定是否Cin(x，y)是對應于假彩色的色彩。
被確定為假彩色的紫色的角度范圍被適當地設置為參數。或者，將預定值用于所述角度范圍。假彩色(紫色條紋)部分像素的色彩飽和趨向高。因此，僅僅當滿足上述條件并且色彩分量Cin的色彩飽和高于或等于預設閾值時，可以將其確定為假彩色(紫色條紋)。以這種方式，當確定Cin(x，y)是假彩色(紫色條紋)像素時，處理進行到步驟S406。當確定Cin(x，y)不是假彩色(紫色條紋)時，處理進行到步驟S405。
在步驟S405中，假彩色區域屏蔽P(x，y)被設置為假，并且處理進行到步驟S406。即，在步驟S103(圖2)中的上述處理中已經被確定為可能具有假彩色，即假彩色區域屏蔽P(x，y)＝真，的像素被最終確定為不具有假彩色，根據這個最終的確定，改變(更新)為假彩色區域屏蔽P(x，y)＝假。
即，在圖7所示的處理中，僅僅已經被所述色彩確定最終確定為具有假彩色的像素，被從由步驟103(圖2)中的上述處理確定為可能具有假彩色的像素中分類，并且更新假彩色區域屏蔽P(x，y)。
步驟S406至S409包括更新x和y的值的處理和確定是否滿足最大值x＝w和y＝h的處理。當依序更新x和y的值時，關于將被處理的圖像(x＝0-w和y＝0-h)中的所有像素而確定假彩色區域屏蔽P(i，j)的值，并且產生假彩色區域屏蔽P(i，j)。當確定已經處理了在圖像中的所有像素(x，y)時，結束在圖2中所示的步驟S104中的假彩色像素檢測處理。
下面說明圖2所示的步驟S105中的假彩色像素校正處理。在步驟S104中，如上所述，已經產生了用于識別被確定為具有假彩色(紫色條紋)的像素的假彩色區域屏蔽P。在下一步驟S105中，通過基于像素周圍的像素的像素值來進行補償重復處理，而執行內插被確定為具有假彩色(紫色條紋)的像素的色彩的處理。在此的“補償”處理指根據周圍像素的像素值而依序重復假彩色像素內插處理。
圖10(A)和10(B)是圖解在圖2中所示的步驟S105中的假彩色像素校正處理的示意圖。如圖10(A)所示，在直到步驟S104的處理中的所有像素被分類到“白飽和像素301”、“假彩色(紫色條紋)像素302”和“既非白飽和又非紫色條紋像素的像素303”中的任意一個。
在補償重復處理的第一步驟中，掃描在圖像中的每個像素。如果假彩色(紫色條紋)像素302(位置(x，y))在既非白飽和又非紫色條紋像素的像素303的鄰近，例如，如果像素303存在于周圍的8個鄰近像素中，則將鄰近像素303的像素色彩分量C的平均值設置為新的像素色彩分量C(x，y)。
以這種方式，對所有像素執行一次根據其它像素303而設置假彩色(紫色條紋)像素302的像素值的處理。結果，如圖10(B)所示，其它像素303鄰近的假彩色(紫色條紋)像素302的色彩分量被內插，并且將假彩色(紫色條紋)像素302設置為內插的假彩色(紫色條紋)像素304。
另外，在下面的補償重復處理中，根據其它像素303和內插的假彩色(紫色條紋)像素304來類似地內插其它像素303或內插的假彩色(紫色條紋)像素304的鄰近的假彩色(紫色條紋)像素302的色彩分量。將這樣的重復處理重復固定次數。在這個處理中，假彩色(紫色條紋)像素302在由圖10(B)所示的箭頭320指示的方向上被依序設置為內插的假彩色(紫色條紋)像素304。在重復執行了固定次數的這樣的重復處理后，即使存在其色彩分量還沒有被內插的假彩色(紫色條紋)像素302，也確定使用它們周圍的像素的彩色內插是不可能的，并且執行均勻地降低那些像素的色彩的色彩飽和的處理。
以這種方式，圖2所示的步驟S105中的假彩色像素校正處理是補償重復處理，即根據除了白飽和像素周圍之外的像素而設置在步驟S104中被確定為具有假彩色(紫色條紋)的像素的像素值的處理。對通過上述處理而未被內插的剩余的假彩色(紫色條紋)像素302執行色彩飽和降低處理。
將參照圖11和12所示的處理流程來說明在步驟S105中的假彩色像素校正處理的細節。在圖11和12中的處理流程中，在圖11中所示的步驟S501-S515中的處理是用于補償假彩色(紫色條紋)像素的色彩分量的處理，在圖12中所示的步驟S516-S523中的處理是用于降低還未被補償的像素的色彩飽和的處理。
從圖11依序進行說明。首先，在步驟S501中，在圖2中所示的步驟S104中的假彩色像素檢測處理中產生的假彩色區域屏蔽P的內容被復制到具有大致相同的大小的二進制屏蔽P”上。示例包括假彩色區域屏蔽P＝真→二進制屏蔽P”＝真 (1)假彩色區域屏蔽P＝假→二進制屏蔽P”＝假 (0)在步驟S502，指示補償處理的重復次數的變量t的值被設置為0。在步驟S503中，二進制屏蔽P”的值被復制到具有大致相同大小的另一二進制屏蔽P’上。這些屏蔽P”和P’是用于存儲通過重復處理而降低的假彩色(紫色條紋)像素302的位置的臨時屏蔽圖像。
接著，在步驟S504和S505中，指示將被處理的像素的位置坐標的變量x和y被初始化以滿足x＝0和y＝0。接著，在步驟S506中，確定二進制屏蔽P’(x，y)的值。對于二進制屏蔽P’(x，y)＝假，即，當將被處理的像素不是假彩色像素時，處理進行到步驟S510。對于二進制屏蔽P’(x，y)＝真，即當將被處理的像素是假彩色像素時，處理進行到步驟S507。
在步驟S507中，確定是否在像素(x，y)的鄰近的像素中存在滿足二進制屏蔽P’＝假與白飽和屏蔽S＝假的像素。即，確定是否存在既非假彩色像素又非白飽和像素的像素。當確定在像素(x，y)的鄰近的像素中不存在滿足這樣的條件的像素時，處理進行到步驟S510。
當確定在像素(x，y)的鄰近的像素中存在既非假彩色像素又非白飽和像素的像素時，處理進行到步驟S508。在步驟S508，確定并且對于坐標(x，y)的色彩分量C(x，y)設置滿足二進制屏蔽P’＝假且白飽和屏蔽S＝假，即既非假彩色像素又非白飽和像素的一個或多個像素的色彩分量C的平均值。即，將所確定的平均值設置為像素(x，y)的像素值。通過這種內插處理，設置在圖10(b)中所示的內插的假彩色(紫色條紋)像素304。
在這個處理后，處理進行到步驟S509。在步驟S509，將二進制屏蔽P”(x，y)的值設置為假。即，在二進制屏蔽P”(x，y)上，將已經從假彩色像素改變為內插假彩色像素的像素設置為可以被識別為非假彩色像素的像素。
步驟S510-S513包括更新將被處理的像素的坐標的處理和確定最大值的處理。在步驟S510，將x坐標的值增大1。接著，在步驟S511，確定是否滿足x＞w-1(w是輸入圖像的寬度)。當確定滿足x＞w-1時，處理進行到步驟S512。當確定不滿足x＞w-1時，處理進行到步驟S506。
在步驟S512，y坐標增大1。接著，在步驟S513，將y坐標與h-1相比較，h-1是y坐標的最大值(h是輸入圖像的高度)。當確定滿足y＞h-1時，處理進行到步驟S514。當確定不滿足y＞h-1時，處理進行到步驟S505。
在步驟S514，指示重復次數的t增大1。在步驟S515，確定是否重復次數t是預定值tmax或更大。同時，對于屏蔽圖像P”，確定是否具有真值的像素的數量是0。即，確定是否通過補償內插處理還沒有被完全內插的假彩色像素的數量是0。當確定上述兩個條件的任何一個為真時，處理進行到步驟S516。當確定兩個條件均為假時，處理返回步驟S503，并且再次執行補償處理。
在步驟S515，當在確定是否重復次數t達到預定值tmax或更大的處理中，或者在確定是否通過補償內插處理還沒有被完全內插的假彩色像素的數量是0的處理中，確定為真時，處理進行到圖12所示的步驟S516。
在步驟S516和S517中，指示將被處理的像素的坐標的變量x和y被初始化以滿足x＝0和y＝0。接著，在步驟S518中，確定是否(x，y)的二進制屏蔽P”的值為真。即，確定是否將被處理的像素是假彩色像素。對于二進制屏蔽P”(x，y)＝真，即對于假彩色像素，處理進行到步驟S519。對于二進制屏蔽P”(x，y)＝假，即對于非假彩色像素，處理進行到步驟S520。
當將被處理的像素是假彩色像素時，在步驟S519中執行色彩飽和降低處理，用于降低像素(x，y)的色彩分量C(x，y)的色彩飽和。例如，當使用L*a*b*色彩系統時，可以通過將a*和b*的每個分量的值乘以在范圍1.0到0.0中的常數而均勻地降低色彩飽和。當在步驟S519中的色彩飽和降低處理結束時，處理進行到步驟S520。在步驟S520，將x坐標的值增大1。接著，在步驟S521，確定是否滿足x＞w-1。當確定滿足x＞w-1時，處理進行到步驟S522。當確定不滿足x＞w-1時，處理進行到步驟S518，并且對已經更新了x坐標的鄰近像素重復類似的處理。
在步驟S521，當確定滿足x＞w-1時，達到x坐標的最大值，因此處理進行到步驟S522，其中y坐標被增大1。在下一步驟S523，將y坐標與h-1相比較，h-1是y坐標的最大值。當不滿足y＞h-1時，處理進行到步驟S517，并且對具有更新的y坐標的像素重復類似的處理。當在步驟S523確定滿足y＞h-1時，結束假彩色像素校正處理。通過如上所述的處理，圖2所示的步驟S105中的假彩色像素校正處理結束。
當結束在步驟S105中的假彩色像素校正處理時，接著執行在步驟S106中的色彩模糊處理(過濾)。在步驟S105，通過重復補償處理而內插假彩色(紫色條紋)像素的色彩，并且還沒有補償的假彩色(紫色條紋)像素經過降低色彩飽和的處理。但是，其彩色相對較快地改變的部分可以存在于經過在步驟S105中的處理的假彩色(紫色條紋)部分中。在步驟S106中的色彩模糊處理(過濾)中，執行應用模糊過濾器的處理以降低快速的色彩改變。
參照圖13所示的處理流程來說明在步驟S106中的色彩模糊處理(過濾)的細節。首先，在步驟S601，將指示色彩模糊處理(過濾)的重復次數的變量t的值設置為0。接著，在步驟S602中，由如上所述的步驟S105中的假彩色像素校正處理更新的色彩分量圖像C被復制到具有大致相同的大小的色彩分量圖像C’上。
接著，在步驟S603和S604中，指示將被處理的像素的坐標的變量x和y被初始化以滿足x＝0和y＝0。接著，在步驟S605，確定假彩色區域屏蔽P(x，y)的值。對于假彩色區域屏蔽P(x，y)＝假，即對于非假彩色像素，處理進行到步驟S607。對于假彩色區域屏蔽P(x，y)＝真，即對于假彩色像素，處理進行到步驟S606。
假彩色區域屏蔽P(x，y)是對于下述像素被設置為真的屏蔽，所述像素根據在如上所述的步驟S104中的假彩色像素檢測處理(對應于圖7中的處理流程)中的色彩(像素值)確定而被確定為具有假彩色。假彩色區域屏蔽P(x，y)是對于由如上所述的步驟S105中的假彩色像素校正像素處理所校正的假彩色像素區域而保持值“真”的屏蔽數據。因為假彩色區域屏蔽P(x，y)用于色彩模糊(過濾)處理，因此假彩色區域屏蔽P(x，y)的復制屏蔽P”用于在步驟S105中的假彩色像素校正處理。
繼續圖13中的色彩模糊處理(過濾)的說明。當在步驟S605中假彩色屏蔽P(x，y)為真時，即當所述的像素是假彩色像素時，處理進行到步驟S606。在步驟S606中，向色彩分量應用模糊過濾。這是按照指示周圍像素的色彩分量的像素值C而更新指示在色彩分量圖像C’中的像素(x，y)的色彩分量的像素值C(x，y)的值的處理。例如，確定包括將被處理的像素(x，y)及其周圍的8個像素的9個像素的色彩分量C’的平均值，并且應用移動平均過濾器以便將所述平均值設置為將被處理的像素(x，y)的更新的像素值C(x，y)。
在結束步驟S606中的模糊過濾應用處理后，在步驟S607-S610，更新將被處理的像素的坐標，并且檢查最大值。在步驟S607，x坐標的值增大1。接著，在步驟S608，確定是否滿足x＞w-1。當確定滿足x＞w-1時，處理進行到步驟S608。當確定不滿足x＞w-1時，處理返回步驟S604，并且對已經更新x坐標的像素執行類似的處理，并且在必要時執行模糊處理。
當在步驟S608確定滿足x＞w-1時，處理進行到步驟S609，其中，y坐標被增大1。在下一步驟S610中，將y坐標與h-1相比較，h-1是y坐標的最大值。當確定不滿足y＞h-1時，處理進行到步驟S603，并且對具有更新的y坐標的像素執行類似的處理，并且在必要時執行模糊處理。
當在步驟S610確定滿足y＞h-1時，處理進行到步驟S611。在步驟S611，執行把色彩模糊處理(過濾)的重復次數t增大1的處理。在步驟S612中，確定是否重復次數t是預定閾值t’max或更大。對于t＜t’max，處理返回步驟S602，對于t≥t’max，結束色彩模糊處理(過濾)。
通過如上所述的處理，圖2所示的步驟S106中的色彩模糊處理(過濾)結束。當結束在步驟S106中的色彩模糊處理(過濾)時，在下一步驟S107，轉換原始圖像的亮度分量圖像Lin和從上述處理產生的色彩分量圖像C，并且將作為結果產生的圖像RGBout輸出為RGB彩色圖像，由此完成整個處理。
雖然已經在上述的處理示例中描述了在圖7所示的步驟S404中將假彩色確定為紫色的示例，但是假彩色的色彩不限于紫色，而是可以是例如帶有綠色的色彩。在這種情況下，在步驟S404將假彩色設置為不同的色彩，并且配置用于確定具有作為假彩色的所設置色彩的像素的假彩色區域屏蔽P(x，y)由此允許對應于任意色彩的處理。
當校正多種不同色彩，例如包括紫色和綠色的多種色彩時，可以對不同的色彩多次執行圖2所示的處理，或者可以使用下述配置來執行圖2所示的處理，在所述配置中，把包括紫色和綠色的多種色彩的像素值確定為真的假彩色區域屏蔽P(x，y)被設置為屏蔽。這使得可以校正包含多種色彩的假彩色。
圖14是示出在執行上述處理的本發明的圖像處理設備中的數字信號處理器(DSP)(對應于圖1所示的DSP 106)的功能配置的方框圖。將參照圖14中所示的方框圖，同時與圖2所示的流程圖相比較，來說明由數字信號處理器(DSP)106執行的處理。
在功能上，如圖14所示，數字信號處理器(DSP)106具有色彩轉換單元401、白飽和檢測單元402、假彩色像素檢測區域設置單元403、假彩色(紫色條紋)檢測單元404、像素值校正單元410和色彩逆轉換單元405。像素值校正單元410包括假彩色(紫色條紋)補償內插單元411和假彩色(紫色條紋)模糊處理單元412。
數字信號處理器(DSP)106從輸入圖像幀存儲器420接收圖像數據(RGBin)，并且色彩轉換處理單元401將輸入的RGB圖像的色彩空間轉換，并且將其分離為亮度分量和色彩分量。由色彩轉換處理單元401執行的處理對應于在圖2中所示的流程圖中步驟S101中的處理。輸入圖像RGBin被轉換，并且被分離為亮度分量圖像Lin和色彩分量圖像Cin。即，RGB色彩輸入圖像被轉換為具有亮度分量的色彩空間和具有色彩分量的色彩空間。YCbCr或CIE L*a*b*等可以用于所述色彩空間。
接著，根據由色彩轉換處理單元401轉換的數據，白飽和檢測單元402檢測具有白飽和的像素部分。這個處理對應于在圖2所示的流程圖中的步驟S102。具體上，如上參照圖4所示的流程圖所述，檢測具有高于或等于預定亮度閾值的亮度的像素，并且執行產生用于識別白飽和像素的白飽和屏蔽S(x，y)的處理。
假彩色像素檢測區域設置單元403執行用于在由白飽和檢測單元402檢測的白飽和像素周邊的部分設置假彩色像素檢測區域的處理。這個區域設置處理是用于確定其中能夠在滿足白飽和屏蔽S(x，y)＝真的白飽和像素(x，y)周邊產生假彩色的區域的處理，并且將假彩色像素檢測區域確定信息用于其。這個處理對應于在圖2所示的流程圖中的步驟S103，并且按照圖5所示的處理流程而被執行。
例如，使用具有與從圖像上的光學中心到白飽和像素(x，y)的距離相關聯的假彩色像素檢測區域信息、和在拍攝圖像數據期間的光圈和焦距信息的查找表(LUT)，假彩色像素檢測區域設置單元403在每個白飽和像素(x，y)周邊設置假彩色像素檢測區域。當不可獲得在拍攝圖像數據期間的光圈和焦距信息等時，可以僅僅根據從圖像上的光學中心到白飽和像素(x，y)的距離來確定假彩色像素檢測區域。而且，在白飽和像素(x，y)周邊的一定區域可以總是被設置為假彩色像素檢測區域，而不使用諸如從光學中心到白飽和像素(x，y)的距離之類的信息。
如上參照圖6所述，假彩色像素檢測區域設置單元403將在白飽和像素(x，y)201周邊的假彩色像素檢測區域的范圍確定為四個標量值(x0，x1，y0，y1)，并且進一步產生通過去除在那個區域中的白飽和像素而獲得的假彩色區域屏蔽P。
假彩色(紫色條紋)檢測單元404使用由假彩色像素檢測區域設置單元403設置的假彩色區域屏蔽P，并且進一步執行檢測通過對每個像素進行色彩確定處理而被確定為具有假彩色(紫色條紋)的像素的處理。即，更新假彩色區域屏蔽P以產生能夠僅僅識別要校正的假彩色像素的假彩色區域屏蔽P。這個處理對應于在圖2所示的流程圖中的步驟S104，并且按照圖7所示的處理流程而被執行。如上所述，要確定為假彩色的色彩是任意的，因此，其中僅僅具有特定色彩值的紫色被設置為假彩色的配置、或其中諸如綠色和紫色之類的多種色彩被設置為假彩色的配置是可能的。
假彩色(紫色條紋)補償內插單元411執行校正由假彩色(紫色條紋)檢測單元404確定為具有假彩色的像素的處理。所述處理對應于在圖2所示的流程圖中的步驟S105，并且按照圖11和12中所示的處理流程而被執行。這個像素值校正處理包括補償內插處理(見圖10和11)和色彩飽和降低處理(見圖12)，所述補償內插處理是對于根據除了周圍假彩色和白飽和像素之外的像素的值而被確定為具有假彩色(紫色條紋)的像素而執行的，所述色彩飽和降低處理針對還沒有被預定重復次數的補償內插處理校正的假彩色(紫色條紋)像素。
假彩色(紫色條紋)模糊處理單元412對由假彩色(紫色條紋)補償內插單元411的處理校正的數據執行模糊處理。這個處理對應于在圖2所示的流程圖中的步驟S106，并且按照圖13所示的處理流程而被執行。
假彩色(紫色條紋)模糊處理單元412提取被假彩色(紫色條紋)檢測單元404確定為具有假彩色的像素，并且向色彩分量應用模糊過濾。例如，假彩色(紫色條紋)模糊處理單元412確定包括將被處理的像素(x，y)及其周圍的8個像素的9個像素的平均值，并且執行將所述平均值設置為將被處理的像素(x，y)的更新像素值的移動平均過濾處理。
色彩逆轉換單元405轉換原始圖像的亮度分量圖像Lin和作為上述處理結果的色彩分量圖像C，并且將作為結果產生的圖像RGBout輸出為RGB色彩圖像。
當應用本發明時，可以對由色像差引起的、諸如紫色條紋的假彩色執行適當的校正，其中所述色像差對由攝像機拍攝的圖像發生，并且可以實現高質量圖像數據的產生和輸出。使用傳統的攝像機，有可能拍攝不自然的圖像，除非在產生紫色條紋的情況下調整諸如透鏡光圈的設置。但是，當應用本發明的圖像處理時，可以執行校正以便所拍攝的圖像看起來更自然。因此，不必關注透鏡光圈和焦距，在拍攝期間不發生紫色條紋，因此使得可以以較高的自由度來進行拍攝。
接著，將說明本發明的第二實施例的配置。如參照第一實施例的在圖5的流程而詳細描述，在圖2的流程中的步驟S103中的假彩色像素檢測區域設置處理中，當在圖5的步驟S304中像素位置(x，y)的像素值指示白飽和像素時，在步驟S305中在白飽和像素周邊設置假彩色像素檢測區域(x0，x1，y0，y1)，并且執行從假彩色像素檢測區域(x0，x1，y0，y1)檢測假彩色像素的處理(圖2中的步驟S104和圖7中的流程)。
在如上所述的第一實施例的處理中，使用預設的假彩色圖像檢測區域確定信息的處理被用來設置在白飽和像素周邊的假彩色圖像檢測區域(x0，x1，y0，y1)，所述預設的假彩色圖像檢測區域確定信息諸如查找表(LUT)，其中根據圖像捕獲系統的光學系統的特征來設置對應于圖像區域的假彩色像素檢測區域。
如上所述，在所拍攝圖像中包括的白飽和像素是高亮度像素，即，圖像中的飽和像素。例如，對于其亮度值可以被設置在0-255范圍內的圖像數據，將超過250的所有像素確定為白飽和像素，并且根據查找表在白飽和像素周邊設置假彩色像素檢測區域(x0，x1，y0，y1)。但是，白飽和像素，即所拍攝圖像中的高亮度像素不是全部根據具有相同明度(brightness)的對象而產生的，而是具有高于或等于一定明度的明度的對象產生白飽和像素。即，具有對象明度的一定程度高級別到其很高級別的部分在所拍攝的圖像中全部顯現為白飽和像素。
但是，其中在白飽和像素周邊出現紫色條紋的區域根據對象的明度級的改變、即在邊緣部分的明度中的差而變化。即使對于在所拍攝的圖像數據中的相同的白飽和像素，具有與在白飽和像素及其鄰近像素之間的明度級差對應的邊緣部分中的大明度差的白飽和像素導致大的紫色條紋產生區域，并且在邊緣部分中具有小明度差的白飽和像素導致小的紫色條紋產生區域。因此，總體上，對于具有高對象明度級(實際明度)的白飽和像素，紫色條紋產生區域趨向于減少，對于具有很高對象明度級(實際明度)的白飽和像素，產生區域趨向于增加。
因此，即使對于在所拍攝圖像數據中的相同的白飽和像素，按照對象的實際明度而改變和設置假彩色像素檢測區域(x0，x1，y0，y1)可以實現假彩色像素的可靠和有效的檢測。在第二實施例中，檢測或估計對象的實際明度(實際亮度)，并且按照對象的實際亮度來設置假彩色像素檢測區域。
如上所述，具有與在白飽和像素及其鄰近像素之間的亮度級差對應的邊緣部分的大亮度差的白飽和像素導致大的紫色條紋產生區域，并且在邊緣部分中具有小亮度差的白飽和像素導致小的紫色條紋產生區域。因此，需要考慮在邊緣部分的亮度差以便確定紫色條紋產生范圍。原理上，因為由于光波長而導致的點擴展差而發生紫色條紋。由于波長而導致的點擴展差依賴于透鏡的類型、焦距和光圈等的設置、在圖像中的位置。因此，如果點擴展由于光波長而略微改變，則即使在其中理論上沒有太大明度差的邊緣部分也產生假彩色，但是當點擴展差很小時不產生人可以感知到的假彩色。但是，即使當由于波長而導致的點擴展差很小時，如果邊緣亮度差大到高亮度部分變得飽和，則小差別被放大，并且在大區域中產生可感知的假彩色。因此，必須考慮在邊緣部分的亮度差、以及透鏡類型、設置和像素位置，以便精確地確定其中可以產生紫色條紋的區域。
本實施例克服了這樣的問題，并且提供了更精確地檢測和校正在高亮度像素周邊產生的紫色條紋的方法。如在第一實施例中那樣，圖1所示的配置適用于在本實施例中的圖像處理設備的配置。所述整體處理序列也以與第一實施例相同的方式作為按照圖2所示的流程圖的處理而被執行。
第二實施例與第一實施例的差別是圖5中所示的流程中的步驟S305中的處理，所述處理對應于在圖2所示的流程中的步驟S103中的假彩色像素檢測區域設置處理。即，設置假彩色像素檢測區域(x0，x1，y0，y1)的處理不同。其它處理，即除了在第一實施例中的圖2的流程中的步驟S103之外的處理與在第一實施例中的處理類似。
在本實施例中，在圖5的流程中的步驟S305中的假彩色像素檢測區域(x0，x1，y0，y1)設置處理作為設置與對象的明度(實際亮度)對應的最佳假彩色像素檢測區域的處理而被執行。下面，參照圖15和隨后的附圖來說明在本實施例中的設置假彩色像素檢測區域的處理的細節。
將參照圖15來說明假彩色(紫色條紋)的產生的原理。圖15(a)和圖15(b)是其中垂直軸表示對象的明度(實際亮度)并且水平軸表示所拍攝的圖像數據的像素位置的圖。圖15(a)包括對象的明度(實際亮度)＝500，并且這個部分顯現為飽和像素，即在所拍攝圖像中的白飽和像素。在圖15(a)和圖15(b)中的飽和閾值線510表示圖像捕獲器件相對于入射光量的飽和閾值。即，當大于或等于飽和閾值線510的光量入射時，所述圖像飽和而變為白飽和圖像。
圖15(a)示出了其中拍攝如下所述對象的情況，所述對象具有鄰近部分，所述鄰近部分的明度在對象明度(實際亮度)500和明度(實際亮度)10之間突變，即，所述對象其實際亮度從500改變到50。圖15(b)示出了其中拍攝其實際明度從5000改變到50的對象的情況。在圖15(a)中，具有實際亮度500的部分位于飽和閾值線510或之上，并且這個部分變為白飽和部分。在圖15(b)中，具有實際亮度5000的部分位于飽和閾值線510或之上，并且這個部分變為白飽和像素，它們在所拍攝的圖像中被表達為具有相同白飽和像素的像素。
在圖15(a)中，實線(G)是綠色信道光量線(G)511，指示入射在圖像捕獲器件上的綠色信道光的量，虛線(B)是藍色信道光量線(B)512，指示入射在圖像捕獲器件上的藍色信道光的量。在圖15(b)中，類似地，實線(G)是綠色信道光量線(G)521，指示入射在圖像捕獲器件上的綠色信道光的量，虛線(B)是藍色信道光量線(B)522，指示入射在圖像捕獲器件上的藍色信道光的量。
圖15(a)和圖15(b)圖解其中使用同一透鏡來進行拍攝的狀態。因為使用同一透鏡來用于所述拍攝，因此綠色信道和藍色信道的點擴展輪廓(profile)完全相同。但是，圖15(b)中的對象的實際亮度和在圖15(a)中的對象的實際亮度彼此不同，并且當拍攝圖15(b)中的對象時入射在圖像捕獲器件上的光量比當拍攝圖15(b)中的對象時入射在圖像捕獲器件上的光量大得多。
當入射光量大時，所拍攝的圖像顯示在綠色和藍色之間的顯著級別差。在其中在所拍攝圖像中的綠色和藍色之間的級別差大的部分產生紫色條紋。因此，在圖15(a)中，在白飽和像素的右側的大約10像素部分是其中很可能產生紫色條紋的部分，在圖15(b)中，在白飽和像素的右側的大約20像素部分是其中很可能要產生紫色條紋的部分。在圖15(a)和15(b)中的高亮度部分也具有其中在綠色和藍色之間的級別差變得顯著的部分，并且這個部分在所拍攝的圖像中顯現為白飽和像素，并且不變為紫色條紋像素。
以這種方式，經常在引起白飽和的高亮度部分周圍產生紫色條紋，并且其中產生紫色條紋的區域取決于在邊緣部分的亮度中的差。將參照圖16來說明在具有與圖15(a)和15(b)對應的實際亮度的對象的所拍攝圖像中的亮度值和紫色條紋產生區域。圖16(a)和16(b)是對應于圖15(a)和圖15(b)的圖。圖16(a)對應于其實際亮度從500改變到50的對象，圖16(b)對應于其實際亮度從5000改變到50的對象。當使用同一透鏡來拍攝那兩個圖像時獲得的圖像數據的亮度值分布變為如圖16(c)所示。
在圖16(c)中，垂直軸指示所拍攝圖像數據的亮度值(即，所拍攝圖像的亮度值)，水平軸指示像素位置。在圖像數據中，亮度級255是飽和級別的亮度級，實際亮度500和實際亮度5000都導致在所拍攝的圖像上的具有大約255的飽和亮度級的像素、即白飽和像素。紫色條紋出現在白飽和像素的鄰近的部分。這個可產生紫色條紋的區域與圖16(a)中所示的實際亮度500的對象的在圖16(c)中所示的區域A中的大約10像素部分對應，并且與圖16(b)中所示的實際亮度5000的對象的在圖16(c)中所示的區域B中的大約20像素部分對應。
以這種方式，在引起白飽和的高亮度部分周邊產生紫色條紋，并且其中產生紫色條紋的區域取決于在邊緣部分的亮度差。需要確定沒有飽和的原始亮度，以便確定在邊緣部分的亮度差。作為處理這個問題的一種方法，可以使用這樣的方法，其中使用通過具有低靈敏度傳感器的圖像捕獲器件而拍攝的圖像。
具體上，對于在同一位置的像素使用其中布置了具有不同靈敏度的多個傳感器的圖像捕獲器件。例如，布置了兩種傳感器，即正常靈敏度傳感器和低靈敏度傳感器。通過正常靈敏度傳感器而拍攝的圖像被用作所拍攝的圖像，并且根據通過低靈敏度傳感器而拍攝的圖像來確定已經變為通過正常靈敏度傳感器而拍攝的圖像的白飽和像素的部分的原始對象亮度(實際亮度)。即使對于具有通過正常靈敏度傳感器而引起白飽和的高亮度的對象，通過低靈敏度傳感器而拍攝的圖像由于低靈敏度而不引起在所拍攝圖像中的白飽和，并且被輸出為具有未達到飽和值的亮度值的像素。因此，對于具有圖16(a)所示的實際亮度500的對象和具有圖16(b)所示的實際亮度5000的對象，所述圖像可以被輸出為具有各自不同的拍攝圖像亮度值的圖像數據。
將參照圖17來說明根據使用低靈敏度傳感器而拍攝的圖像來估計對象的實際亮度的處理。圖17(a)和圖17(b)是對應于圖15(a)和15(b)與圖16(a)和16(b)的圖。圖17(a)對應于其實際亮度從500改變到50的對象，圖17(b)對應于其實際亮度從5000改變到50的對象。當使用低靈敏度傳感器來拍攝那兩個圖像時獲得的圖像數據的亮度值分布變為圖17(p)和17(q)所示。當使用正常靈敏度傳感器而拍攝那兩個圖像時獲得的圖像數據的亮度值分布變為如圖17(r)所示。圖17(r)是類似于圖16(c)的圖。對于實際亮度500和5000的任何一種情況，所拍攝圖像亮度值被輸出在大致255，即被輸出為白飽和像素。
但是，如圖17(p)和17(q)所示，在當使用低靈敏度傳感器進行拍攝時獲得的圖像數據的亮度值分布中，在正常靈敏度拍攝的圖像上引起白飽和的圖像部分不變為白飽和像素，并且被輸出為具有小于飽和的像素值的亮度值的像素。在所圖解的示例中，在作為具有圖17(a)所示的實際亮度500的對象的圖像數據的圖17(p)中所示的數據中，具有實際亮度500的圖像部分被輸出為具有所拍攝圖像亮度5的圖像數據，并且在作為具有圖17(b)所示的實際亮度5000的對象的圖像數據的圖17(q)中所示的數據中，具有實際亮度5000的圖像部分被輸出為具有所拍攝圖像亮度值50的圖像數據。以這種方式，當使用低靈敏度傳感器來進行拍攝時，甚至因為大量入射光而通過正常傳感器會引起白飽和的部分也不引起白飽和，并且被輸出為具有小于飽和亮度值的級別值的像素。因此，一定程度亮的對象和很亮的對象的圖像數據可以被輸出為具有不同亮度值的圖像數據。在本實施例中，在與正常拍攝處理的條件不同的條件下拍攝的圖像數據被用作基準圖像，以確定和估計在正常拍攝的圖像中的白飽和像素部分的對象實際亮度，并且根據所估計的結果，設置可產生假彩色(紫色條紋)的區域。
已經描述了其中使用低靈敏度傳感器來獲得用于確定對象的實際亮度的基準圖像的示例。作為另一個示例，所述配置可以使得通過提高快門速度來以暗曝光而執行拍攝以獲得基準圖像。即使當在正常拍攝的圖像中出現白飽和時，即在以適當曝光而拍攝的圖像中出現白飽和時，使用暗曝光的拍攝結果是不出現白飽和并且輸出小于飽和亮度值的像素值。因此，通過提高的快門速度而拍攝的圖像也可以被用作基準圖像。例如，當以適當曝光中的曝光時間的大約1/30而拍攝的圖像被用作基準圖像時，可以估計在適當曝光中已經飽和的像素的對象實際亮度。
如上所述，在低曝光條件下拍攝的圖像，諸如通過低靈敏度傳感器而拍攝的圖像或通過高快門速度而拍攝的圖像，被用作基準圖像，根據與在正常拍攝的圖像數據中的白飽和像素對應的部分的基準圖像亮度值來估計對象的實際亮度，并且根據所估計的實際亮度來設置最佳假彩色(紫色條紋)的像素檢測區域。
圖18示出了在對象實際亮度(白飽和像素的真實亮度)和可產生假彩色(紫色條紋)的范圍(距白飽和像素的距離)之間的關系的一個示例。圖18所示的圖對應于圖17所示的示例，并且示出了當對象實際亮度是500時可產生假彩色(紫色條紋)的范圍(距白飽和像素的距離)是距離白飽和像素10像素，并且當對象實際亮度是5000時可產生假彩色(紫色條紋)的范圍(距白飽和像素的距離)是距離白飽和像素20像素。在所述圖中所示的示例是一個示例，并且根據圖像捕獲系統的光學系統的特征，將預先測量的數據用于在對象實際亮度和可產生假彩色(紫色條紋)的范圍之間的關系。
將參照圖19中所示的流程來說明在本實施例中假彩色像素檢測區域設置處理的過程。圖19中所示的流程是對于如上所述的第一實施例圖解的圖5中的流程的一部分。即，圖19中的流程示出了在圖5中的步驟S304和S305中的處理，即確定是否所關注像素是白飽和像素和當它是白飽和像素時設置在所述像素周邊的假彩色像素檢測區域(x0，x1，y0，y1)的處理。在第二實施例中，這個部分的處理被執行為與第一實施例不同的處理。
將按照圖19中的流程而說明第二實施例的處理序列。步驟S304是類似于第一實施例的處理，并且確定在所設置的像素位置的白飽和屏蔽S的像素值。在對于白飽和屏蔽S(x，y)＝假的所設置像素位置(x，y)，處理進行到步驟S314(見圖5)以進行對于下一像素的處理。如果S(x，y)為真，則處理進行到步驟S305a。當白飽和屏蔽S(x，y)對于像素位置(x，y)為假時，這意味著像素位置(x，y)的像素值指示非白飽和的像素。當白飽和屏蔽S(x，y)對于像素位置(x，y)為真時，這意味著像素位置(x，y)的像素值指示白飽和像素。
當白飽和屏蔽S(x，y)對于像素位置(x，y)為真時，在步驟S305a，獲得對應于白飽和像素位置(x，y)的基準圖像像素的像素值。基準圖像指的是例如通過如上所述的低靈敏度傳感器而拍攝的圖像或在低曝光條件下拍攝的圖像，所述在低曝光條件下拍攝的圖像例如以高速快門速度并以適當曝光或低于適當曝光而拍攝的圖像。根據基準圖像，獲得與在作為將被處理的圖像的正常拍攝圖像中被確定為白飽和像素的像素(x，y)對應的基準圖像像素的像素值。
其后，在步驟S305b中，根據基準圖像像素的像素值，使用查找表(LUT)來確定假彩色像素檢測區域(x0，x1，y0，y1)。圖20示出了在本發明中使用的查找表(LUT)的數據結構的示例。圖20中所示的查找表(LUT)具有表格結構，其中，“基準圖像的亮度”、“對象的實際亮度”和“可產生假彩色(PF紫色條紋)的像素范圍”彼此相關聯。這個表格被示出為對應于上面參照圖15-17所述的示例的表。
例如，示出當在基準圖像中的亮度是“5”時，對象實際亮度是“500”，并且在這種情況下的“可產生假彩色(PF紫色條紋)的像素范圍”在距離白飽和像素10個像素的范圍中。類似地，示出當在基準圖像中的亮度是“50”時，對象實際亮度是“5000”，并且在這種情況下的“可產生假彩色(PF紫色條紋)的像素范圍”在距離白飽和像素20個像素的范圍中。
在圖19中所示的步驟S305b中，例如，從圖20中所示的表格來確定按照在基準圖像中的亮度而設置的“可產生假彩色(PF紫色條紋)的像素范圍”，并且根據結果，將假彩色像素檢測區域(x0，x1，y0，y1)確定為包括可產生假彩色(PF紫色條紋)的像素范圍的區域。
雖然圖20所示的表格具有包含對象的實際亮度數據的結構，但是這個數據不必需。如果所述表格被配置為允許根據與在將被處理的圖像，即正常拍攝的圖像，上的白飽和像素對應的基準像素的亮度，而確定假彩色像素檢測區域(x0，x1，y0，y1)，即可。即，可以將所述表格配置為查找表(LUT)，其中，“基準圖像的亮度”和“可產生假彩色(PF紫色條紋)的像素范圍”或假彩色像素檢測區域(x0，x1，y0，y1)彼此相關聯。
參照圖21和22來說明執行上述處理的本實施例的圖像處理設備中的數字信號處理器(DSP)(對應于圖1所示的DSP 106)的功能配置。
圖21是與第一實施例的、參照圖14所述的DSP的配置對應的圖，圖22是示出了在圖21中所示的假彩色像素檢測區域設置單元403的配置的圖。如圖21所示，如在第一實施例中那樣，在本實施例中的數字信號處理器(DSP)具有色彩轉換單元401、白飽和檢測單元402、假彩色像素檢測區域設置單元403、假彩色(紫色條紋)檢測單元404、像素值校正單元410和色彩逆轉換單元405。像素值校正單元410包括假彩色(紫色條紋)補償內插單元411和假彩色(紫色條紋)模糊處理單元412。
數字信號處理器(DSP)106從輸入圖像幀存儲器420接收圖像數據(RGBin)，并且色彩轉換處理單元401轉換輸入的RGB圖像的色彩空間，并且將其分離為亮度分量和色彩分量。由色彩轉換處理單元401執行的處理對應于在圖2中所示的流程圖中的在步驟S101中的處理。輸入圖像RGBin被轉換，并且被分離為亮度分量圖像Lin和色彩分量圖像Cin。即，輸入的RGB彩色圖像被轉換為具有亮度分量的色彩空間和具有色彩分量的色彩空間。可以使用YCbCr或CIE L*a*b*等來用于所述色彩空間。
接著，根據由色彩轉換處理單元401轉換的數據，白飽和檢測單元402檢測發生白飽和的像素部分。這個處理對應于在圖2所示的流程圖中的步驟S102。具體上，如參照圖4所示的流程圖所述，檢測具有高于或等于預定亮度閾值的亮度的像素，并且產生用于識別白飽和像素的白飽和屏蔽S(x，y)。
假彩色像素檢測區域設置單元403執行在由白飽和檢測單元402檢測的白飽和像素周邊的部分設置假彩色像素檢測區域的處理。這個區域設置處理是確定其中可以在滿足白飽和屏蔽S(x，y)＝真的白飽和像素(x，y)周邊產生假彩色的區域的處理，并且如上所述，執行使用基準圖像的最佳假彩色像素檢測區域設置處理。
將參照圖22來說明假彩色像素檢測區域設置單元403的功能配置。如圖22所示，假彩色像素檢測區域設置單元403具有基準圖像分析單元711、查找表存儲單元712和假彩色像素檢測區域確定處理單元713。基準圖像分析單元711從白飽和檢測單元402獲得在將被處理的圖像中的白飽和像素位置，并且獲得與白飽和像素位置對應的基準圖像像素的亮度值。所述基準圖像是從與將被處理的圖像相同的對象拍攝的圖像，但是是以低靈敏度傳感器拍攝的圖像或以低于適當曝光的曝光，例如以高速快門速度的設置，拍攝的圖像。
假彩色像素檢測區域確定處理單元713從基準圖像分析單元711接收與在將被處理的圖像中的白飽和像素位置對應的基準圖像像素的亮度值。根據所接收的值，假彩色像素檢測區域確定處理單元713通過參照在查找表存儲單元712中存儲的查找表(LUT)而確定假彩色像素檢測區域。例如，如上參照圖20所述，所述查找表(LUT)是這樣的查找表(LUT)，其中，“基準圖像的亮度”和“可產生假彩色(PF紫色條紋)的像素范圍”或“假彩色像素檢測區域(x0，x1，y0，y1)”彼此相關聯。
按照與在將被處理的圖像中的白飽和像素位置對應的基準圖像像素的亮度值，假彩色像素檢測區域確定處理單元713確定假彩色像素檢測區域(x0，x1，y0，y1)。假彩色像素檢測區域確定處理單元713將在白飽和像素(x，y)周邊的假彩色像素檢測區域的范圍確定為四個標量值(x0，x1，y0，y1)，并且還產生通過從那個區域去除白飽和像素而獲得的假彩色區域屏蔽P(見圖5和19中的處理流程)。這個處理使得可以在考慮實際對象亮度(實際亮度)的情況下設置假彩色像素檢測區域，由此實現最佳的區域設置。返回參見圖21，將繼續本實施例的說明。
假彩色(紫色條紋)檢測單元404使用由假彩色像素檢測區域設置單元403設置的假彩色區域屏蔽P，并且還執行檢測通過對每個像素進行色彩確定處理而被確定為具有假彩色(紫色條紋)的像素的處理。即，更新假彩色區域屏蔽P以產生能夠僅僅識別要校正的假彩色像素的假彩色區域屏蔽P。這個處理對應于在圖2中所示的流程圖中的步驟S104，并且按照圖7中所示的處理流程而被執行。如上所述，要被確定為假彩色的色彩是任意的，因此其中僅僅具有特定色彩值的紫色被設置為假彩色的配置或其中諸如綠色和紫色之類的多種色彩被設置為假彩色的配置是可以的。
假彩色(紫色條紋)補償內插單元411執行校正由假彩色(紫色條紋)檢測單元404確定為具有假彩色的像素的處理。所述處理對應于在圖2中所示的流程圖中的步驟S105，并且按照在圖11和12中所示的處理流程而被執行。此像素值校正處理包括根據除了其周圍的假彩色和白飽和像素之外的像素的值而對被確定為具有假彩色(紫色條紋)的像素執行的補償內插處理(見圖10和11)；減少還沒有被預定重復次數的補償內插處理校正的假彩色(紫色條紋)像素的色彩飽和的處理(見圖12)。
假彩色(紫色條紋)模糊處理單元412對由假彩色(紫色條紋)補償內插單元411進行的處理而校正的數據執行模糊處理。這個處理對應于在圖2中所示的流程圖中的步驟S106，并且按照在圖13中所示的處理流程而被執行。
假彩色(紫色條紋)模糊處理單元412提取由假彩色(紫色條紋)檢測單元404確定為具有假彩色的像素，并且向色彩分量施加模糊過濾。例如，假彩色(紫色條紋)模糊處理單元412確定包括將被處理的像素(x，y)及其周圍的8個像素的9個像素的平均值，并且執行將該平均值設置為將被處理的像素(x，y)的更新像素值的移動平均過濾處理。
色彩逆轉換單元405轉換原始圖像的亮度分量圖像Lin和作為上述處理結果的色彩分量圖像C，并且輸出作為結果產生的圖像RGBout來作為RGB彩色圖像。
當應用本實施例時，可以對于由色像差引起的諸如紫色條紋之類的假彩色執行適當的校正，其中所述色像差對于由攝像機拍攝的圖像發生，并且可以實現產生和輸出高質量圖像數據。
另外，按照第二實施例，根據基準圖像來估計與白飽和像素對應的對象實際亮度，設置對應于對象實際亮度的假彩色(紫色條紋)檢測區域，并且檢測和校正在所設置區域中的假彩色(紫色條紋)像素。因此，可以設置與其中有可能產生假彩色(紫色條紋)的區域對應的假彩色(紫色條紋)檢測區域，而不使得所設置的假彩色(紫色條紋)檢測區域變得太大或太小。可以可靠地和有效地檢測假彩色(紫色條紋)像素，提高圖像校正的精確度，并且提高效率。
已經參照特定的實施例而詳細描述了本發明。但是，顯然本領域內的技術人員可以在不脫離本發明的實質的范圍內對所述實施例進行修改和替換。即，本發明已經通過舉例而被公開，因此不應當被理解為限定性的。應當理解權利要求的范圍，以便明白本發明的實質。
可以通過硬件、軟件或其組合配置來執行在此所述的系列處理。當使用軟件來執行處理時，可以通過向內置在專用硬件中的計算機內的存儲器中安裝其中記錄了處理序列的程序，或向能夠執行各種類型的處理的通用計算機安裝所述程序，來執行上述處理。
例如，可以在諸如硬盤或ROM(只讀存儲器)之類的存儲介質上預先存儲所述程序。或者，可以將所述程序臨時或永久地存儲(記錄)在可移去存儲介質上，諸如軟盤、CD-ROM(致密盤只讀存儲器)、MO(磁光)盤、DVD(數字多功能盤)、磁盤、或半導體存儲器。這樣的可移去存儲介質可以作為所謂的“封裝軟件”而被提供。
除了從上述的可移去存儲介質向計算機上安裝所述程序之外，還可以從下載網站向計算機無線傳送所述程序，或者可以通過諸如LAN(局域網)和/或因特網的網絡經由有線連接而向計算機傳送所述程序，以便以這種方式傳送的所述程序被計算機接收并且被存儲在諸如內置硬盤之類的存儲介質上。
在此所述的各種類型的處理不僅包括按照所述序列而以時間順序執行的處理，而且包括按照執行處理的設備的吞吐量或按照需要而同時或分別執行的處理。在此的術語“系統”指的是多個設備的邏輯組合，而不限于其中在同一外殼中包括各個設備的系統。
工業實用性如上所述，按照本發明的配置，從圖像數據檢測白飽和像素，并且在所檢測的白飽和像素周邊設置假彩色像素檢測區域，從所設置的區域檢測具有與諸如紫色條紋的假彩色對應的色彩的像素，將所檢測的像素確定為假彩色像素，并且對于所識別的假彩色像素執行基于周圍像素的值的校正處理。因此，可以有效地檢測在白飽和像素的鄰近產生的諸如紫色條紋的假彩色的區域，并且部分地校正像素的值。也可以產生和輸出高質量圖像數據而不影響整個圖像。
按照本發明的配置，可以對由色像差引起的諸如紫色條紋之類的假彩色執行適當的校正，其中所述色像差對于由攝像機拍攝的圖像發生，并且可以實現產生和輸出高質量圖像數據。使用傳統的攝像機，有可能拍攝出不自然的圖像，除非在產生紫色條紋的情況下調整諸如透鏡光圈之類的設置。但是，當應用本發明時，可以有效地提取和校正在所拍攝的圖像中包含的諸如紫色條紋之類的假彩色，并且可以產生和輸出高質量圖像。因此，不必關注透鏡光圈和焦距，在拍攝期間不出現紫色條紋，因此使得可以以較高的自由度來執行拍攝。
另外，按照本發明的配置，根據基準圖像來估計與白飽和像素對應的對象實際亮度，設置對應于對象實際亮度的假彩色(紫色條紋)檢測區域，并且檢測和校正在所設置區域中的假彩色(紫色條紋)像素。因此，可以設置與其中有可能產生假彩色(紫色條紋)的區域對應的假彩色(紫色條紋)檢測區域，而不使得所設置的假彩色(紫色條紋)檢測區域變得太大或太小。可以可靠地和有效地檢測假彩色(紫色條紋)像素，提高圖像校正的精確度，并且提高效率。
權利要求
1.一種圖像處理設備，包括白飽和檢測單元，用于從圖像數據檢測白飽和像素；假彩色像素檢測區域設置單元，用于在由白飽和檢測單元檢測的白飽和像素周邊設置假彩色像素檢測區域；假彩色檢測單元，用于在由假彩色像素檢測區域設置單元設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正單元，用于根據周圍像素的值，對由假彩色檢測單元檢測的假彩色像素執行像素值校正處理。
2.按照權利要求1的圖像處理設備，其中，所述像素值校正單元具有補償內插單元，用于根據周圍的像素值而對假彩色像素執行補償內插處理；以及色彩模糊處理單元，用于對假彩色像素執行色彩模糊處理。
3.按照權利要求2的圖像處理設備，其中，所述像素值校正單元從在假彩色像素周邊存在的像素中，選擇除了假彩色像素和白飽和像素之外的像素，并且根據所選擇的像素而執行補償內插處理。
4.按照權利要求1的圖像處理設備，其中，所述假彩色檢測單元執行在由假彩色像素檢測區域設置單元設置的區域中將具有預設特定色彩的像素識別為假彩色像素的處理。
5.按照權利要求1的圖像處理設備，其中所述假彩色是紫色條紋，以及所述假彩色檢測單元執行把在由假彩色像素檢測區域設置單元設置的區域中的紫色像素識別為假彩色像素的處理。
6.按照權利要求1的圖像處理設備，其中，所述假彩色像素檢測區域設置單元，按照在拍攝將被處理的圖像數據期間的光圈、焦距信息、和從光中心到白飽和像素(x，y)的距離的數據之中的至少一個，執行確定在由白飽和檢測單元檢測的白飽和像素周邊設置的假彩色像素檢測區域的處理。
7.按照權利要求1的圖像處理設備，其中，所述白飽和檢測單元執行選擇具有高于或等于預定閾值的亮度的白飽和像素的處理。
8.按照權利要求1的圖像處理設備，還包括用于執行數據轉換處理的色彩轉換單元，所述數據轉換處理將輸入圖像數據分離為亮度分量圖像數據和色彩分量圖像數據，以及所述圖像處理設備還根據由所述色彩轉換單元產生的轉換數據來執行像素值校正處理。
9.按照權利要求1的圖像處理設備，其中，所述假彩色像素檢測區域設置單元具有基準圖像分析單元，用于接收基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值，所述基準圖像是與將被處理的圖像對象相同的拍攝圖像；以及假彩色像素檢測區域確定單元，用于按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值由基準圖像分析單元獲得。
10.按照權利要求9的圖像處理設備，其中，所述假彩色像素檢測區域確定單元通過使用查找表來設置假彩色像素檢測區域，在所述查找表中，基準圖像的亮度值和可產生假彩色的像素范圍或假彩色像素檢測區域彼此相關聯。
11.按照權利要求9的圖像處理設備，其中，所述假彩色像素檢測區域確定單元執行隨著在基準圖像中的對應像素的亮度值的增大而設置更寬的假彩色像素檢測區域的處理。
12.按照權利要求9的圖像處理設備，其中，通過使用由具有低靈敏度傳感器的圖像捕獲器件所拍攝的圖像、或在低于適當曝光的低曝光條件下拍攝的圖像來作為基準圖像，假彩色像素檢測區域確定單元獲得與在將被處理的圖像中的白飽和像素對應的部分的基準圖像亮度值。
13.一種圖像處理方法，包括白飽和檢測步驟，從圖像數據檢測白飽和像素；假彩色像素檢測區域設置步驟，設置在白飽和檢測步驟中檢測的白飽和像素周邊的假彩色像素檢測區域；假彩色檢測步驟，在假彩色像素檢測區域設置步驟中設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正步驟，根據周圍像素的值，對在假彩色檢測步驟檢測的假彩色像素執行像素值校正處理。
14.按照權利要求13的圖像處理方法，其中，所述像素值校正步驟包括補償內插步驟，根據周圍的像素值而對假彩色像素執行補償內插處理；以及色彩模糊處理步驟，對假彩色像素執行色彩模糊處理。
15.按照權利要求14的圖像處理方法，其中，所述像素值校正步驟是這樣的步驟從在假彩色像素周邊存在的像素中選擇除了假彩色像素和白飽和像素之外的像素，并且根據所選擇的像素而執行補償內插處理。
16.按照權利要求13的圖像處理方法，其中，所述假彩色檢測步驟是這樣的步驟執行在假彩色像素檢測區域設置步驟中設置的區域中，將具有預設特定色彩的像素識別為假彩色像素的處理。
17.按照權利要求13的圖像處理方法，其中所述假彩色是紫色條紋，以及所述假彩色檢測步驟是這樣的步驟執行把在假彩色像素檢測區域設置步驟中設置的區域中的紫色像素識別為假彩色像素的處理。
18.按照權利要求13的圖像處理方法，其中，所述假彩色像素檢測區域設置步驟是這樣的步驟按照在拍攝將被處理的圖像數據期間的光圈、焦距信息、和從光中心到白飽和像素(x，y)的距離的數據之中的至少一個，執行確定在白飽和檢測步驟中檢測的白飽和像素周邊設置的假彩色像素檢測區域的處理。
19.按照權利要求13的圖像處理方法，其中，所述白飽和檢測步驟是這樣的步驟執行選擇具有高于或等于預定閾值的亮度的白飽和像素的處理。
20.按照權利要求13的圖像處理方法，還包括執行數據轉換處理的色彩轉換步驟，所述數據轉換處理將輸入圖像數據分離為亮度分量圖像數據和色彩分量圖像數據，并且所述圖像處理方法還包括根據由色彩轉換單元產生的轉換數據來執行像素值校正處理。
21.按照權利要求13的圖像處理方法，其中，所述假彩色像素檢測區域設置步驟具有基準圖像分析步驟，輸入基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值，所述基準圖像是與將被處理的圖像對象相同的拍攝圖像；以及假彩色像素檢測區域確定步驟，按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值在基準圖像分析步驟中獲得。
22.按照權利要求21的圖像處理方法，其中，所述假彩色像素檢測區域確定步驟是這樣的步驟通過使用查找表來設置假彩色像素檢測區域，在所述查找表中，基準圖像的亮度值和可產生假彩色的像素范圍或假彩色像素檢測區域彼此相關聯。
23.按照權利要求21的圖像處理方法，其中，所述假彩色像素檢測區域確定步驟是這樣的步驟執行隨著在基準圖像中的對應像素的亮度值的增大而設置更寬的假彩色像素檢測區域的處理。
24.按照權利要求21的圖像處理方法，其中，在所述假彩色像素檢測區域確定步驟中，使用由具有低靈敏度傳感器的圖像捕獲器件所拍攝的圖像、或在低于適當曝光的低曝光條件下拍攝的圖像來作為基準圖像，獲得與在將被處理的圖像中的白飽和像素對應的部分的基準圖像亮度值。
25.一種計算機程序，用于使得計算機執行圖像處理，所述程序包括白飽和檢測步驟，從圖像數據檢測白飽和像素；假彩色像素檢測區域設置步驟，設置在白飽和檢測步驟中檢測的白飽和像素周邊的假彩色像素檢測區域；假彩色檢測步驟，在假彩色像素檢測區域設置步驟中設置的區域中，將具有與假彩色對應的色彩的像素識別為假彩色像素；以及像素值校正步驟，根據周圍像素的值，對在假彩色檢測步驟中檢測的假彩色像素執行像素值校正處理。
26.按照權利要求25的計算機程序，其中，所述假彩色像素檢測區域設置步驟包括基準圖像分析步驟，輸入基準圖像，并且獲得與將被處理的圖像中的白飽和像素對應的基準圖像像素的亮度值，在所述基準圖像中，在與將被處理的圖像中的白飽和像素對應的位置的像素不具有飽和亮度值，所述基準圖像是與將被處理的圖像對象相同的拍攝圖像；以及假彩色像素檢測區域確定步驟，按照對應的基準圖像像素的亮度值來設置假彩色像素檢測區域，所述亮度值在基準圖像分析步驟中獲得。
全文摘要
一種設備和方法，用于有效地校正由色像差引起的諸如紫色條紋等的假彩色，以產生和輸出高質量圖像數據。從圖像數據檢測白非灰度(white non－gradation)像素，在所檢測的白非灰度像素周邊設置假彩色像素檢測區域。在所設置的區域中，檢測具有與諸如紫色條紋之類的假彩色對應的色彩的像素，所檢測的像素被指定為假彩色像素。基于周圍像素的值校正所指定的假彩色像素。這種配置使得能夠有效地檢測在白非灰度像素的鄰近產生的諸如紫色條紋之類的假彩色區域，并且還使得能夠部分地校正像素的值，從而使得能夠產生和輸出高質量的圖像數據而不影響整個圖像。
文檔編號H04N9/07GK1806449SQ200580000559
公開日2006年7月19日 申請日期2005年4月25日 優先權日2004年5月27日
發明者山田類, 大木光晴 申請人:索尼株式會社