信號處理單元和信號處理方法

信號處理單元和信號處理方法
【專利摘要】一種信號處理單元，其包括：高頻信號確定部件，其被配置為基于從其中布置有相位差像素的圖像拾取部件輸出的像素信號來確定作為相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域；以及合成比確定部件，其被配置為當所述參考區域被確定為不是在特定方向上的高頻信號區域，使用所述參考區域的像素差來確定通過增益倍數內插方法的相位差像素的內插值與通過外圍像素內插方法的相位差像素的內插值的合成比。
【專利說明】信號處理單元和信號處理方法
[0001]相關申請的交叉引用
[0002]本申請要求在2013年3月15日提交的日本優先權專利申請JP2013-054249的權利,通過引用將其全部內容合并于此。

【技術領域】
[0003]本發明涉及一種信號處理單元和信號處理方法，并且具體地涉及允許計算相位差像素的用于圖像輸出的像素值的信號處理單元和信號處理方法，所述像素值使得圖像質量較少地降低。

【背景技術】
[0004]最近，提出了一種具有其中在矩陣中排列多個像素的像素區域的固態圖像拾取單元，所述像素除了包括用于圖像輸出的正常像素之外還包括用于檢測焦點的相位差像素。
[0005]在這樣的固態圖像拾取單元中，需要正確地獲得相位差像素的用于圖像輸出的像素值。像素值的校正方法包括:通過相位差像素的像素值的增益倍數(gain multiples)來獲得這樣的校正像素值的方法，以及基于相位差像素外圍中的外圍像素的像素值獲得這樣的校正像素值的方法。
[0006]日本未審查專利申請公開N0.2012-4729 (JP-A-2012-4729)公開了一種方法，通過在經由相位差像素的增益倍數的內插值和基于取決于外圍像素的像素值的總亮度和邊緣數量的外圍像素的像素值的內插值之間進行切換，而獲取相位差像素的用于圖像輸出的像素值。
[0007]例如，日本未審查專利申請公開N0.2010-62640 (JP-A-2010-62640)提出了一種方法，將通過相位差像素的增益倍數的內插值與基于外圍像素的像素值的內插值的預定合成比中的合成值確定為相位差像素的用于圖像輸出的像素值。JP-A-2010-62640中公開的方法中，基于相位差像素的外圍同色像素的標準偏差值。與平均值a之間的比σ/a來確定合成比。


【發明內容】

[0008]JP-A-2012-4729中公開的方法中，基于使用外圍像素的像素值的總亮度和邊緣數量的確定條件以切換方式來使用通過相位差像素的增益倍數的內插值和基于外圍像素的像素值的內插值；因此，具有接近確定條件邊界的像素值的相位差像素可能校正失敗并且增加偽影(artifact)。
[0009]JP-A-2010-62640中公開的方法中，雖然也使用通過增益倍數的內插值來校正在沿著相位差像素的屏蔽方向(shielding direct1n)的方向上的高頻信號,但是由于采樣的影響而經常發生錯誤的校正。
[0010]如上文中所描述的，在計算相位差像素的用于圖像輸出的像素值的每種現有方法中，存在改進的空間。
[0011]希望允許計算相位差像素的用于圖像輸出的像素值，所述像素值使得圖像質量較少地降低。
[0012]根據本技術的實施例(1)，提供一種信號處理單元，其包括:高頻信號確定部件，其被配置為基于從其中布置有相位差像素的圖像拾取部件輸出的像素信號來確定作為相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域；以及合成比確定部件，其被配置為當所述參考區域被確定為不是在特定方向上的高頻信號區域時，使用所述參考區域的像素差來確定通過增益倍數內插方法的相位差像素的內插值與通過外圍像素內插方法的相位差像素的內插值的合成比。
[0013]根據本技術的實施例(I )，提供一種信號處理方法，其中，被配置為對從其中布置有相位差像素的圖像拾取部件中輸出的像素信號進行處理的信號處理單元確定作為所述相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域，以及當所述參考區域被確定為不是在所述特定方向上的高頻信號區域時，使用所述參考區域的像素差來確定通過增益倍數內插方法的所述相位差像素的內插值與通過外圍像素內插方法的所述相位差像素的內插值的合成比。
[0014]在本技術的實施例(I)中，確定作為相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域，并且當確定參考區域不是在特定方向上的高頻信號區域時，使用參考區域的像素差來確定通過增益倍數內插方法的相位差像素的內插值與通過外圍像素內插方法的相位差像素的內插值的合成比。
[0015]根據本技術的實施例(2)，提供一種信號處理單元，其包括:相似度總和計算部件，其被配置為基于從其中布置有相位差像素的圖像拾取部件中輸出的像素信號來計算在作為相位差像素的外圍區域的參考區域和設置在比參考區域大的搜索區內的多個搜索區域中的每一個之間的相似度，并且計算作為所述計算結果的總和的相似度總和，其中每個搜索區域具有與所述參考區域的尺寸相同的尺寸；以及合成比確定部件，其被配置為與所計算的相似度總和相對應地確定通過增益倍數內插方法的相位差像素的內插值與通過外圍像素內插方法的相位差像素的內插值的合成比。
[0016]根據本技術的實施例(2)，提供一種信號處理方法，其中，被配置為對從其中布置有相位差像素的圖像拾取部件中輸出的像素信號進行處理的信號處理單元計算在作為相位差像素的外圍區域的參考區域與設置在比所述參考區域大的搜索區內的多個搜索區域中的每一個之間的相似度，并且計算作為所述計算結果的總和的相似度總和，其中每個搜索區域具有與所述參考區域的尺寸相同的尺寸，以及與所計算的相似度總和相對應地，確定通過增益倍數內插方法的所述相位差像素的內插值和通過外圍像素內插方法的所述相位差像素的內插值的合成比。
[0017]在本技術的實施例(2)中，計算作為相位差像素的外圍區域的參考區域與在比參考區域大的搜索區內設置的多個搜索區域中的每一個之間的相似度，其中每個搜索區域具有與參考區域的尺寸相同的尺寸，并且計算作為這樣的計算結果的總和的相似度總和，并且與所計算的相似度總和相對應地確定通過增益倍數內插方法的相位差像素的內插值和通過外圍像素內插方法的相位差像素的內插值的合成比。
[0018]信號處理單元可以是獨立的單元或合并在另一單元內的模塊(信號處理電路)。
[0019]根據本技術的實施例(I)和(2)，允許計算相位差像素的用于圖像輸出的像素值，所述像素值使得圖像質量較低地降低。
[0020]要理解的是，上述總體描述和下文中的詳細描述是示例性的，并且意圖提供所要求保護的技術的進一步解釋。

【專利附圖】

【附圖說明】
[0021]附圖被包括以提供本公開的進一步理解，并且被合并在本說明書中且構成本說明書的一部分。附圖圖示實施例并且與說明書一起用來解釋本技術的原理。
[0022]圖1是圖示應用本技術的示例性實施例的固態圖像拾取單元的示意性配置的框圖。
[0023]圖2A至2C是圖示像素陣列部件的示例性像素排列配置的圖。
[0024]圖3A至3C是解釋固態圖像拾取單元的基板配置的圖。
[0025]圖4是信號處理電路的第一實施例的框圖。
[0026]圖5A至5C 是解釋其中增益倍數內插方法和外圍像素內插方法中的每一個都不能很好地進行內插的情況的圖。
[0027]圖6A至6E是解釋平坦度確定部件的示例性處理的圖。
[0028]圖7A至7D是各個圖示高頻信號確定部件的示例性Sobel濾波器的圖。
[0029]圖8是解釋焦點對準(in-focus)確定處理的圖。
[0030]圖9是圖示混合比確定表的圖。
[0031]圖10是解釋第一實施例的像素內插過程的流程圖。
[0032]圖11是解釋示例性現有外圍像素內插的圖。
[0033]圖12是信號處理電路的第二實施例的框圖。
[0034]圖13是解釋計算相似度match_w(P, Q)的方法的圖。
[0035]圖14是解釋計算相似度總和match_wsum⑵的方法的圖。
[0036]圖15是解釋計算內插值neighbor_pix的方法的圖。
[0037]圖16是解釋第二實施例的像素內插過程的流程圖。
[0038]圖17是圖示其中獨立地提供信號處理電路的模式的框圖。
[0039]圖18是圖示作為應用本技術的示例實施例的電子裝置的圖像拾取單元的示例性配置的框圖。
具體實施例
[0040]下文中，描述本技術的一些實施例。要注意的是，以下述順序進行描述。
[0041]1.包括信號處理電路的固態圖像拾取單元的示例性示意配置。
[0042]2.信號處理電路的第一實施例。
[0043]3.信號處理電路的第二實施例。
[0044]【固態圖像拾取單元的示例性示意配置】
[0045]圖1是圖示應用本技術的示例性實施例的固態圖像拾取單元的示意性配置的框圖。
[0046]圖1的固態圖像拾取單元I包括像素陣列部件11、AD轉換部件12、水平傳輸部件
13、信號處理電路14、定時控制部件15和像素驅動部件16。像素陣列部件11、AD轉換部件12、水平傳輸部件13、定時控制部件15和像素驅動部件16構成圖像拾取部件17。
[0047]像素陣列部件11由以二維陣列圖案(在行方向上和列方向上)排列的多個像素構成，每個像素包括作為光電轉換部件的光電二極管和多個像素晶體管(所謂的MOS晶體管)。例如，多個像素晶體管可以由傳輸(transfer)晶體管、復位晶體管和放大晶體管的三個晶體管構成。可替換地，像素可以由還包括選擇晶體管的四個晶體管構成。
[0048]圖2A至2C圖示像素陣列部件11的示例性像素排列配置。
[0049]如在圖2A至2C中所圖示的，像素陣列部件11具有這樣的配置，其中在用于圖像輸出的像素(下文中也被稱為正常像素)中以預定排列來布置用于檢測焦點的像素(下文中也被稱為相位差像素)。
[0050]圖2A圖示這樣的示例性配置，其中在行方向上排列相位差像素，在每個相位差像素中光接收區域的右部或左部被屏蔽。在此，如圖2A中圖示的相位差像素的屏蔽方向被稱為水平屏蔽方向。
[0051]由于屏蔽位置的差異，在右部被屏蔽的相位差像素的像素信號和左部被屏蔽的相位差像素的像素信號之間發生圖像偏移。基于在相位差像素的兩個像素信號之間的相位偏移量來計算散焦(defocus)量以調節(移動)攝影透鏡，由此實現自動對焦。
[0052]圖2B圖示這樣的示例性配置，其中在列方向上排列相位差像素，在每個相位差像素中光接收區域的上部或下部被屏蔽。在此，如圖2B中圖示的相位差像素的屏蔽方向被稱為豎直屏蔽方向。
[0053]圖2C圖示這樣的示例性配置，其中在斜右上方向上排列相位差像素，在每個相位差像素中光接收區域的斜右上部或斜左下部被屏蔽。在此，如圖2C中圖示的相位差像素的屏蔽方向被稱為斜右上屏蔽方向。可替換地，雖然省略未示出，但是可以在斜左上方向上排列相位差像素，在每個相位差像素中光接收區域的斜左上部或斜右下部被屏蔽。這樣的相位差像素的屏蔽方向被稱為斜左上屏蔽方向。
[0054]雖然單獨地描述了在每個屏蔽方向的相位差像素以便簡化圖2A至2C中的解釋，但是實際情況下在各種屏蔽方向上的相位差像素可以混合地存在。此外，相位差像素不僅可以布置在規則位置上，也可以布置在隨機位置上。
[0055]返回至圖1，AD轉換部件12包括為像素陣列部件11的每個像素陣列所布置的多個模擬數字轉換器(ADC)，并且對從與每個像素陣列的一行相對應的像素中輸出的模擬像素信號進行相關雙采樣(⑶S)處理，并且對模擬像素信號進一步進行AD轉換處理。經過AD轉換處理的數字像素信號輸出至水平傳輸部件13。
[0056]由水平掃描電路等構成的水平傳輸部件13將AD轉換部件12中的各個ADC中存儲的數字像素信號以預定定時順序地輸出至信號處理電路14。
[0057]信號處理電路14對從水平傳輸部件13所供應的像素信號進行預定數字信號處理。具體地，信號處理電路14對相位差像素進行像素內插過程(像素校正過程)，該過程計算用于圖像輸出的像素值。除了像素內插過程之外，還允許信號處理電路14進行數字信號處理，諸如黑色電平調節和列變化校正。
[0058]定時控制部件15可以由例如生成諸如豎直同步信號和水平同步信號之類的各種定時信號的定時生成器構成。定時控制部件15將由定時生成器生成的各種定時信號供應至AD轉換部件12、水平傳輸部件13、信號處理電路14和像素驅動部件16以便控制每個部件的操作定時。
[0059]由例如移位寄存器構成的像素驅動部件16按行在豎直方向上順序地且選擇地掃描像素陣列部件11的像素，并且允許將基于與通過每個像素的光電轉換部件所接收的光量相應地形成的信號電荷所生成的像素信號輸出至AD轉換部件12。
[0060]例如，如上配置的固態圖像拾取單元I可以由列AD類型的CMOS圖像傳感器構成，其中對于每個圖像陣列布置ADC，所述ADC中的每一個進行⑶S處理和AD轉換處理。
[0061]【固態圖像拾取單元的基板配置】
[0062]現在參考圖3A至3C來描述固態圖像拾取單元I的基板配置。
[0063]可以使用圖3A至3C中圖示的具有包括硅(Si)等的半導體基板的第一至第三基板配置之一來制造圖1的固態圖像拾取單元I。
[0064]圖3A圖示固態圖像拾取單元I的第一基板配置。
[0065]圖3A的固態圖像拾取單元I由像素區域22、控制電路23和用于在一個半導體基體21內進行信號處理的邏輯電路24構成。例如，圖3A中的像素區域22可以包括圖1中的像素陣列部件11，并且圖3A中的控制電路23可以包括圖1中的AD轉換部件12、水平傳輸部件13、定時控制部件15和像素驅動部件16。圖3A中的邏輯電路24可以包括圖1中的信號處理電路14。
[0066]圖3B圖示固態圖像拾取單元I的第二基板配置。
[0067]在第二基板配置中，固態圖像拾取單元I具有第一半導體基板25和第二半導體基板26的堆疊結構。第一半導體基板25在其中具有像素區域22和控制電路23，而第二半導體基板26在其中具有邏輯電路24。
[0068]圖3C圖示固態圖像拾取單元I的第三基板配置。
[0069]在第三基板配置中，如第二基板配置那樣，固態圖像拾取單元I具有第一半導體基板25和第二半導體基板26的堆疊結構。然而，第一半導體基板25在其中僅具有像素區域22，而第二半導體基板26在其中具有控制電路23和邏輯電路24。
[0070]允許固態圖像拾取單元I采用如上描述的配置。
[0071]現在詳細地描述由信號處理電路14所進行的圖像內插過程。
[0072]信號處理電路14通過對由像素陣列部件14所檢測的相位差像素的像素值進行內插處理來計算用于圖像輸出的像素值，并且輸出所計算的像素值。
[0073]【信號處理電路的第一實施例】
[0074]現在描述信號處理電路14的第一實施例。
[0075]基于由第一合成比確定方法所確定的合成比，第一實施例的信號處理電路14通過合成通過增益倍數內插方法的內插值和通過外圍像素內插方法的內插值來計算相位差像素的內插值，所述增益倍數內插方法通過相位差像素的像素值的增益倍數來獲得內插值，所述外圍像素內插方法使用相位差像素的外圍像素的像素值來進行內插。
[0076]【信號處理電路的功能配置框圖】
[0077]圖4是圖示信號處理電路14的第一實施例的示例性功能配置的框圖。
[0078]信號處理電路14順序地將與從水平傳輸部件13 (圖1)中所供應的像素信號相對應的像素陣列部件11的每個像素設置為對焦像素。當相位差像素被設置為對焦像素時，信號處理電路14進行計算相位差像素的用于圖像輸出的像素值的處理。
[0079]信號處理電路14由存儲器部件31、條件確定部件32、混合比確定部件33、像素校正值確定部件34和輸出圖像生成部件35構成。
[0080]存儲器部件31存儲從水平傳輸部件13 (圖1)所供應的每個像素的像素信號。存儲器部件31可以具有用于像素陣列部件11的所有像素的存儲器容量，或者可以具有用于像素內插過程所需的像素陣列部件11的多個行的存儲器容量。
[0081]需要時由條件確定部件32和輸出圖像生成部件35來讀取存儲器部件31中存儲的每個像素的像素信號。
[0082]條件確定部件32確定用于確定作為通過第一方法的內插值與通過第二方法的內插值的合成比的混合比α的條件。在第一方法中，通過相位差像素的像素值的增益倍數、基于通過先前測量而預先形成且存儲的校正圖(校正值表)來獲得內插值。在第二方法中，通過相位差像素外圍的外圍像素的像素值來獲得內插值。下文中，基于校正圖的第一方法被稱為增益倍數內插(方法)，而基于外圍像素值的第二方法被稱為外圍像素內插(方法)。
[0083]混合比α具有O≤α≤1的值。當給定α =1時，直接使用通過第二方法的內插值，所述第二方法從外圍像素的像素值中獲得內插值。當給定α=0時，直接使用通過第一方法的內插值，所述第一方法通過相位差像素的像素值的增益倍數來獲得內插值。
[0084]參考圖5Α至5C來描述其中增益倍數內插方法和外圍像素內插方法中的每一個都不能很好地進行內插的情況。
[0085]通過相位差像素的像素值的增益倍數來獲得內插值的增益倍數內插方法在如圖5Α中圖示的焦點失調(out-focus)區域中不能很好地進行相位差像素的內插。
[0086]此外，增益倍數內插方法不能很好地在焦點對準圖像的區域內進行相位差像素的內插，所述區域在與相位差像素的屏蔽方向相同的方向上具有高頻信號，諸如圖5B中虛線所包圍的部分。
[0087]自然地，增益倍數內插法不能很好地進行具有與在創建校正圖時的色溫不同的色溫的對象圖像的相位差像素的內插。
[0088]另一方面，例如，當相位差像素的外圍紋理具有超出邊緣方向確定處理的方向分辨率之外的角度時，以及當用于計算內插值的參考像素在不與邊緣方向相對應的方向上時，外圍像素內插方法不能很好地進行內插。
[0089]具體地，外圍像素內插方法在由圖5C中的虛線所包圍的區域內不能很好地進行相位差像素的內插。例如，在0°方向和45°方向之間的15°或30°方向上，以及在90°方向和45°方向之間的75°或60°方向上，由圖5C中虛線所包圍的區域內的圖像具有最小的像素差。當其中像素差最小的這樣的方向超過邊緣方向確定處理的方向分辨率時，所述方向被假定稱為淺角度邊緣方向(shallow-angle edge direct1n)。
[0090]如上所描述的，一些圖像不能通過增益倍數內插方法和外圍像素內插方法中的每一個來很好地內插，并且不能通過兩種內插方法來很好地內插的各個圖像是排他(exclusive)關系。
[0091]在此，基于在被設置為對焦像素的相位差像素的外圍的圖像紋理信息，條件確定部件32確定用于確定通過增益倍數內插方法的內插值和通過外圍像素內插方法的內插值的混合比α的條件。
[0092] 返回至圖4，條件確定部件32包括平坦度確定部件41、邊緣確定部件42、高頻信號確定部件43和焦點對準確定部件44。
[0093]平坦度確定部件41基于被設置為對焦像素的相位差像素的外圍像素來確定對焦像素的外圍是否是平坦部分。
[0094]圖6A至6E是解釋平坦度確定部件41的示例性處理的圖。
[0095]如圖6A中圖示的，平坦度確定部件41將對焦像素設置為相位差像素，并且將其在對焦像素周圍的外圍區域設置為參考區域(第一參考區域)。在圖6A的示例性情況下，具有圓圈(〇)的像素表示對焦像素，并且在對焦像素周圍的7X5 (水平方向X豎直方向)個像素的區域被設置為參考區域。圖6A中像素之間圖案的差別表示在R (紅)、G (綠)和B (藍)之間的顏色差別。
[0096]平坦度確定部件41使用設置的參考區域中具有與對焦像素的顏色相同的顏色的多個像素的像素值(亮度值)來計算參考區域的像素值的平均值ave_area和標準偏差std_areaD
[0097]此外，平坦度確定部件41計算參考區域的梯度(值)grad。
[0098]如下文中那樣計算參考區域的梯度grad。
[0099]首先，如在圖6B至6E中圖示的，平坦度確定部件41在與屏蔽方向相對應的水平方向、豎直方向、斜右上方向和斜左上方向中的每一個上計算參考區域中相鄰同色像素的像素差值的平均值(像素差平均值)。在圖6B至6E中，計算在同色像素對之間的15組像素差值，并且計算像素差值的平均值作為像素差平均值。
[0100]平坦度確定部件41確定水平方向、豎直方向、斜右上方向和斜左上方向之中像素差平均值最小的最小方向。平坦度確定部件41將在最小方向上的像素差平均值(像素差平均值的最小值)定義為對焦像素的參考區域的梯度(值)grad。
[0101]平坦度確定部件41使用對焦像素的參考區域的如上計算的標準偏差StcLarea和梯度grad來確定對焦像素的參考區域是否是平坦部分。更具體地，當對焦像素的參考區域的標準偏差StcLarea和梯度grad各個具有比預定參考值低的值時，換言之，當對焦像素的參考區域的標準偏差StcLarea等于或低于預定閾值L0_STD_TH時，并且當對焦像素的參考區域的梯度grad等于或低于預定閾值L0_GRD_TH時，平坦度確定部件41確定對焦像素的參考區域是平坦部分。
[0102]當對焦像素的參考區域被確定為平坦部分時，這樣的情況包括如下情況，其中對焦像素的外圍表示具有與創建校正圖時的色溫不同的色溫的對象圖像。在該情況下，當通過增益倍數內插方法來內插像素值時，可能產生偽影。另一方面，當通過將外圍像素內插方法應用于平坦部分中的像素來內插像素值時，維持外圍像素的連續性，并且允許很好地校正像素值。
[0103]因此，當對焦像素的參考區域被確定為平坦部分時，如下文所描述的，信號處理電路14僅使用外圍像素內插方法來對對焦像素的像素值進行內插。
[0104]返回至圖4，邊緣確定部件42使用上述對焦像素的參考區域的標準偏差StcLarea和梯度grad，以便確定對焦像素的參考區域是否是具有淺角度邊緣方向的區域。具體地，當對焦像素的參考區域的標準偏差StcLarea和梯度grad各個具有比預定參考值大的值時，換言之，當對焦像素的參考區域的標準偏差std_area大于閾值HI_STD_TH時，并且當對焦像素的參考區域的梯度grad大于閾值HI_GRD_TH時，邊緣確定部件42確定對焦像素的參考區域是具有淺角度邊緣方向的區域。
[0105]當嘗試通過外圍像素內插方法來很好地內插在參考區域中具有淺角度邊緣方向的對焦像素時，需要使用在對焦像素外圍的大面積內的像素用于內插。然而，在實際處理中(實踐中較難)，難以使用在這樣大面積內的像素來進行內插。如果使用對焦像素外圍的小面積內的像素通過外圍像素內插方法來對在參考區域內具有淺角度邊緣方向的區域內的對焦像素進行內插，則產生偽影，這使得圖像質量降低。
[0106]因此，當參考區域被確定為具有淺角度邊緣方向的區域時，如下文所述，信號處理電路14僅使用增益倍數內插方法來對對焦像素的像素值進行內插。
[0107]高頻信號確定部件43使用上述對焦像素的參考區域的標準偏差StcLarea和梯度grad,以及參考區域的邊緣方向direct1n的確定結果，以便確定對焦像素的參考區域是否是高頻信號區域。
[0108]高頻信號確定部件43將被采用為對焦像素的參考區域的梯度(值)grad的方向的方向確定為參考區域的邊緣方向direct1n。換言之，高頻信號確定部件43將水平方向、豎直方向、斜右上方向和斜左上方向之中多個同色像素的像素差平均值最小的方向確定為參考區域的邊緣方向direct1n。
[0109]高頻信號確定部件43根據對焦像素的參考區域的標準偏差StcLarea和梯度grad、以及參考區域的邊緣方向direct1n是否滿足式(I)的下述確定條件，來確定對焦像素的參考區域是否是高頻信號區域。
[0110]std_area<HI_FREQ_STD_TH
[0111]&&grad<HI_FREQ_GRAD_TH
[0112]&&direct1n==MASK_DIRECT1N........(I)
[0113]根據式(1)，當對焦像素的參考區域的標準偏差StcLarea小于用于高頻信號確定的標準偏差閾值HI_FREQ_STD_TH時，并且當對焦像素的參考區域的梯度grad小于用于高頻信號確定的梯度閾值HI_FREQ_GRAD_TH時，并且當對焦像素的參考區域的邊緣方向direct1n等于對焦像素的屏蔽方向MASK_DIRECT10N時，對焦像素的參考區域被確定為高頻信號區域。
[0114]當在接近奈奎斯特(Nyquist)頻率的區域內通過增益倍數內插方法來對相位差像素進行內插時，內插可能失敗。具體地，由于采樣的影響，在沿著相位差像素的屏蔽方向的邊緣上的像素經常被錯誤地校正。因此，對對焦像素的參考區域是否是在沿著屏蔽方向具有高頻信號的區域進行檢測，并且當對焦像素的參考區域被確定為沿著屏蔽方向具有高頻信號的區域時，使用沿著對焦像素的參考區域的邊緣方向的外圍像素的像素值、通過外圍像素內插方法來對相位差像素進行內插，由此允許很好地校正像素值。
[0115]因此，當對焦像素的參考區域被確定為沿著屏蔽方向具有高頻信號的區域時，如下文描述的，信號處理電路14僅通過外圍像素內插方法、使用沿著對焦像素的參考區域的邊緣方向direct1n的外圍像素的像素值來對對焦像素的像素值進行內插。
[0116]要注意的是，高頻信號確定部件43還可以使用檢測在特定方向上的頻率的濾波器來確定對焦像素的參考區域是否是高頻信號區域。
[0117]例如，當高頻信號確定部件43使用檢測在特定方向上的頻率的濾波器來確定對焦像素的參考區域是否是高頻信號區域時，可以使用Sobel濾波器作為濾波器。
[0118]圖7A至7D各個圖示作為檢測在特定方向上的頻率的示例性濾波器的Sobel濾波器的示例，所述濾波器可以在確定高頻信號區域是否是具有特定方向的邊緣方向的參考區域時使用。
[0119]圖7A圖示用于確定參考區域的高頻的邊緣方向是否是水平方向的示例性Sobel濾波器。
[0120]圖7B圖示用于確定參考區域的高頻的邊緣方向是否是豎直方向的示例性Sobel濾波器。
[0121]圖7C圖示用于確定參考區域的高頻的邊緣方向是否是斜右上方向的示例性Sobel濾波器。
[0122]圖7D圖示用于確定參考區域的高頻的邊緣方向是否是斜左上方向的示例性Sobel濾波器。
[0123]例如，當在由這樣的Sobel濾波器計算的值中存在大于預定閾值HI_FREQ_Sobel_TH的方向值時，高頻信號確定部件43可以確定存在其邊緣方向具有比閾值HI_FREQ_Sobe 1_TH大的值的高頻信號區域。
[0124]隨后，焦點對準確定部件44將作為對焦像素的相位差像素的像素值與在相位差像素外圍中的像素的像素值中的每一個相比較，并且由此確定對焦像素的參考區域是否是焦點失調區域(焦點失調或焦點對準)。
[0125]圖8是解釋由焦點對準確定部件44所進行的焦點對準確定處理的圖。
[0126]焦點對準確定部件44設置參考區域(第二參考區域)，所述參考區域由作為相位差像素的對焦像素和其中以對焦像素作為中心的外圍區域所構成。如圖8中圖示的，在該情況下設置的參考區域是這樣的區域，其由沿著屏蔽方向上的、以對焦像素作為中心的多個像素構成，不同于由平坦度確定部件41等設置的上述參考區域(第一參考區域)。根據具有與對焦像素的顏色相同的顏色的外圍像素的值計算的內插值被用作在參考區域內具有與對焦像素的顏色不同的顏色的每個像素的像素值。
[0127]首先，焦點對準確定部件44計算在參考區域內具有與對焦像素的顏色相同的顏色的像素值的動態范圍drange,并且確定所計算的動態范圍drange是否大于用于焦點失調確定的動態范圍閾值TEX_FOCUS_DRANGE_TH。
[0128]TEX_FOCUS_DRANGE_TH〈 drange........(2)
[0129]焦點對準確定部件44確定作為對于參考區域內每個相鄰像素所計算的相位差絕對值的每個梯度phase_grad是否在用于焦點失調確定的梯度下限閾值TEX_F(X:US_GRAD_L0WER_TH和梯度上限閾值TEX_FOCUS_GRAD_UPPER_TH之間的范圍內。
[0130]TEX_FOCUS_GRAD_LOWER_TH〈phase_grad〈TEX_FOCUS_GRAD_UPPER_TH........(3)
[0131]當計算的動態范圍drange滿足式(2)時，并且當所有計算的梯度phase_grad各個滿足式(3)時,焦點對準確定部件44確定作為對焦像素的相位差像素具有相位偏移的信號，并且參考區域是焦點失調的。
[0132]如上文描述的，焦點對準確定部件44被允許通過對接近強邊緣的相位差像素的相位差進行檢測來確定對焦像素的參考區域是否是焦點失調區域。
[0133]圖4中條件確定部件32的平坦度確定部件41、邊緣確定部件42、高頻信號確定部件43和焦點對準確定部件44各個將確定結果供應至混合比確定部件33。
[0134]混合比確定部件33基于從條件確定部件32所供應的確定結果確定作為通過增益倍數內插方法的內插值與通過外圍像素內插方法的內插值的合成比的混合比α。
[0135]具體地，當從平坦度確定部件41供應指示對焦像素的參考區域是平坦部分的確定結果時，混合比確定部件33確定混合比α為I (α=1)。
[0136]當從邊緣確定部件42供應指示對焦像素的參考區域是具有淺角度邊緣方向的區域的確定結果時，混合比確定部件33確定混合比α為O ( α =0)。
[0137]當從高頻信號確定部件43供應指示對焦像素的參考區域是高頻信號區域的確定結果時，混合比確定部件33確定混合比α為I (α=1)。
[0138]當從焦點對準確定部件44供應指示對焦像素的參考區域是焦點失調區域的確定結果時，混合比確定部件33確定混合比α為I (α=1)。
[0139]另一方面，當對焦像素的參考區域未被確定為平坦部分、具有淺角度邊緣方向的區域、高頻信號區域和焦點失調區域中的任意一種時，混合比確定部件33使用由高頻信號確定部件43所計算的對焦像素的參考區域的梯度grad以便以下述方式來確定混合比α。
[0140]梯度grad的幅度被認為與方向確定結果的可靠性相對應。因此，較小的梯度grad指示在該方向上較小可能存在邊緣，并且在該方向上的外圍像素的像素值在像素內插期間可能更為可靠。
[0141]因此，例如，如圖9中所圖示的，混合比確定部件33可以在其內部存儲混合比確定表，所述混合比確定表將梯度grad與混合比α相關聯,使得隨著梯度grad增加,混合比α在0< α < I的范圍內逐漸減小。混合比確定部件33可以使用混合比確定表，以便選擇與由高頻信號確定部件43所計算的對焦像素的參考區域的梯度grad相對應的混合比α，并且將所選擇的混合比α確定為對焦像素的混合比α。
[0142]除了如圖9中圖示的混合比確定表之外，例如，梯度grad的幅度可以被分類為多個級別，使得以混合比確定表的形式存儲與每個級別相對應的混合比α。
[0143]混合比確定部件33將所確定的混合比α供應至像素校正值確定部件34。
[0144]像素校正值確定部件34使用從混合比確定部件33所供應的混合比α以便計算作為對焦像素的相位差像素的內插值，并且將內插值供應至輸出圖像生成部件55。
[0145]像素校正值確定部件34由增益倍數內插值計算部件51、外圍像素內插值計算部件52和合成內插值計算部件53構成。
[0146]增益倍數內插值計算部件51基于校正圖計算通過增益倍數內插方法的內插值gained_piX，所述增益倍數內插方法通過相位差像素的像素值的增益倍數來獲得內插值。所述校正圖是使用與自然光條件相同的條件下的均勻白光源的攝影圖像根據相位差像素的像素值和其外圍像素的像素值之間的關系預先創建的，并且存儲所述校正圖。
[0147]外圍像素內插值計算部件52使用作為高頻信號確定部件43的確定結果的、對焦像素的參考區域的邊緣方向direct1n，根據對焦像素外圍中的同色像素的像素值計算內插值dir_pix。更具體地,夕卜圍像素內插值計算部件52計算在邊緣方向direct1n上的與對焦像素相鄰的多個同色像素的平均值，作為通過外圍像素內插的內插值dir_pix。與作為高頻信號確定部件43的確定結果的、對焦像素的參考區域的邊緣方向direct1n —起使用在梯度(像素差)下降的方向上的外圍像素的像素值，由此允許改進內插準確性。
[0148]合成內插值計算部件53根據下式(4)計算作為相位差像素的對焦像素的內插值corr_pix,并且將內插值corr_pix供應至輸出圖像生成部件35。
[0149]corr_pix= α X dir_pix+ (1- α ) X gained_pix........(4)
[0150]輸出圖像生成部件35使用存儲器部件31中存儲的像素值和從合成內插值計算部件53中供應的內插值，以向后續級輸出用于圖像輸出的像素信號和用于檢測焦點的像素信號。
[0151]更具體地，輸出圖像生成部件35輸出存儲器部件31中存儲的相位差像素的像素信號，作為用于檢測焦點的像素信號。
[0152]此外，輸出圖像生成部件35輸出由在存儲器部件31中存儲的正常像素的像素值，以及通過利用從合成內插值計算部件53供應的內插值來對相位差像素的像素值進行內插而獲得的像素值構成的每個像素的像素信號，作為用于圖像輸出的像素信號。
[0153]根據上述配置，第一實施例的信號處理電路14進行對相位差像素的像素值進行內插的處理。
[0154]【像素內插過程的流程圖】
[0155]現在參考圖10的流程圖來描述通過信號處理電路14計算用于相位差像素的像素值的內插的內插值的像素內插過程。
[0156]首先，在步驟SI ，信號處理電路14將在存儲器部件31中存儲的預定義像素設置為對焦像素。例如，當以光柵掃描順序讀取與其像素值存儲在存儲器部件31中的一幀相對應的像素時，信號處理電路14可以將像素的首位像素設置為對焦像素。
[0157]在步驟S2中，信號處理電路14確定所設置的對焦像素是否是相位差像素。當信號處理電路14確定所設置的對焦像素不是相位差像素時，信號處理電路14將過程前進至步驟S17。
[0158]另一方面，當在步驟S2中對焦像素被確定為相位差像素時，過程前進至平步驟S3，并且平坦度確定部件41計算在對焦像素的參考區域內(在第一參考區域內)的多個同色像素的平均值ave_area和標準偏差std_area。要注意的是，因為僅將標準偏差std_area用于下文中描述的平坦度確定，因此可以省略平均值ave_area的計算。
[0159]在步驟S4中，平坦度確定部件41計算對焦像素的參考區域的梯度(值)grad。更具體地，平坦度確定部件41計算在水平方向、豎直方向、斜右上方向和斜左上方向中的每一個上的多個同色像素的相位差平均值，并且定義相位差平均值的最小值作為對焦像素的參考區域的梯度grad。
[0160]在步驟S5中，平坦度確定部件41使用參考區域的所計算的標準偏差std_area和梯度grad，以便確定對焦像素的參考區域是否是平坦部分。
[0161]在步驟S5中，當參考區域的所計算的標準偏差std_area和梯度grad各個具有比預定參考值低的值時，換言之，當參考區域的所計算的標準偏差StcLarea等于或小于預定閾值L0_STD_TH時，并且當所計算的梯度grad等于或小于預定閾值L0_GRD_TH時，對焦像素的參考區域被確定為平坦部分。
[0162]當在步驟S5中對焦像素的參考區域被確定為平坦部分時，過程前進至步驟S6，并且平坦度確定部件41將確定結果供應至混合比確定部件33。混合比確定部件33基于確定結果將混合比α確定為1(α=1)。所確定的混合比α被供應至像素校正值確定部件34,并且過程前進至步驟S14。
[0163]另一方面，當在步驟S5中對焦像素的參考區域被確定為不是平坦部分時，過程前進至步驟S7,并且平坦度確定部件41將確定結果供應至邊緣確定部件42。在步驟S7中，邊緣確定部件42使用參考區域的所計算的標準偏差std_area和梯度grad,以確定對焦像素的參考區域是否是具有淺角度邊緣方向的區域。
[0164]具體地，當參考區域的所計算的標準偏差std_area和梯度grad各個具有比預定參考值高的值時，換言之，當參考區域的所計算的標準偏差std_area大于閾值HI_STD_TH時，并且當參考區域的所計算的梯度grad大于閾值HI_GRD_TH時，邊緣確定部件42確定對焦像素的參考區域是具有淺角度邊緣方向的區域。
[0165]當在步驟S7中對焦像素的參考區域被確定是具有淺角度邊緣方向的區域時，過程前進至步驟S8，并且邊緣確定部件42將確定結果供應至混合比確定部件33。混合比確定部件33基于確定結果將混合比α確定為O (α=0)。所確定的混合比α被供應至像素校正值確定部件34，并且步驟前進至步驟S14。
[0166]另一方面，當在步驟S7中對焦像素的參考區域被確定為不是具有淺角度邊緣方向的區域時，過程前進至步驟S9，并且邊緣確定部件42將確定結果供應至高頻信號確定部件43。在步驟S9中，高頻信號確定部件43使用對焦像素的參考區域的標準偏差StcLarea和梯度grad以及參考區域的邊緣方向direct1n的確定結果，以確定對焦像素的參考區域是否是高頻信號區域。
[0167]具體地，高頻信號確定部件43根據參考區域的所計算的標準偏差StcLarea和梯度grad以及參考區域的邊緣方向direct1n是否滿足式(I)的上述確定條件來確定對焦像素的參考區域是否是高頻信號區域。
[0168]如上描述的，作為步驟S9的處理，高頻信號確定部件43也可以使用對特定方向上的頻率進行檢測的濾波器來確定對焦像素的參考區域是否是高頻信號區域。
[0169]當在步驟S9中對焦像素的參考區域被確定為高頻信號區域時，過程前進至步驟S6。
[0170]另一方面，當在步驟S9中對焦像素的參考區域被確定為不是高頻信號區域時，過程前進至步驟S10，并且高頻信號確定部件43將確定結果供應至焦點對準確定部件44。在步驟SlO中，焦點對準確定部件44計算在參考區域內(在第二參考區域內)具有與對焦像素的顏色相同的顏色的像素的像素值的動態范圍drange。
[0171]在步驟Sll中，焦點對準確定部件44計算梯度phase_grad，作為在參考區域內每個相鄰像素的相位差絕對值。
[0172]在步驟S12中，焦點對準確定部件44基于所計算的動態范圍drange和每個梯度phaSe_grad，確定對焦像素的參考區域是否是焦點失調區域。
[0173]具體地，當所計算的動態范圍drange滿足式(2)時，并且當所有計算的梯度phase_grad滿足式(3)時,焦點對準確定部件44確定作為對焦像素的相位差像素具有相位偏移的信號，并且對焦像素的參考區域是焦點失調區域。
[0174]當在步驟S12中參考區域被確定為焦點失調區域時，過程前進至步驟S6。
[0175]另一方面，當在步驟S12中參考區域被確定為不是焦點失調區域時，過程前進至步驟S13，并且焦點對準確定部件44將確定結果供應至混合比確定部件33。在步驟S13中，混合比確定部件33基于來自條件確定部件32的確定結果來確定混合比a。具體地,混合比確定部件33使用如圖9中圖示的混合比確定表，以便將與由高頻信號確定部件43所計算的對焦像素的參考區域的梯度grad相對應的混合比α確定為對焦像素的混合比α。所確定的混合比ct被供應至像素校正值確定部件34。
[0176]在步驟S13之后，過程前進至步驟S14，并且增益倍數內插值計算部件51基于校正圖計算通過增益倍數內插方法的內插值gained_pix，所述增益倍數內插方法通過相位差像素的像素值的增益倍數來獲得內插值。
[0177]在步驟S15中，外圍像素內插值計算部件52使用對焦像素的參考區域的邊緣方向direct1n計算通過在對焦像素的外圍中的同色像素的像素內插的內插值dir_pix。
[0178]在步驟S16中，合成內插值計算部件53根據式(4)計算作為相位差像素的對焦像素的內插值corr_pix,并且將內插值corr_pix供應至輸出圖像生成部件35。
[0179]在步驟S17中，信號處理電路確定是否存儲器部件31中存儲的所有像素作為對焦像素被處理。
[0180]當在S17中并非所有像素被確定為作為對焦像素被處理時，過程前進至步驟S18，并且信號處理電路14將還未作為對焦像素被處理的后續像素設置為對焦像素，并且將過程返回至步驟S2。然后，對新設置的對焦像素執行上面描述的從步驟S2至步驟S17的處理步驟。
[0181]另一方面，當在步驟S17中所有像素被確定為作為對焦像素被處理時，圖10的像素內插過程結束。
[0182]如上所描述的，根據第一實施例的信號處理電路14，對于相位差像素的參考區域，檢測在特定方向上高頻(沿著相位差像素的屏蔽方向的高頻)的出現。當參考區域被確定為不是在特定方向上具有高頻信號的區域時，使用參考區域的像素差來確定混合比α。
[0183]因此，允許以合適的比率來合成通過增益倍數內插方法的內插值和基于外圍像素值的外圍像素內插值，并且允許計算相位差像素的用于圖像輸出的像素值，所述像素值使得圖像質量較少地降低。
[0184]【信號處理電路的第二實施例】
[0185]現在描述信號處理電路14的第二實施例。
[0186]基于由第二合成比確定方法所確定的合成比，第二實施例的信號處理電路14合成通過增益倍數內插方法的內插值和通過外圍像素內插方法的內插值,并且計算相位差像素的內插值。
[0187]第一實施例中的外圍像素內插方法中，使用沿著邊緣方向的外圍像素的像素值來計算內插值。
[0188]另一方面，第二實施例中的外圍像素內插方法中，使用在對焦像素周圍的平面區域內的像素值來計算內插值。第二合成比確定方法采用適于使用這樣的平面區域內的像素值來計算內插值的合成比確定方法，作為外圍像素內插方法。
[0189]【在平面區域內進行內插的示例性外圍像素內插方法】
[0190]現在參考圖11簡要地描述使用平面區域內的像素值來進行內插的示例性外圍像素內插方法。
[0191]圖11中，位于像素區域中心的具有格網圖案的相位差像素指示待內插的對焦像素。在對焦像素周圍的外圍區域被設置為參考區域P。在圖11的示例性情況下，由虛線圖示的在對焦像素周圍的5X5像素區域被設置為參考區域P。
[0192]具有與對焦像素的顏色相同的顏色的、位于對焦像素外圍內的像素被設置為對焦對應像素。對焦對應像素各個是待經受與對焦像素相對應的加權計算的像素。在圖11的示例性情況下，在對焦像素周圍的5 X 5同色像素(除去對焦像素)各個被設置為對焦對應像素。
[0193]對于多個對焦對應像素中的每一個，與參考區域P具有相同位置關系和尺寸的區域被設置為搜索區域Q。圖11中，通過點劃線來各個圖示用于兩個對焦對應像素的搜索區域Q。
[0194]根據上文，作為要被用于對對焦像素的內插值進行計算的像素區域的搜索區R被設置為比參考區域P大的區。圖11中，搜索區R被示為通過粗實線指示的13X13像素區域。
[0195]在對焦像素的內插值的計算中，首先，基于在對焦像素V (i)的參考區域P與對焦對應像素V(j)的搜索區域Q之間的相似度，來確定多個對焦對應像素V(j)中的每一個的加權系數W(i, j) O在此,加權系數W(i, j)具有滿足O ≤ w(i, j)≤I和Σ j w(i, j)=l的值。
[0196]計算多個對焦對應像素V (j)的像素值與其各自加權系數w(i，j)相乘的乘積的總和Σ]_ w(i, j)v(j)作為對焦像素的內插值。例如，在A.BuadeS、B.Coll和J.EMorel的“Anon local algorithm for image denoising，，IEEE Computer Vis1n and Pattern Recognit1n2005,Vol2, pp:60-65, 2005中公開了這樣的像素內插方法。
[0197]當僅通過在對焦像素周圍的平面區域內的內插方法來內插相位差像素時，并且當諸如具有淺角度邊緣之類的相似平面區域(片)不存在于參考區域內并且由此相似度總和降低時，發生偽影，使得圖像質量降低。
[0198]因此，也以預定合成比理想地合成通過使用在對焦像素周圍的平面區域內的像素值的內插方法的內插值、和通過經由相位差像素的像素值的增益倍數來獲得內插值的方法的內插值，以獲得最終的內插值。
[0199]因此，第二實施例的信號處理電路14使用適用于使用平面區域內的像素值計算內插值的這樣的方法的合成比確定方法來確定混合比α，并且計算內插值。
[0200]第二實施例中使用的第二合成比確定方法被允許廣泛地應用于使用平面區域內的像素值的任何內插值計算方法，而不局限于參考圖11所描述的外圍像素內插方法。
[0201]【信號處理電路的功能配置框圖】
[0202]圖12是圖示信號處理電路14的第二實施例的示例性功能配置的框圖。
[0203]圖12中，通過相同的標號來表示與第一實施例中的組件相對應的組件，并且適當地省略對其的描述。
[0204]圖12中圖示的信號處理電路14由存儲器部件31、輸出圖像生成部件35、相似度確定部件81、混合比確定部件82和像素校正值確定部件83構成。
[0205]具體地，第二實施例的配置與第一實施例相同之處在于存儲器部件31和輸出圖像生成部件35，而與第一實施例的不同之處在于相似度確定部件81、混合比確定部件82和像素校正值確定部件83。
[0206]相似度確定部件81由相似度計算部件91、相似度總和計算部件92和置信參考值計算部件93構成。
[0207]相似度計算部件91根據式(5)計算在對焦像素周圍的參考區域P和為對焦像素所設置的搜索區R內的多個搜索區域Q中的每一個之間的相似度match_w(P，Q)。

【權利要求】
1.一種信號處理單元，其包括: 高頻信號確定部件，其被配置為基于從其中布置有相位差像素的圖像拾取部件輸出的像素信號來確定作為所述相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域；以及 合成比確定部件，其被配置為當所述參考區域被確定為不是在所述特定方向上的高頻信號區域時，使用所述參考區域的像素差來確定通過增益倍數內插方法的所述相位差像素的內插值與通過外圍像素內插方法的所述相位差像素的內插值的合成比。
2.根據權利要求1所述的信號處理單元，其中，所述合成比確定部件基于在其中所述參考區域的像素差減小的方向上的像素差值來確定所述合成比。
3.根據權利要求2所述的信號處理單元，其中，當所述參考區域的像素值的標準偏差小于預定閾值，并且當在所述方向上的像素差值小于預定閾值，以及當所述方向與所述相位差像素的屏蔽方向相同時，所述高頻信號確定部件確定所述參考區域是在所述特定方向上的高頻信號區域。
4.根據權利要求1所述的信號處理單元，其中，所述高頻信號確定部件使用檢測在所述特定方向上的頻率的濾波器，以確定所述參考區域是否是在所述特定方向上的高頻信號區域。
5.根據權利要求1所述的信號處理單元，其中，所述合成比確定部件使用將在其中所述參考區域的像素差減小的方向上的像素差值與所述合成比相關聯的表，以將與在所述方向上的像素差值相對 應的合成比確定為所述合成比。
6.根據權利要求1所述的信號處理單元，其中，所述特定方向與所述相位差像素的屏蔽方向相對應。
7.根據權利要求1所述的信號處理單元，其還包括: 平坦度確定部件，其被配置為確定所述參考區域是否是平坦部分， 其中，當所述參考區域被確定為不是所述平坦部分時，所述高頻信號確定部件確定所述參考區域是否是在所述特定方向上的高頻信號區域。
8.根據權利要求7所述的信號處理單元，其中，所述平坦度確定部件基于所述參考區域的像素值的標準偏差和在其中所述參考區域的像素差減小的方向上的像素差值，來確定所述參考區域是否是所述平坦部分。
9.根據權利要求1所述的信號處理單元，其還包括: 邊緣確定部件，其被配置為確定所述參考區域是否是具有淺角度邊緣方向的區域， 其中，當所述參考區域被確定為不是具有所述淺角度邊緣方向的區域時，所述高頻信號確定部件確定所述參考區域是否是在所述特定方向上的高頻信號區域。
10.根據權利要求9所述的信號處理單元，其中，所述邊緣確定部件基于所述參考區域的像素值的標準偏差和在其中所述參考區域的像素差減小的方向上的像素差值，來確定所述參考區域是否是具有所述淺角度邊緣方向的區域。
11.根據權利要求1所述的信號處理單元，其還包括: 焦點對準確定部件，其被配置為確定所述參考區域是否是焦點失調區域， 其中，當所述參考區域被確定為不是在所述特定方向上的高頻信號區域并且不是所述焦點失調區域時，所述合成比確定部件確定所述合成比。
12.根據權利要求11所述的信號處理單元，其中，所述焦點對準確定部件基于在參考區域內的動態范圍和像素差絕對值來確定所述參考區域是否是所述焦點失調區域，所述參考區域是沿著所述相位差像素的屏蔽方向的外圍區域。
13.根據權利要求1所述的信號處理單元，其還包括: 增益倍數內插值計算部件，其被配置為計算通過所述增益倍數內插方法的所述相位差像素的內插值；以及 外圍像素內插值計算部件，其被配置為計算通過所述外圍像素內插方法的所述相位差像素的內插值， 其中，當所述參考區域被確定為是在所述特定方向上的高頻信號區域時，對于所述相位差像素，所述外圍像素內插值計算部件根據位于其中所述參考區域的像素差減小的方向上的外圍同色像素的像素值計算所述相位差像素的內插值。
14.一種信號處理方法,其中， 被配置為對從其中布置有相位差像素的圖像拾取部件中輸出的像素信號進行處理的信號處理單元 確定作為所述相位差像素的外圍區域的參考區域是否是在特定方向上的高頻信號區域，以及 當所述參考區域被確定為不是在所述特定方向上的高頻信號區域時，使用所述參考區域的像素差來確定通過增益倍數內插方法的所述相位差像素的內插值與通過外圍像素內插方法的所述相位差像素的內插值的合成比。
15.—種信號處理單兀,其包括: 相似度總和計算部件，其被配置為基于從其中布置有相位差像素的圖像拾取部件中輸出的像素信號來計算在作為所述相位差像素的外圍區域的參考區域和設置在比所述參考區域大的搜索區內的多個搜索區域中的每一個之間的相似度，并且計算作為所述計算結果的總和的相似度總和，其中每個搜索區域具有與所述參考區域的尺寸相同的尺寸；以及合成比確定部件，其被配置為根據所計算的相似度總和確定通過增益倍數內插方法的所述相位差像素的內插值與通過外圍像素內插方法的所述相位差像素的內插值的合成比。
16.根據權利要求15所述的信號處理單元，其還包括: 相似度計算部件，其被配置為計算在所述參考區域和所述搜索區內多個搜索區域中的每一個之間的相似度， 其中，所述相似度總和計算部件使用通過所述相似度計算部件所計算的相似度來計算所述相似度總和。
17.根據權利要求15所述的信號處理單元，其還包括: 置信參考值計算部件，其被配置為計算用于確定所計算的相似度總和的可靠性的參考值， 其中，所述合成比確定部件基于所述相似度總和與所述參考值的比來確定所述合成比。
18.根據權利要求15所述的信號處理單元，其還包括: 增益倍數內插值計算部件，其被配置為計算通過所述增益倍數內插方法的所述相位差像素的內插值；以及外圍像素內插值計算部件，其被配置為計算通過所述外圍像素內插方法的所述相位差像素的內插值。
19.根據權利要求18所述的信號處理單元，其中，所述外圍像素內插值計算部件通過將作為所述搜索區域內與所述相位差像素相對應的像素的對應像素的像素值與所述對應像素的加權系數相乘、并且獲得對于所有搜索區域的這樣的乘法結果的總和來計算所述相位差像素的內插值，所述加權系數通過用所述相似度總和對在所述參考區域和所述搜索區域之間的相似度進行標準化來獲得。
20.—種信號處理方法,其中， 被配置為對從其中布置有相位差像素的圖像拾取部件中輸出的像素信號進行處理的信號處理單元 計算在作為相位差像素的外圍區域的參考區域與設置在比所述參考區域大的搜索區內的多個搜索區域中的每一個之間的相似度，并且計算作為所述計算結果的總和的相似度總和，其中每個搜索區域具有與所述參考區域的尺寸相同的尺寸，以及 根據所計算的相似度總和，確定通過增益倍數內插方法的所述相位差像素的內插值和通過外圍像素內插方法的 所述相位差像素的內插值的合成比。
【文檔編號】H04N5/232GK104052918SQ201410083150
【公開日】2014年9月17日 申請日期:2014年3月7日 優先權日:2013年3月15日
【發明者】西牧悠史, 館真透 申請人:索尼公司