圖像獲取裝置及其圖像處理方法
【專利摘要】本發明提供一種圖像獲取裝置及其圖像處理方法。此圖像處理方法包括下列步驟。以第一焦距獲取第一圖像，以第二焦距獲取第二圖像。對第二圖像進行幾何校正程序，產生位移校正后的第二圖像。對第一圖像的每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正后的第二圖像的每一像素點執行梯度運算以產生多個第二梯度值。比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，根據第一像素比較結果產生第一參數地圖。依據第一參數地圖與第一圖像產生合成圖像，至少根據合成圖像產生輸出圖像。
【專利說明】圖像獲取裝置及其圖像處理方法
【技術領域】
[0001]本發明是有關于一種圖像獲取裝置及其圖像處理方法，且特別是有關于一種通過計算像素梯度值來據以混合圖像的圖像獲取裝置及其圖像處理方法。
【背景技術】
[0002]隨著光學技術的進步，可調整光圈、快門甚至可更換鏡頭的數碼相機逐漸普及，數碼相機的功能也趨于多樣化。數碼相機除了要提供良好的成像品質之外，對焦技術的準確性與速度更是消費者在購買產品時會參考的因素。但以現有的光學系統而言，由于多個物體在立體場景中具有不同的遠近，故無法在單次拍攝圖像的過程中取得完全清晰的全景深圖像。亦即，受到鏡頭光學特性的限制，在使用數碼相機取像時只能選擇其中一個深度來進行對焦，故在成像中處于其他深度的景物會較為模糊。
[0003]現有產生全景深圖像的方法大多采用多種不同攝影條件進行拍攝所得的多張圖像組合而成。通過改變攝影條件中的一或多個參數進而對同一場景拍攝出不同的多張圖像，再通過清晰度判別方法來將這些圖像組合成一張清晰的圖像。采用上述多種不同攝影條件進行拍攝以合成全景深圖像的技巧須仰賴固定的圖像獲取裝置進行拍攝。一般而言，使用者常利用穩定的腳架來固定圖像獲取裝置，以確保所獲取的圖像之間無明顯的幾何扭曲。另外，在拍攝過程中，還須避免被攝場景中有任何目標的移動。
[0004]另一方面，在使用相機拍攝圖像時，為了突顯所拍攝圖像中的主題，一般會采用所謂散景(bokeh)的拍攝技巧。散景即表示在景深較淺的攝影成像中，落在景深以外的畫面會有逐漸產生松散模糊的效果。一般而言，相機鏡頭所能制造出的散景效果有限。若要獲得較佳的散景效果，通常需要同時滿足下列幾項重要的條件:大光圈、長焦距。換言之，為了達到散景效果需倚賴大孔徑鏡頭來加強遠距離目標的模糊化，而讓清楚成像的主題得以從背景中突顯出來。然而，大孔徑鏡頭的體積龐大且價格昂貴，并非一般消費型相機所能配備。
[0005]總而言之，現有產生全景深或是產生散景圖像的方法都易導致處理后的圖像產生景深不連續或是不夠自然的問題。此外，對于拍攝圖像上的操作限制更是讓使用者感到不便，像是其平均總拍攝時間相當長或繁復的過程，甚至導致最終的結果圖像無法令人感到滿意。
【發明內容】
[0006]有鑒于此，本發明提供一種圖像獲取裝置及其圖像處理方法，可通過不同焦距值所拍攝的圖像來判斷出圖像中的主體，進而產生主體清晰且散景效果自然的圖像。另一方面，本發明的圖像處理方法也可通過不同焦距值所拍攝的圖像來避免產生全景深圖像時的鬼影問題。
[0007]本發明提出一種圖像處理方法，適用于圖像獲取裝置，此圖像處理方法包括下列步驟。以第一焦距獲取一第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。對第二圖像進行幾何校正程序，產生位移校正后的第二圖像。對第一圖像的每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正后的第二圖像的每一像素點執行梯度運算以產生多個第二梯度值。比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，并根據這些第一像素比較結果產生第一參數地圖。依據第一參數地圖與第一圖像產生合成圖像，并至少根據合成圖像產生輸出圖像。
[0008]在本發明的一實施例中，上述的圖像處理方法，其中至少根據合成圖像產生輸出圖像的步驟包括:以第三焦距獲取第三圖像。對第三圖像進行幾何校正程序，產生位移校正后的第三圖像。對合成圖像的每一像素點執行梯度運算以產生多個第三梯度值，以及對位移校正后的第三圖像的每一像素點執行梯度運算以產生多個第四梯度值。比較各第三梯度值與相對應的各第四梯度值以產生多個第二像素比較結果，并根據這些第二像素比較結果產生第二參數地圖。依據第二參數地圖，混合位移校正后的第三圖像與合成圖像而產生輸出圖像。
[0009]在本發明的一實施例中，上述的圖像處理方法，其中對第二圖像進行幾何校正程序，產生位移校正后的第二圖像的步驟包括:對第一圖像與第二圖像進行移動量估測，藉以計算單應性(homography matrix)矩陣。依據單應性矩陣對第二圖像進行幾何仿射轉換(affine transformation),以獲得位移校正后的第二圖像。
[0010]在本發明的一實施例中，上述的圖像處理方法，其中比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，并根據這些第一像素比較結果產生參數地圖的步驟包括:將這些第二梯度值除以相對應的第一梯度值，產生多個梯度比較值。依據這些梯度比較值產生多個參數值，并將這些參數值記錄為參數地圖。
[0011]在本發明的一實施例中，上述的圖像處理方法，其中依據多個梯度比較值產生多個參數值的步驟包括:判斷這些梯度比較值是否大于第一梯度臨界值。若梯度比較值大于第一梯度臨界值，設定梯度比較值所對應的參數值為第一數值。
[0012]在本發明的一實施例中，上述的圖像處理方法，其中依據這些梯度比較值產生多個參數值的步驟包括:若梯度比較值并無大于第一梯度臨界值，判斷梯度比較值是否大于第二梯度臨界值。若梯度比較值大于第二梯度臨界值，設定梯度比較值所對應的參數值為第二數值。若梯度比較值并無大于第二梯度臨界值，設定梯度比較值所對應的參數值設定為第三數值，其中，第一梯度臨界值大于第二梯度臨界值。
[0013]在本發明的一實施例中，上述的圖像處理方法，其中至少依據第一參數地圖與第一圖像產生合成圖像的步驟包括:對第一圖像進行模糊化程序，產生模糊圖像。根據第一參考地圖混合第一圖像與模糊圖像以產生主體清晰圖像。
[0014]在本發明的一實施例中，上述的圖像處理方法，其中根據第一參考地圖混合第一圖像與模糊圖像以產生主體清晰圖像的步驟包括:判斷參數值是否大于第一混合臨界值。若參數值大于第一混合臨界值，取參數值所對應的模糊圖像的像素點作為主體清晰圖像的像素點。若參數值并無大于第一混合臨界值，判斷參數值是否大于第二混合臨界值。若參數值大于第二混合臨界值，依據參數值計算出對應的主體清晰圖像的像素點。若參數值并無大于第二混合臨界值，取參數值所對應的第一圖像的像素點作為主體清晰圖像的像素點，其中，第一混合臨界值大于第二混合臨界值。
[0015]在本發明的一實施例中，上述的圖像處理方法，其中至少依據第一參數地圖與第一圖像產生合成圖像的步驟包括:依據第一圖像與第二圖像中各像素點的像素值計算出各像素點所對應的多個絕對差值和(Sum of Absolute Differences)，并依據這些絕對差值和調整第一參數地圖中的參數值。根據調整后的第一參考地圖，混合第一圖像與位移校正后的第二圖像以產生全景深圖像。
[0016]在本發明的一實施例中，上述的圖像處理方法，其中依據第一圖像與第二圖像中各像素點的像素值計算出各像素點所對應的絕對差值和，并依據絕對差值和調整第一參數地圖中的參數值的步驟包括:當絕對差值和大于移動臨界值，依據絕對差值和決定各參數值的權重因子，并利用權重因子調整參數值，其中各參數值隨著對應的絕對差值和的上升而下降。
[0017]在本發明的一實施例中，上述的圖像處理方法，其中根據經由權重因子調整后的第一參考地圖，混合第一圖像與位移校正后的第二圖像以產生全景深圖像的步驟包括:判斷參數值是否大于第一混合臨界值。若參數值大于第一混合臨界值，取參數值所對應的位移校正后的第二圖像的像素點作為全景深圖像的像素點。若參數值并無大于第一混合臨界值，判斷參數值是否大于第二混合臨界值。若參數值大于第二混合臨界值，依據參數值計算出對應的全景深圖像的像素點。若參數值并無大于第二混合臨界值，取參數值所對應的第一圖像的像素點作為全景深圖像的像素點，其中第一混合臨界值大于第二混合臨界值。
[0018]從另一觀點來看，本發明提出一種圖像獲取裝置，此圖像獲取裝置包括圖像獲取模塊、位移校正模塊、梯度計算模塊、地圖產生模塊以及圖像合成模塊。圖像獲取模塊以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。位移校正模塊對第二圖像進行幾何校正程序，產生位移校正后的第二圖像。梯度計算模塊對第一圖像的每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正后的第二圖像的每一像素點執行度運算以產生多個第二梯度值。地圖產生模塊比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，并根據第一像素比較結果產生第一參數地圖。圖像合成模塊依據第一參數地圖與第一圖像產生合成圖像，并至少根據合成圖像產生輸出圖像。
[0019]基于上述，本發明通過焦距不同會造成圖像不同的特性，對同一場景以不同焦距進行拍攝，并且比較圖像間各個像素點的梯度差異而產生參數地圖。通過參數地圖的資訊，可產生清晰的全景深圖像或主體清晰背景模糊的散景圖像，達到良好的全景深效果或散景效果。
[0020]為讓本發明的上述特征和優點能更明顯易懂，下文特舉實施例，并配合附圖作詳細說明如下。
【專利附圖】
【附圖說明】
[0021]圖1是本發明一實施例所示出的圖像獲取裝置的功能方塊示意圖；
[0022]圖2是本發明一實施例所示出的圖像處理方法流程圖；
[0023]圖3為本發明另一實施例所示出的圖像處理方法的示意圖；
[0024]圖4是本發明又一實施例所示出的圖像獲取裝置的方塊圖；
[0025]圖5是本發明又一實施例所示出的圖像處理方法流程圖；
[0026]圖6是本發明又一實施例所示出的圖5中步驟S550的詳細流程圖；
[0027]圖7是本發明又一實施例所示出的圖5中步驟S560的詳細流程圖；[0028]圖8是本發明的再一實施例所示出的圖像獲取裝置的方塊圖；
[0029]圖9A是本發明的再一實施例所示出的像素區塊的示意圖；
[0030]圖9B是本發明再一實施例所示出的絕對差值和與權重因子的關系示意圖。
[0031]附圖標記說明:
[0032]100、400、800:圖像獲取裝置；
[0033]110、410、810:圖像獲取模塊；
[0034]120、420、820:圖像校正模塊；
[0035]130、430、830:梯度計算模塊；
[0036]140、440、840:地圖產生模塊；
[0037]150、450、850:圖像合成模塊；
[0038]460:圖像模糊模塊；
[0039]860:地圖調整模塊；
[0040]Imgl、Img2、Img3、Img_b、Img_F、Imgl_blur、Img2_cal:圖像
[0041]G1、G2:梯度值；
[0042]bokeh_map:散景地圖；
[0043]map、allin_map:參數地圖；
[0044]S210 ?S250、S510 ?S560、S610 ?S625、S710 ?S750:步驟。
【具體實施方式】
[0045]本發明提出一種通過利用不同焦距值所拍攝的多張圖像來產生散景圖像以及全景深圖像的方法。先對焦于欲拍攝的至少一主體進行并進行拍攝，接著利用另一焦距對同一場景進行拍攝。通過比較兩張圖像的像素梯度來產生參數地圖，可據以判斷出圖像中的主體部分，進而產生具有散景效果的圖像。另一方面，通過比較至少兩張圖像的像素梯度而產生作為混合圖像的依據的參數地圖，進而產生全景深圖像。為了使本發明的內容更為明了，以下列舉實施例作為本發明確實能夠據以實施的范例。
[0046]圖1是依照本發明一實施例所繪示的影像圖像獲取裝置的功能方塊示意圖。請參照圖1，本實施例的圖像獲取裝置100例如是數碼相機、單反相機、數碼攝影機或是其他具有圖像獲取功能的智能手機、平板電腦、頭戴顯示器等等，不限于上述。圖像獲取裝置100包括圖像獲取模塊110、圖像校正模塊120、梯度計算模塊130、地圖產生模塊140以及圖像合成模塊150。
[0047]圖像獲取模塊110包括變焦鏡頭以及感光元件。感光元件例如是電荷稱合元件(Charge Coupled Device, CCD)、互補性氧化金屬半導體(Complementary Metal-OxideSemiconductor, CMOS)元件或其他元件，圖像獲取模塊110還可包括光圈等,在此皆不設限。圖像獲取模塊110可依據不同的焦距值來獲取不同的圖像。
[0048]另一方面，圖像校正模塊120、梯度計算模塊130、地圖產生模塊140以及圖像合成模塊150可由軟件、硬件或其組合實作而得，在此不加以限制。軟件例如是原始碼、操作系統、應用軟件或驅動程序等。硬件例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化的一般用途或特殊用途的微處理器(Microprocessor)。
[0049]圖2是依照本發明一實施例所繪示的影像圖像處理方法流程圖。本實施例的方法適用于圖1的圖像獲取裝置100，以下即搭配圖像獲取裝置100中的各模塊說明本實施例的詳細步驟:
[0050]首先，于步驟S210中，圖像獲取模塊110以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中第一焦距對焦于至少一主體。也就是說，圖像獲取模塊110利用兩種不同的焦距長度拍攝出兩張圖像。其中，在相同條件下，以不同焦距所拍攝的畫面結果會有所不同。具體來說，就對焦于主體的第一圖像而言，其圖像中的主體部份是最為清晰的。
[0051]于步驟S220中，圖像校正模塊120對第二圖像進行幾何校正程序，產生位移校正后的第二圖像。由于第一圖像與第二圖像系由使用者對同一場景連續拍攝所得，期間由于相機的晃動或移動，可能會拍攝出不同角度的圖像，即第一圖像與第二圖像會有位移的產生。因此圖像校正模塊120對第二圖像進行幾何校正程序，換言之，幾何校正程序可使位移校正后的第二圖像的起始像素點位置相同于第一圖像的起始像素點位置。
[0052]于步驟S230中，梯度計算模塊130對第一圖像的每一像素點執行一梯度運算以產生多個第一梯度值，以及對位移校正后的第二圖像的每一像素點執行梯度運算以產生多個第二梯度值。也就是說，第一圖像中的各個像素點具有其第一梯度值，而位移校正后的第二圖像中的各個像素點具有其第二梯度值。
[0053]于步驟S240中，地圖產生模塊140比較各第一梯度值與相對應的各第二梯度值以產生多個第一像素比較結果，并根據第一像素比較結果產生第一參數地圖。簡單來說，地圖產生模塊140會將位置相同的像素點的梯度值進行比較,對于每個像素點位置而言都會有一個像素比較結果。
[0054]于步驟S250中，圖像合成模塊150依據第一參數地圖與第一圖像產生合成圖像，并至少根據合成圖像產生輸出圖像。詳細來說，在取得參數地圖之后，圖像獲取裝置100可以依據參數地圖混合第一圖像以及本身經過其他圖像處理后的圖像，據以產生合成圖像。此外，圖像獲取裝置100也可以依據參數地圖混合第一圖像與第二圖像，據以產生合成圖像。
[0055]值得一提的是，上述實施方式雖然是以兩種焦距所拍攝出來的兩張圖像為例，但本發明并不限制于此。本發明可視實際應用狀況而定，延伸為利用多個焦距所拍攝出來的多張圖像來取得最終的輸出圖像。舉例來說，由于焦距不同的圖像各分別具有不同的清晰圖像部份，因此可通過多張不同焦距的圖像而取得清晰的全景深圖像。另外，本發明的圖像處理方法可通過對焦于主體、背景以及前景的三張圖像，進而產生出僅有主體清晰的輸出圖像。以下將列舉另一實施例詳細說明之。
[0056]圖3為依照本發明另一實施例所繪示的圖像處理方法的示意圖。在本實施例中，圖像獲取模塊110利用第一焦距與第二焦距獲取第一圖像Imgl與第二圖像Img2。之后，如同上述實施例的說明，通過圖像校正模塊120、梯度計算模塊130、地圖產生模塊、圖像合成模塊150的處理，可據以產生合成圖像Img_b，于此不再贅述。需注意的是，上述實施例中圖像合成模塊150可將合成圖像Img_b作為最后的輸出圖像,但在本實施例中，合成圖像Img_b將進一步與另一圖像進行合成而產生最終的輸出圖像Img_F。詳細來說，如圖3所示，圖像獲取模塊110將再以第三焦距獲取第三圖像Img3。圖像校正模塊120對第三圖像Img3進行幾何校正程序，產生位移校正后的第三圖像Img3。
[0057]之后，梯度計算模塊對合成圖像Img_b的每一像素點執行梯度運算以產生多個第三梯度值，以及對位移校正后的第三影Img3像的每一像素點執行該梯度運算以產生多個第四梯度值。地圖產生模塊140比較各第三梯度值與相對應的各第四梯度值以產生多個第二像素比較結果，并根據第二像素比較結果產生第二參數地圖。于此的第二參數地圖是通過計算合成圖像Img_b與第三圖像Img3的梯度值而取得，其內部的參數值將與前述的利用第一圖像Imgl與第二圖像Img2所計算出來的參數地圖不同。圖像合成模塊150依據第二參數地圖，混合位移校正后的第三圖像Img3與該合成圖像Img_b產生輸出圖像Img_F。基于上述可知，本發明并不限制用以混合出最后輸出圖像的圖像數目，可視實際應用需求而定。
[0058]然而，本發明的實現方式不限于上述說明，可以對于實際的需求而酌予變更上述實施例的內容。例如，在本發明的再一實施例中，圖像獲取裝置還可以更包括圖像模糊模塊，以制作出具有散景效果的主體清晰圖像。另外，在本發明的又一實施例中，圖像獲取裝置還可以更包括地圖調整模塊，以制作出具有良好全景深效果的全景深圖像。為了進一步說明本發明的梯度計算模塊、地圖產生模塊以及圖像合成模塊如何依據不同焦距的圖像而合成出散景圖像以及全景深圖像，以下將分別列舉實施例詳細說明。
[0059]圖4是依照本發明的又一實施例所繪示的圖像獲取裝置的方塊圖。圖像獲取裝置400包括圖像獲取模塊410、圖像校正模塊420、梯度計算模塊430、地圖產收模塊440、圖像合成模塊450以及圖像模糊模塊460。其中，圖像獲取模塊410、圖像校正模塊420、梯度計算模塊430、地圖產收模塊440以及圖像合成模塊450相似或類似于圖1所示的圖像獲取模塊110、圖像校正模塊120、梯度計算模塊130、地圖產收模塊140以及圖像合成模塊150，于此不再贅述。圖4所示實施例可以參照圖1至圖3的相關說明而類推之。
[0060]需特別說明的是，與圖1所示的圖像獲取裝置100不同的是，圖像獲取裝置400更包括圖像模糊模塊460。其中，圖像模糊模塊460例如是采用高斯濾波器(Gaussianfilter)、雙向濾波器(Bilateral filter)或平均濾波器(Average filter)等,用以對第一圖像Imgl進行模糊化程序，本發明對此不限制。另外，在本實施例中，假設第二焦距為對焦于背景的焦距。
[0061]圖5是依照本發明一實施例所繪示的圖像處理方法流程圖。本實施例的方法適用于圖4的圖像獲取裝置400，以下即搭配圖像獲取裝置400中的各模塊說明本實施例的詳細步驟:
[0062]首先于步驟S510中，圖像獲取模塊410以第一焦距獲取第一圖像Imgl，并以第二焦距獲取第二圖像Img2，其中第一焦距對焦于至少一主體，第二焦距對焦于背景。對焦于主體所拍攝出來的第一圖像Imgl中，主體較為清晰，背景較為模糊。相較于第一圖像ImglJi焦于背景所拍攝出來的第二圖像Img2中，背景較為清晰。接著，如步驟S520所述，圖像模糊模塊460對第一圖像Imgl進行模糊化程序，以產生模糊圖像Imgl_blur。
[0063]于步驟S530中，圖像校正模塊420對第二圖像Img2進行幾何校正程序，產生位移校正后的第二圖像Img2_cal。詳言之，圖像校正模塊420可對第一圖像Imgl與第二圖像Img2進行移動量估測,藉以計算出單應性矩陣(homography matrix)。接著，圖像校正模塊420依據此單應性矩陣對第二圖像Img2進行幾何仿射轉換(affine transformation),以獲得轉換后的位移校正后的第二圖像Img2_cal。據此，第一圖像Imgl中主體區域的起始像素點位置會與位移校正后的第二圖像Img2_cal主體區域的起始像素點位置相同。[0064]然后，于步驟S540中，梯度計算模塊430對第一圖像Imgl的每一像素點執行梯度運算以產生多個第一梯度值G1，以及對位移校正后的第二圖像Img2_cal的每一像素點執行梯度運算以產生多個第二梯度值G2。其中，梯度運算可以是水平方向梯度值運算、垂直方向梯度值運算或二對角線方向梯度值運算，本發明對此不限制。也就是說，第一梯度值與第二梯度值對應于其梯度運算的方式可以是水平方向梯度值、垂直方向梯度值或二對角線方向梯度值。其中，水平方向梯度值為此像素點與二相鄰水平方向像素點的灰階差絕對值之和。垂直方向梯度值為此像素點與二相鄰垂直方向像素點的灰階差絕對值之和。對角線方向梯度值包括此像素點與對角線方向像素點的灰階差絕對值之和。
[0065]需說明的是，在本實施例中，由于第一圖像Imgl是對焦于主體所拍攝的圖像，所以相較于位移校正圖像Img2_cal而言，第一圖像Imgl中的主體會較為清晰。也就是說，第一圖像Imgl的焦距內主體區域的像素點的梯度值會大于位移校正后的第二圖像Img2_cal的相同位置的像素點的梯度值。反之，由于位移校正后的第二圖像Img2_cal是對焦于背景所產生的圖像，所以第一圖像Imgl的背景區域的像素點的梯度值會小于位移校正圖像Img2_cal的相同位置的像素點的梯度值。
[0066]基此，于步驟S550中，地圖產生模塊440比較各第一梯度值Gl與相對應的各第二梯度值G2以產生多個比較結果，并根據比較結果產生參數地圖。需說明的是，在本實施例中，參數地圖稱之為散景地圖bokeh_map。詳細來說，地圖產生模塊440將比較第一圖像Imgl與位移校正后的第二圖像Img2_cal中各個相同位置的像素點的梯度值。再者，基于上述第一圖像Imgl與位移校正后的第二圖像Img2_cal中各像素點的梯度值的關系，可通過比較結果判別出第一圖像Imgl中各個像素點是位于主體區域或背景區域。地圖產生模塊440通過第一圖像Imgl與位移校正后的第二圖像Img2_cal中各像素點的梯度值的比較結果，可產生出散景地圖bokeh_map。換句話說,散景地圖bokeh_map帶有第一圖像Imgl與位移校正后的第二圖像Img2_cal中各位置相同的像素點的梯度值的比較結果資訊。
[0067]最后，于步驟S560中，圖像合成模塊450根據散景地圖bokeh_map混合第一圖像Imgl與模糊圖像Imgl_blur以產生主體清晰圖像Imgl_bokeh。由此可見,第二圖像Img2是用以產生散景地圖bokeh_map,圖像合成模塊450是根據散景地圖bokeh_map混合第一圖像Imgl與模糊圖像Imgl_blur來產生具有散景效果的主體清晰圖像Imgl_bokeh。如此一來，就可產生保持被攝主體區域的清晰而模糊其他背景區域的散景圖像。
[0068]另外，以下將更進一步詳細說明地圖產生模塊440如何根據比較各第一梯度值Gl與相對應的各第二梯度值G2的結果來產生散景地圖bokeh_map。圖6是根據本發明實施例所繪示圖5中步驟S550的詳細流程圖。請同時參照圖4與圖6，在步驟S610中，地圖產生模塊440將第二梯度值G2除以相對應的第一梯度值Gl，產生梯度比較值。在步驟S620中，地圖產生模塊440依據梯度比較值產生多個參數值，并將參數值記錄為散景地圖bokeh_map。舉例來說，若第一圖像Imgl與位移校正圖像Img2_cal分別具有1024*768個像素點，在經由圖像處理模塊140運算后將產生1024*768個梯度比較值，則散景地圖bokeh_map將包含1024*768個參數值。在此，步驟S620可以分為步驟S621至步驟S625實施之。
[0069]地圖產生模塊440判斷各個位置的梯度比較值是否大于第一梯度臨界值(步驟S621)。若梯度比較值大于第一梯度臨界值，地圖產生模塊440設定對應于此梯度比較值的參數值為第一數值(步驟S622)，于此稱第一數值為散景背景值。換言之，若梯度比較值大于第一梯度臨界值，代表此位置的像素點位于背景的區域。若梯度比較值并沒有大于第一梯度臨界值，地圖產生模塊440判斷梯度比較值是否大于第二梯度臨界值(步驟S623)。若梯度比較值大于第二梯度臨界值，地圖產生模塊440設定對應于此梯度比較值的參數值為第二數值(步驟S324)，在此稱第二數值為散景邊緣值。簡單來說，若梯度比較值介于第二梯度臨界值與第一梯度臨界值之間，代表此位置的像素點位于主體連接背景之間的邊緣區域。若梯度比較值沒有大于第二梯度臨界值，地圖產生模塊440設定對應于此梯度比較值的參數值設定為第三數值(步驟S625)，在此稱第三數值為散景主體值，即此位置的像素點位于主體的區域。需注意的是，散景邊緣值將介于散景背景值與散景主體值之間，且第一梯度臨界值大于第二梯度臨界值，而第一梯度臨界值與是第二梯度臨界值依據實際情況而適當設定，本發明對此不限制。
[0070]舉例來說，假設地圖產生模塊440設定參數值介于O與255之間，則圖像處理模塊140可利用下列程式碼(I)來產生散景地圖bokeh_map:
[0071]
【權利要求】
1.一種圖像處理方法，適用于圖像獲取裝置，其特征在于，該圖像處理方法包括: 以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中該第一焦距對焦于至少一主體； 對該第二圖像進行幾何校正程序，產生位移校正后的該第二圖像； 對該第圖像的每一像素點執行梯度運算以產生多個第一梯度值，以及對位移校正后的該第二圖像的每一像素點執行該梯度運算以產生多個第二梯度值； 比較各該第一梯度值與相對應的各該第二梯度值以產生多個第一像素比較結果，并根據該些第一像素比較結果產生第一參數地圖；以及 依據該第一參數地圖與該第一圖像產生合成圖像，并至少根據該合成圖像產生輸出圖像。
2.根據權利要求1所述 的圖像處理方法，其特征在于，至少根據該合成圖像產生該輸出圖像的步驟包括: 以第三焦距獲取第三圖像； 對該第三圖像進行該幾何校正程序，產生位移校正后的該第三圖像； 對該合成圖像的每一像素點執行該梯度運算以產生多個第三梯度值，以及對位移校正后的該第三圖像的每一像素點執行該梯度運算以產生多個第四梯度值； 比較各該第三梯度值與相對應的各該第四梯度值以產生多個第二像素比較結果，并根據該些第二像素比較結果產生第二參數地圖；以及 依據該第二參數地圖，混合位移校正后的該第三圖像與該合成圖像產生該輸出圖像。
3.根據權利要求1所述的圖像處理方法，其特征在于，對該第二圖像進行該幾何校正程序，產生位移校正后的該第二圖像的步驟包括: 對該第一圖像與該第二圖像進行移動量估測，藉以計算單應性矩陣；以及 依據該單應性矩陣對該第二圖像進行幾何仿射轉換，以獲得位移校正后的該第二圖像。
4.根據權利要求1所述的圖像處理方法，其特征在于，比較各該第一梯度值與相對應的各該第二梯度值以產生該些第一像素比較結果，并根據該些第一像素比較結果產生該參數地圖的步驟包括: 將該些第二梯度值除以相對應的該些第一梯度值，產生多個梯度比較值；以及 依據該些梯度比較值產生多個參數值，并將該些參數值記錄為該參數地圖。
5.根據權利要求4所述的圖像處理方法，其特征在于，依據該些梯度比較值產生該些參數值的步驟包括: 判斷該些梯度比較值是否大于第一梯度臨界值；以及 若該些梯度比較值大于該第一梯度臨界值，設定該些梯度比較值所對應的該些參數值為第一數值。
6.根據權利要求5所述的圖像處理方法，其特征在于，依據該些梯度比較值產生該些參數值的步驟包括: 若該些梯度比較值并無大于該第一梯度臨界值，判斷該些梯度比較值是否大于第二梯度臨界值； 若該些梯度比較值大于該第二梯度臨界值，設定該些梯度比較值所對應的該些參數值為第二數值；以及 若該些梯度比較值并無大于該第二梯度臨界值，設定該些梯度比較值所對應的該些參數值設定為第三數值， 其中，該第一梯度臨界值大于該第二梯度臨界值。
7.根據權利要求4所述的圖像處理方法，其特征在于，至少依據該第一參數地圖與該第一圖像產生該合成圖像的步驟包括: 對該第一圖像進行模糊化程序，產生模糊圖像；以及 根據該第一參考地圖混合該第一圖像與該模糊圖像以產生主體清晰圖像。
8.根據權利要求7所述的圖像處理方法，其特征在于，根據該第一參考地圖混合該第一圖像與該模糊圖像以產生該主體清晰圖像的步驟包括: 判斷該些參數值是否大于第一混合臨界值； 若該些參數值大于該第一混合臨界值，取該些參數值所對應的該模糊圖像的像素點作為該主體清晰圖像的像素點； 若該些參數值并無大于該第一混合臨界值，判斷該些參數值是否大于第二混合臨界值； 若該些參數值大于該第二混合臨界值，依據該些參數值計算出對應的該主體清晰圖像的像素點；以及 若該些參數值并無大于該第二混合臨界值，取該些參數值所對應的該第一圖像的像素點作為該主體清晰圖像的像素點，其中，該第一混合臨界值大于該第二混合臨界值。
9.根據權利要求4所述的圖像處理方法，其特征在于，至少依據該第一參數地圖與該第一圖像產生該合成圖像的步驟包括: 依據該第一圖像與該第二圖像中各像素點的像素值計算出各像素點所對應的多個絕對差值和，并依據該些絕對差值和調整該第一參數地圖中的該些參數值；以及 根據調整后的該第一參考地圖，混合該第一圖像與位移校正后的該第二圖像以產生全景深圖像。
10.根據權利要求9所述的圖像處理方法，其特征在于，依據該第一圖像與該第二圖像中各像素點的像素值計算出各像素點所對應的該些絕對差值和，并依據該些絕對差值和調整該第一參數地圖中的該些參數值的步驟包括: 當該些絕對差值和大于移動臨界值，依據該些絕對差值和決定各該參數值的權重因子，并利用該權重因子調整該些參數值，其中各該參數值隨著對應的該絕對差值和的上升而下降。
11.根據權利要求9所述的圖像處理方法，其特征在于，根據經由該些權重因子調整后的該第一參考地圖，混合該第一圖像與位移校正后的該第二圖像以產生該全景深圖像的步驟包括: 判斷該些參數值是否大于第一混合臨界值； 若該些參數值大于該第一混合臨界值，取該些參數值所對應的位移校正后的該第二圖像的像素點作為該全景深圖像的像素點； 若該些參數值并無大于該第一混合臨界值，判斷該些參數值是否大于第二混合臨界值；若該些參數值大于該第二混合臨界值，依據該些參數值計算出對應的該全景深圖像的像素點；以及 若該些參數值并無大于該第二混合臨界值，取該些參數值所對應的該第一圖像的像素點作為該全景深圖像的像素點，其中，該第一混合臨界值大于該第二混合臨界值。
12.—種圖像獲取裝置，其特征在于，包括: 圖像獲取模塊，以第一焦距獲取第一圖像，并以第二焦距獲取第二圖像，其中該第一焦距對焦于至少一主體； 圖像校正模塊，對該第二圖像進行幾何校正程序，產生位移校正后的該第二圖像； 梯度計算模塊，對該第一圖像的每一像素點執行一梯度運算以產生多個第一梯度值，以及對位移校正后的該第二圖像的每一像素點執行該梯度運算以產生多個第二梯度值； 地圖產生模塊，比較各該第一梯度值與相對應的各該第二梯度值以產生多個第一像素比較結果，并根據該些第一像素比較結果產生第一參數地圖；以及 圖像合成模塊，依據該第一參數地圖與該第一圖像產生合成圖像，并至少根據該合成圖像產生輸出圖像。
13.根據權利要求11所述的圖像獲取裝置，其特征在于，該圖像獲取模塊以第三焦距獲取第三圖像，該圖像校正模塊對該第三圖像進行該幾何校正程序而產生位移校正后的該第三圖像，該梯度計算模塊對該合成圖像的每一像素點執行該梯度運算以產生多個第三梯度值，該梯度計算模塊對位移校正后的該第三圖像的每一像素點執行該梯度運算以產生多個第四梯度值，該地圖產生模塊比較各該第三梯度值與相對應的各該第四梯度值以產生多個第二像素比較結果，該地圖產生模塊并根據該些第二像素比較結果產生第二參數地圖，該圖像合成模塊依據該第二參數地圖混合位移校正后的該第三圖像與該合成圖像而產生該輸出圖像。
14.根據權利要求11所述的圖像獲取裝置，其中該地圖產生模塊將該些第二梯度值除以相對應的該些第一梯度值，以產生多個梯度比較值，以及依據該些梯度比較值產生多個參數值，并將該些參數值記錄為該參數地圖。
15.根據權利要求11所述的圖像獲取裝置，其特征在于，還包括圖像模糊模塊，該圖像模糊模塊對該第一圖像進行一模糊化程序而產生模糊圖像，該圖像合成模塊根據該第一參考地圖混合該第一圖像與該模糊圖像以產生主體清晰圖像。
16.根據權利要求11所述的圖像獲取裝置，其特征在于，還包括地圖調整模塊，該地圖調整模塊依據該第一圖像與該第二圖像中各像素點的像素值計算出各像素點所對應的多個絕對差值和，該地圖調整模塊并依據該些絕對差值和調整該第一參數地圖中的該些參數值，該圖像合成模塊根據調整后的該第一參考地圖混合該第一圖像與位移校正后的該第二圖像以產生全景深圖像。
【文檔編號】H04N5/232GK103973963SQ201310260044
【公開日】2014年8月6日 申請日期:2013年6月26日 優先權日:2013年2月6日
【發明者】莊哲綸, 周宏隆 申請人:聚晶半導體股份有限公司