圖像處理系統、成像設備、圖像處理方法以及計算機可讀記錄介質與流程

本發明涉及圖像處理系統、成像設備、圖像處理方法以及用于使得計算機執行所述方法的計算機可讀記錄介質。

背景技術：

作為能夠360度成像的成像設備，已知存在全景成像相機被用作監視相機。所述全景成像相機通過多個成像元件，使用多個廣角鏡頭或魚眼鏡頭來拍攝圖像，在多個拍攝的圖像上做失真校正和投影變形，并且將它們合成以生成一個全景圖像。由相鄰的成像元件拍攝的圖像具有圖像重疊區域，在所述重疊區域中所述圖像彼此部分地重疊。全景成像相機通過圖像重疊區域合成圖像。

全景成像相機通過使用多個不同成像方向的成像元件來拍攝圖像，并且由成像元件獲得的圖像的圖像重疊區域在亮度和色彩上有差異，這引起了合成的圖像的可視性劣化的問題。已提出借助于用于使得圖像重疊區域的色調統一的初始增益以及用于降低與其他成像元件的差異的校正增益，通過校正映射重疊區域來用于降低在圖像重疊區域之間色調的差異的技術(例如，參考日本專利No.4739122)。

全景成像相機使用廣角鏡頭和魚眼鏡頭在寬廣面積內拍攝圖像，并且因此，來自諸如太陽或照明設備的光源的光很可能進入成像范圍內。在這種情況下，已知有高可能性發生閃光以致圖像白模糊以及呈現出具有光的擴散。所述閃光不均勻地發生在圖像上，并且因此帶閃光的圖像和不帶閃光的圖像彼此在亮度和色彩上有差異。因此，存在合成的圖像中的接縫突出的問題。

根據前述的傳統技術，能夠降低在圖像重疊區域之間的色調的差異來使所述接縫不太突出，但是不能校正其他圖像區域。結果是，合成的圖像在亮度和色彩上具有差異。

因此，有必要提供允許在多個圖像之間的亮度和色彩上差異降低的系統以及方法。

技術實現要素：

本發明的目的是至少部分地解決傳統技術中的問題。

根據一個實施例，提供了用于在包含重疊圖像區域作為重疊區域的多個圖像上執行圖像處理的圖像處理系統。圖像處理系統包含：計算器，配置來使用每個重疊區域中的一個或多個像素的像素值計算評估值，所述評估值用于評估多個圖像中的每一個；確定控制器，配置來基于由計算器計算的評估值，確定在多個圖像中是否存在要被校正的圖像；圖像確定部，配置來當確定控制器確定存在要被校正的圖像時，基于評估值從多個圖像當中確定用于校正的參考的校正參考圖像；以及圖像校正部，配置來基于由圖像確定部確定的校正參考圖像校正要被校正的圖像。

當聯系附圖考慮時，通過閱讀本發明當前優選的實施例的以下具體描述，將會更好地理解本發明的上述和其他的目的、特征、優點以及以及技術和工業價值。

附圖說明

圖1是成像設備的外部視圖。

圖2是示出成像設備的硬件配置的圖。

圖3是描述用于在成像設備中使用的魚眼鏡頭的圖。

圖4是描述在由成像設備拍攝的多個圖像中的重疊區域的圖。

圖5是描述全景圖像的格式的圖。

圖6是描述用于魚眼圖像轉換到全景圖像的轉換表格的圖。

圖7是用于生成全景圖像的處理的流程圖。

圖8是示出失真校正的結果的圖。

圖9描述用于檢測連接位置的方法的圖。

圖10是圖像處理系統的功能框圖。

圖11是由圖像處理系統執行的整體處理的流程圖。

圖12是描述在圖11中描述的步驟S1110處評估值的獲取的圖。

圖13是在圖11中描述的步驟S1120處用于確定的具體處理的流程圖。

圖14是在圖11中描述的步驟S1130處用于校正映射的創建的具體處理的流程圖。

圖15是描述校正排除映射的創建的圖。

圖16是描述用于計算對重疊區域校正量的方法的圖。

圖17是描述用于從對重疊區域的校正量中計算對整體圖像校正量的方法的圖。

圖18是描述用于通過參考圖15創建的校正排除映射修正參考圖14創建的校正映射的方法的圖。

圖19是用于在圖13中描述的步驟S1310計算重疊區域中平均值的處理的流程圖。

圖20是用于圖13中描述的步驟S1310計算重疊區域中平均值的另一處理的流程圖。

圖21是描述用于在圖20中描述的步驟S2030計算匹配度的方法。

圖22是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖23是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖24是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖25是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖26是用于修正重疊區域中的校正量的處理的流程圖。

圖27是用于限制重疊區域中的校正量的處理的流程圖。

圖28是示出用于在圖27中描述的處理中使用的閾值表格的示例圖。

具體實施方式

圖1是包含圖像處理系統的成像設備的外部視圖。在這個示例中，成像設備是全景成像相機但不限于此。所述成像設備可以是任何被配置來由多個成像元件拍攝重疊圖像區域(重疊區域)并通過它們的重疊區域將多個拍攝的圖像連接的成像設備。借助于圖像處理IC或軟件能夠執行用于通過它們的重疊區域連接多個拍攝圖像的處理。

全景成像相機10包含用于在一個成像位置處全景成像的、具有大于180度的視角的兩個魚眼鏡頭11和12以及與魚眼鏡頭11和12分別相對應的兩個成像元件13和14。在這個示例中，所述全景成像相機10被配置來包含所述兩個魚眼鏡頭11、12以及所述兩個成像元件13、14。然而，全景成像相機10不限于這個配置，還可包含三個或更多個的每個組件。視角參考由魚眼鏡頭11和12成像的角度范圍。

魚眼鏡頭11和12可以是等距投影類型，在此類型中，到拍攝圖像中心的距離與光的入射角成比例。所述成像元件13和14可以是將入射光轉換為電信號的電荷耦合設備(CCD)圖像傳感器或互補金屬氧化物半導體(CMOS)圖像傳感器。所述兩個成像元件13和14全景地拍攝圖像以使拍攝的圖像包含作為重疊圖像區域的重疊區域。

通過攝影師按下成像SW 15來引起成像元件13和14同時進行曝光而執行成像。成像元件13和14將接收的光轉換為電信號以獲取圖像。獲取的圖像是通過利用魚眼鏡頭11和12拍攝，并且因此被稱為魚眼圖像。由兩個成像元件13和14獲取的兩個魚眼圖像經歷圖像轉換并在隨后的圖像處理中通過重疊區域被合成，由此生成全景圖像。

全景成像相機10可存儲用于生成的全景圖像的數據，并且，在接到請求時，將數據輸出至包含顯示裝置的器材(諸如未示出的PC)以在顯示裝置上顯示全景圖像。所述全景成像相機10還可以將生成的全景圖像輸出至未示出的打印機或多功能外圍設備(MFP)用于打印輸出的生成。所述全景成像相機10可進一步將生成的全景圖像輸出至MDP或PC用于傳真傳輸或郵件傳輸。

圖2是示出全景成像相機10的硬件配置的圖。在圖2的示例中，魚眼鏡頭11和12未被示出。全景成像相機10包含控制器20、SDRAM 21以及外部存儲設備22，還包含兩個成像元件13和14以及成像SW 15。SDRAM 21被用于與控制器20結合以存儲用于實現預定的圖像處理的程序。所述外部存儲裝置22存儲被處理過的圖像的數據，即前述的全景圖像數據。

所述控制器20包含CPU 23、ROM 24、SRAM 25、圖像處理模塊26、SDRAM I/F 27以及外部存儲I/F 28，它們各自被連接至總線29。所述CPU 23控制整個全景成像相機10。所述ROM 24存儲用于激活全景成像相機10的程序、后文描述的轉換表格以及其他。SRAM 25提供用于CPU 23的工作區。所述圖像處理模塊26協同CPU 23、SRAM 25以及SDRAM 21等執行前述的預定的圖像處理。圖像處理模塊26可以是作為專用集成電路的特定用途集成電路(ASIC)。

全景成像相機10通過兩個成像元件13和14獲取兩個魚眼圖像。所述成像元件13和14各自包含A/D轉換器，并通過A/D轉換器將轉換的電信號轉換為數字數據。所述成像元件13和14將數字數據作為魚眼圖像數據輸出至包含于控制器20的圖像處理模塊26。所述圖像處理模塊26執行前述的圖像轉換以及用于協同CPU 23等將圖像連接為全景圖像的處理作為預定的圖像處理，并經由外部存儲I/F 28將生成的全景圖像數據存儲至外部存儲設備22中。

全景成像相機10進一步包含通信I/F以執行與PC、MFP以及未示出的其他的有線或無線通信來將全景圖像數據傳輸至這些設備用于屏幕顯示、打印輸出或諸如此類。通過諸如Wi-Fi、藍牙(注冊商標)以及紅外線的無線LANs可以執行無線通信。

參考圖3，將具體描述魚眼鏡頭11。魚眼鏡頭12以與魚眼鏡頭11相同的方式被配置，并且在本文僅給出魚眼鏡頭11的描述。由具有魚眼鏡頭11的成像元件13以大于180度的視角拍攝的魚眼圖像是以成像位置為中心的主體的近似半球形圖像。

如圖3中(a)中所示，當將在魚眼鏡頭11上的光的入射角指定為φ時，圖像的中心與像點之間的距離被給定為圖像高度h，以及將投影函數指定為f，通過以下等式(1)能夠表達這些項之間的關系。

h＝f(φ) (1)

投影函數f取決于魚眼鏡頭11的特性而變化。例如，當使用等距投影類型魚眼鏡頭時，存在如圖3中(b)中所示的比例關系，以使，隨入射角φ變得更大，如箭頭所顯示，圖像高度h變得更大。在圖3中(b)中，在圓圈外的涂黑區域是沒有光入射的區域。

參考圖4，將描述由成像元件13和14拍攝的在兩個魚眼圖像中的重疊區域。在圖4中，所述成像元件13被稱為“第一成像元件”，而所述成像元件14被稱為“第二成像元件”。所述魚眼鏡頭11和12各自具有大于180的視角，并且由成像元件13和14拍攝的魚眼圖像包含重疊區域。在圖4中，(a)示出由成像元件13和14拍攝的魚眼圖像，所述圖像包含沒有光入射的涂黑區域、帶有90度或更小入射角的白色區域，以及帶有大于90度入射角的斜線陰影區域。

圖4中(a)中的斜線陰影區域為在兩個魚眼圖像之間重疊的圖像區域，能將其定義為重疊區域。然而，隨圖像高度h變得更大以使像點更加遠離圖像的中心，魚眼鏡頭11和12很可能引起更大的失真和像差。另外，魚眼鏡頭11和12的外框會被反映在圖像中。帶有失真或像差的區域的圖像或外框的圖像不能被用于圖像連接。

因此，如圖4中(b)中所示，重疊區域30會被限制于由垂直條紋所顯示的預定寬度的環形的內部區域。在圖4中(b)的示例中，通過被成像元件13和14同步曝光獲得兩個魚眼圖像，并因此重疊區域30基本地構成相同主體的圖像。

接下來，參考圖5，將描述全景圖像。如圖5中(a)中所示，以圓形的形式格式化每個魚眼圖像以表現近似半球形圖像。以地球儀為例，經度與水平角度相對應以及緯度與垂直角度對應。水平角度屬于0至360度的范圍內，而垂直角度屬于0至180度的范圍內。

以圖5中(b)所示的矩形的形式格式化全景圖像，通過沿水平方向的水平角度以及沿垂直方向的垂直角度合成兩個半球形圖像而生成所述全景圖像。在精確的意義上，每個要被合成的圖像由于重疊區域而大于半球形圖像，但為方便起見在本文被稱為半球形圖像。

所述兩個半球形圖像被生成為具有與水平角度和垂直角度相對應的像素的、在圖5中(b)以矩形格式所表現的圖像，其帶有與在魚眼圖像中的水平角度和垂直角度相對應的那些像素相同的像素值。通過使魚眼圖像經歷投影轉換，能夠生成每個半球形圖像。合成兩個生成的半球形圖像能夠在水平方向以及垂直方向上生成全360度全景圖像。

圖6顯示了用于在魚眼圖像的投影轉換中使用的轉換表格的示例。如圖6中(a)中所示，轉換表格包含作為改變前的圖像的魚眼圖像的水平和垂直角度的值作為坐標值與作為改變后的圖像的半球形圖像的坐標值之間的對應關系。所述改變前的圖像的坐標值被表現為(x,y)，而改變后的圖像的坐標值為(θ,φ)。如圖6中(b)中所示，對于每個圖像，參考在左上角處的坐標(0,0)確定改變前的圖像中的像素和改變后的圖像中的相對應的像素，并且像素的坐標值的組被作為在轉換表格中的數據保留。從改變前的圖像與改變后的圖像之間的投影關系中能夠確定所述對應關系。

對于兩個魚眼鏡頭11、12以及兩個成像元件13、14中的每一個，基于鏡頭設計數據等能預先創建轉換表格，并且，所述轉換表格能被存儲于圖2中所示的ROM 24中以及作為之后使用的必需品而被讀取。使用轉換表格可能使魚眼圖像經歷投影轉換并且校正魚眼圖像中的失真。能夠合成校正的圖像以生成全景圖像。

參考圖7，將描述用于生成全景圖像的處理的流程。該處理在步驟S700處開始，在所述處理中，通過兩個成像元件13和14拍攝并輸入兩個魚眼圖像。在步驟S710，存儲于ROM 24中的如圖6中(a)中所示的轉換表格被用來使魚眼圖像經歷用于失真校正的投影轉換。所述失真校正使生成如圖5中(a)中所示的兩個半球形圖像是可能的。

在步驟S720，檢測在重疊區域中用于連接兩個獲得的半球形圖像的連接位置。后文將具體描述連接位置的所述檢測。在步驟S730處，基于檢測結果校正在步驟S710使用的轉換表格。后文將描述所述校正的目的以及所述處理的具體內容。在步驟S740，校正的轉換表格經歷旋轉變形以創建用于圖像生成的轉換表格。出于保證圖像的垂直方向與全景成像相機10的天頂方向之間的一致的目的，在用于圖像生成的轉換表格中執行旋轉變形。

在步驟S750，使用用于圖像生成的轉換表格來使兩個魚眼圖像經歷投影轉換以校正在圖像中的失真。在步驟S760，執行融合以合成帶失真校正的兩個圖像。所述兩個圖像通過它們的重疊區域被合成。然而，如果在一個圖像中存在僅用于重疊區域的數據，則使用所述數據執行圖像的合成。在融合完成后，所述處理移至步驟S770并結束。

參考圖8，將具體描述圖7中步驟S710處的失真校正。由兩個成像元件13和14拍攝的兩個魚眼圖像使用它們分別的轉換表格經投影轉換，借此所述魚眼圖像被轉換為如圖8中(a)中所示的矩形半球形圖像。由成像元件13拍攝并轉換的圖像31構成圖8中(a)中的上部圖像，而由成像單元14拍攝并轉換的圖像32構成圖8中(a)中的下部圖像。在上部圖像與下部圖像之間重疊的中間的圖像區域構成重疊區域30。能夠容易地檢測所述重疊區域30。

在這樣的轉換的圖像中，圖8中(b)所示，相對于由包含具有魚眼鏡頭11和12的成像元件13和14的全景成像相機10的箭頭A顯示的垂直方向近似90度旋轉所述垂直方向。

參考圖9，將描述用于檢測連接位置的處理。通過通常所知的模板匹配能夠執行所述連接位置的檢測。在模板匹配中，如圖8中所示的重疊區域被檢測，并且在兩個半球形圖像的其中一個中的重疊區域30之中取得具有預定尺寸的圖像，并將其設置為如圖9中(a)中所示的模板圖像34。在預定的有規律的間隔ST處，以垂直規格h乘以水平規格w取得多個模板圖像34。參考圖9中的(a)，模板圖像34為帶有編號1至6的矩形圖像。每個模板圖像34具有在其左上角處的坐標作為對于模板圖像34取得的坐標(sx1,sy1)。例如，每個取得的模板圖像34為圖9中(b)中所示的圖像。

檢測連接位置以使坐標(kx,ky)被設置在模板圖像34的左上角作為搜索位置，在兩個半球形圖像中另一個的重疊區域內偏移所述搜索位置以搜索帶有最高評估值的位置，如圖9中(c)所示。搜索范圍可落在重疊區域內。然后，由模板匹配檢測的坐標(kx,ky)與對于模板圖像34取得的坐標(sx1,sy1)之間的差作為連接位置的檢測結果被輸出。通過在預定的間隔ST逐步地取得多個模板圖像來獲得所述檢測結果，并因此構成離散的數據。因此，可以執行線性插值或諸如之類以獲取離散數據之間的數據。

重疊區域表現相同主體的圖像但因為成像元件13和14在相對于主體的不同方向上被定向，故在其之間具有視差。在視差發生時，主體以重影被表現，這要求所述兩個圖像要被調整為它們中的任一個。合成位置的檢測旨在校正這樣的視差。所述視差取決于主體位置而變化，并且需要在每個成像的每個重疊區域中檢測最佳連接位置。

圖7中描述的在步驟S730處的轉換表格的校正是借助于由模板匹配檢測的坐標而做出的。具體地，作為連接位置的檢測結果的差異被加到用于在一個魚眼圖像中使用的轉換表格中的坐標值(x,y)以校正坐標值。所述校正旨在將一個魚眼圖像連接至另一個魚眼圖像。因此，不對用于在另一個魚眼圖像中使用的轉換表格做出校正。

給出關于用于使通過兩個成像元件13和14拍攝的魚眼圖像經歷圖像轉換以及連接所述兩個圖像以生成全景圖像的處理的前述的描述。在下文中，將給出用于確定是否在魚眼圖像中發生閃光，以及當發生閃光時，適當地校正以降低由于閃光的發生導致的在亮度和色彩上的差異的描述。在下文描述中，以閃光作為亮度和色彩上的差異的原因的示例。然而，帶有亮度和色彩上差異的不自然地合成的圖像的原因不限于閃光。

圖10是用于實現前述處理的圖像處理系統的功能框圖。所述圖像處理系統配置來在從多個成像元件13和14以及其他輸入的多個圖像上執行圖像處理。所述圖像處理系統被配置為包含計算器40、確定控制器41、圖像確定部42以及圖像校正部43。這些功能單元通過圖2中所示的CPU 23執行存儲于SDRAM 21中的程序，或例如通過圖像處理模塊26實現。

所述計算器40使用每個重疊區域中的一個或多個像素的像素值來計算用于每個圖像的評估的評估值。例如，所述評估值可以是在每個重疊區域中的多個像素的像素值的平均值或方差值。當在彩色圖像中采用RGB色彩空間時，每個像素值可包含在RGB色彩中的信號量。當采用YCbCr色彩空間時，每個像素值可包含亮度、藍色的色相和強度以及紅色的色相和強度的值。

確定控制器41根據由計算器40計算的評估值確定是否在多個圖像中存在要被校正的圖像。例如，所述確定控制器41具有閾值以通過與閾值進行比較做出關于有或沒有要被校正的圖像的確定。具體地，所述確定控制器41將具有大于閾值的平均值或方差值的圖像確定為要被校正的圖像。當有這樣的圖像時，確定控制器41確定存在要被校正的圖像。

當確定控制器41確定存在要被校正的圖像時，所述圖像確定部42根據由計算器40計算的評估值，從多個圖像之中，將校正參考圖像確定為用于校正的參考。可以從排除要被校正的圖像的多個圖像之中選擇所述校正參考圖像。例如，所述校正參考圖像可以是與要被校正的圖像不同的并且是要與要被校正的圖像合成的圖像。在上述的全景成像相機10的情況下，當一個圖像是要被校正的圖像時，另一個可被確定為校正參考圖像。

圖像校正部43根據由圖像確定部42確定的校正參考圖像校正要被校正的圖像。所述圖像校正部43校正要被校正的圖像以使其亮度和色彩接近于校正參考圖像的亮度和色彩。所述校正允許在多個要被校正的圖像之間的亮度和色彩上的差異降低。

參考圖11，將描述通過圖像處理系統執行的處理。所述圖像處理系統在收到由兩個成像元件13和14拍攝的兩個魚眼圖像時在步驟S1100開始所述處理。在步驟S1110處，計算器40使用兩個魚眼圖像的每個重疊區域中的一個或多個像素的像素值來計算用于每個圖像的用于評估的評估值。

在步驟S1120，所述確定控制器41根據通過計算器40計算的評估值，確定在兩個魚眼圖像中是否存在帶有閃光的圖像(閃光圖像)。在步驟S1120處，當存在閃光圖像時，所述處理移至步驟S1130，且當不存在閃光圖像時，所述處理移至步驟S1150并結束。

在步驟S1130，所述圖像確定部42將不帶有閃光的圖像確定為校正參考圖像，并且圖像校正部43使用在步驟S1110計算的評估值來創建校正映射(correction map)，在所述校正映射中用于閃光圖像的校正的校正值被映射。在步驟S1140處，所述圖像校正部43使用創建的校正映射來校正閃光圖像。在校正完成后，所述處理移至步驟S1150并結束。

將參考圖12描述圖11中的在步驟S1110的評估值的計算。使用在重疊區域中一個或多個像素的像素值來計算所述評估值，其要求獲取由在圖12中(a)中垂直條紋顯示的重疊區域30中的一個或多個像素的像素值。將在下文中描述一種用于獲取的方法。以下方法為示例，并且能夠使用任何其他的用于計算評估值的方法。

首先，如圖12中(a)中所示，兩個輸入魚眼圖像的每一個被劃分為多個預定數量的、具有相同尺寸的矩形評估分區。例如，當每個魚眼圖像的尺寸為1952(像素)×1932(像素)時，魚眼圖像可被劃分為48×48分區。該分區的數量為示例，并因此可以由實驗或諸如此類來確定和采用任何其他最佳的分區數量。圖像處理系統可包含，作為用于這樣的劃分的功能單元的區域劃分部，其被配置來將圖像劃分為多個評估分區。

接下來，如圖12中(b)中所示，包含于由垂直條紋顯示的重疊區域30中的所有評估分區，被檢測為與重疊區域30相對應的評估分區。在圖12中(b)中，以灰色顯示檢測的評估分區35。圖像處理系統可包含作為用于這樣的檢測的功能單元的分區檢測部。

每個所檢測的評估分區35由多個像素組成。每個像素具有像素值。通過將像素值相加可計算評估值，將像素值的和除以像素值的數量以確定在所有評估分區35中的平均值，將在所有評估分區中確定的平均值相加，然后將平均值的和除以評估分區的數量以確定平均值。可替換地，通過確定在所有評估分區中確定的平均值的方差值可計算評估值。因此，可以使用前述的平均值或方差值來確定所述評估值。圖像處理系統可包含，作為功能單元的、用于計算在評估分區中平均值的平均值計算器。

在通過如圖1中所示構造的由全景成像相機10來360度成像的情況下，攝影師的手指按下成像SW15會被顯著地反映。在這種情況下，在重疊區域30中看到手指，但在其他重疊區域30中看不到。因此，取決于有或沒有手指的映像所計算的平均值或方差值顯著地變化。因此，圖像中手指的部分優選地不被用于評估值的計算。

因此，在低于重疊區域30的1/4部分處的、可能帶手指映像的分區可被設置為不必要的分區，而包含于重疊區域30中的其他的評估分區可被檢測為與重疊區域30相對應的評估分區35。在這個示例中，在低于重疊區域30的1/4部分處的分區被設置為不必要的分區，但該實施例不限于此。可替換地，在重疊區域的1/5或更少的部分或1/3或更多的部分的分區可被設置為不必要的分區，或其他的分區可被添加為不必要的分區。

通過設置不必要的分區來將諸如手指的障礙物從評估目標中排除，確定僅在閃光圖像與校正參考圖像之間有高相關性的評估分區中的平均值或方差值成為可能。

將參考圖13描述圖11中步驟S1120處關于有或沒有閃光圖像的確定。在評估值的計算時的步驟S1300處開始該過程。在步驟S1310處，作為評估值計算的、與重疊區域相對應的所有評估分區中的平均值被平均。對于每個要被連接的圖像實行該步驟。因此，當兩個圖像要被連接時，對于兩個圖像的每一個計算平均值。

在步驟S1320處，在要被連接的圖像之間比較所計算的平均值。在這個示例中，計算平均值中差的絕對值并提取具有最小平均值的圖像。然后，輸出信息作為比較結果。例如，當圖像P和Q要被連接并且將它們的平均值指定為AVE_P和AVE_Q時，當|AVE_P-AVE_Q|且AVE_P>AVE_Q時，比較結果為圖像Q，否則當AVE_P<AVE_Q時比較結果為圖像P。

在步驟S1330處，確定在比較結果中的差的絕對值是否大于預設閾值T。當絕對值更大時，在亮度或諸如此類中的差異大并因此所述處理移至步驟S1340來確定閃光已發生以及圖像為閃光圖像。相反地，當絕對值更小時，差異小并因此所述處理移至步驟S1350。在這種情況下，沒有確定閃光已發生或圖像為閃光圖像。在確定完成時，所述處理移至步驟S1360并結束。

能夠將具有通過在步驟S1320處比較和提取而獲得的最小平均值的圖像確定為不具有閃光的圖像和校正參考圖像。基本地，當通過同步曝光拍攝兩個圖像時，圖像應包含相同亮度下表現相同主體的重疊區域。然而，當閃光發生在一個圖像中時，重疊區域中的平均值變得更高。因此，如上文所述設置閾值使得當圖像具有比閾值更大的平均值時，將圖像確定為閃光圖像成為可能。具有最小平均值的圖像具有高可能性無閃光并因此能夠被用作校正參考圖像。

將參考圖14描述圖11中所示的在步驟S1130處校正映射的創建。當確定存在閃光圖像時，在步驟S1400開始該處理。在步驟S1410處，創建校正排除映射來從校正中規定要被排除的分區。在校正排除映射中，校正排除值被存儲于與評估分區相對應的位置處的模塊中，所述評估分區包含于根據多個構成要被校正的圖像的像素的像素值來確定的要被校正的圖像的校正排除分區中，在所述校正排除分區中不做校正。非校正排除值存儲于其他模塊中。圖像處理系統可包含作為功能單元的分區確定部，其被配置來確定用于校正排除映射的創建的校正排除分區。

當帶閃光的圖像要被基于具有最小平均值并且不帶閃光的圖像校正時，帶閃光的整體圖像被校正。對整體圖像做校正會整體地降低亮度并造成色彩改變。因此，合成的圖像會出現不自然。例如，光源的實際亮度和色彩被反映在帶閃光的圖像的亮度和色彩上，但是做校正以降低了亮度并使色彩變暗。因此，創建校正排除映射以使對不要被校正的(諸如光源)主體的圖像不做校正。

在步驟S1420處，從評估值(諸如與重疊區域相對應的評估分區中的平均值或方差值)中計算對重疊區域的校正量。校正量旨在量化要降低的亮度的程度以及要改變的色彩的程度。在步驟S1430處，基于在步驟S1420處計算的校正量通過插值來計算對要被校正的整體圖像(即帶閃光的整體圖像)的校正量，并且使用計算的校正量創建校正映射。在所述校正映射中，計算的校正量存儲于與要被校正的圖像中的評估分區相對應的位置處的模塊中。

在步驟S1440處，在步驟S1410處創建的校正排除映射被應用于在步驟S1430處創建的校正映射以修正校正映射。然后在步驟S1450處，當校正映射中的校正值包含任何極高或極低的值，平整處理(leveling process)，即，執行低通濾波器(LPF)處理來平整這些值。LPF可以是高斯濾波器(Gaussian filter)。

可以一次或多次執行LPF處理。盡管如此，LPF處理的迭代數量優選地較小。這是因為，當大量次數執行LPF處理時，從校正中排除的圖像中的校正值很大地改變，這使校正排除沒有意義。在圖14中描述的實施例中，在步驟S1460處如描述的兩次執行LPF處理。圖像處理系統可進一步包含作為功能單元的、用于執行平整處理的平整處理部。

在步驟S1460處，確定LPF處理是否已被執行兩次。當LPF處理尚未被執行兩次時，所述處理回至步驟S1440。當LPF處理已被執行兩次時，所述處理移至步驟S1470。在步驟S1470處，執行用于校正映射的尺寸調整處理。所述尺寸調整處理旨在將包含于校正映射中的評估分區的數量改變為要被校正的圖像中像素的數量。因此，圖像處理系統可包含作為功能單元的尺寸調整部。

根據如圖12中所示的魚眼圖像的水平和垂直的劃分的數量，來給在步驟S1440和更早創建的校正映射調整尺寸。即，當魚眼圖像被分為48×48時，校正映射的尺寸為48×48。在前述示例中，魚眼圖像的實際尺寸為1952(像素)×1932(像素)。因此，執行調整尺寸處理以將尺寸從48×48改變到1952×1932。在調整尺寸處理完成的時，所述處理移至步驟S1480并結束。

可通過任何已知方法執行所述調整尺寸。例如，通過例如雙線性、最近鄰或雙三次方法改變尺寸。

將參考圖15描述圖14中用于在步驟S1410處創建校正排除映射的方法。在圖15中，參考(a)，具有光源50的映像的圖像，表現光源50的圖像的部分被設置為要被從校正中排除的主體的圖像。首先，如圖15中(b)所示，整體圖像被分為多個評估分區，并計算在評估分區中的平均值或方差值，然后確定每個評估分區是否構成校正排除分區。由上文描述的分區確定部可以做出該確定。

用于校正排除分區的條件可以是“高亮度以及非彩色色彩”或“高亮度以及亮度的最大值等于或大于閾值”。在作為條件1的“高亮度以及非彩色色彩”下，例如，亮度值屬于0至255內的情況下，高亮度可被設置在200或更大，而在色彩差異值屬于-127至127內的情況下，非彩色色彩可被設置-1至1。在作為條件2的“高亮度以及亮度的最大值等于或大于閾值”下，例如，在亮度值屬于0至255內的情況下，高亮度可以被設置在230或更大，而在亮度值屬于0至255內的情況下，閾值的值可以被設置在250。這些值為示例并且本發明不限于這些值。

理想地在條件1和2兩者下可以確定校正排除分區。當一個整體評估分區具有統一的亮度和色彩時，僅在條件1下可以確定校正排除分區。然而，當諸如光源50的高亮度的主體和諸如樹枝的低亮度的主體在一個評估分區中被看到時，條件1是不可應用的并且因此光源50的圖像被校正并變成暗的、不自然的圖像。在條件2下也在條件1下做出確定使得適當地提取表現光源50和樹枝的部分作為校正排除分區成為可能。

參考圖15中的(b)，作為達到這些條件的分區，八個分區51被提取。以與將要被校正的圖像劃分為多個評估分區相同的方式格式化校正排除映射。如圖15中(c)所示，校正排除映射存儲“1”作為指示與達到條件的評估分區相對應的位置處的模塊中校正排除的值。校正排除映射存儲“0”作為指示與未達到條件的評估分區相對應的位置處的模塊中非校正排除的值。

將參考圖16描述在圖14中的步驟S1420處用于計算校正量的方法。在圖16中，(a)示出閃光圖像和參考圖像，而(b)包含由(a)中虛線顯示的、包含于重疊區域30中的評估分區35的放大視圖。與連接位置相對應的評估分區35被給定了相同的參考代碼。具體地，在圖16中(b)左側視圖中從閃光圖像中提取的具有參考代碼a的評估分區與在圖16中(b)右側視圖中從參考圖像中提取的具有參考代碼a的評估分區要被連接。這是因為全景成像相機10同時拍攝正面和背面側的圖像并因此重疊區域中的所述圖像相對于彼此被旋轉180度。

當兩個圖像被連接時，具有參考代碼a的兩個評估分區的值，一個由于發生閃光較高而另一個由于未發生閃光較低。因此，做出校正以使這些值相等。通過下列等式(2)或(3)能夠計算在校正中使用的校正量c。在等式(2)中，E_b表示作為校正參考圖像的參考圖像的評估值，而Et表示要被校正的圖像，即閃光圖像，的評估值。

C＝E_b-Et (3)

通過前述等式(2)或(3)能夠計算校正量c。計算的校正量c作為與閃光圖像相對應的評估分區的值被存儲。因此，當對于圖16中(b)中所示的參考代碼a計算校正量c時，校正量c作為參考代碼a的值被存儲。

將參考圖17描述在圖14中步驟S1430處的校正量之間的插值。使用等式(2)或(3)計算對重疊區域的校正量c。對于在重疊區域之內，對于在重疊區域中的多個評估分區35計算的校正量被用來，如圖17中(a)中箭頭顯示的，向圖像的中心對校正量插值，從而確定對內部評估分區的校正量。后文將具體描述用于確定的方法。

對于在重疊區域外，在隨后的步驟S1450處執行LPF處理。因此，需要在重疊區域中設置校正量，其即使當執行LPF處理時也不會很大地改變。如圖17中(b)中所示，例如，通過與緊接著上部的評估分區的校正量相同的校正量來校正每個評估分區x，并且通過與緊接著左邊的評估分區的校正量相同的校正量校正每個評估分區y。能夠預先確定對哪個要被使用的評估分區的校正量。

將參考圖18描述圖14中步驟S1440處的校正映射的修正。在圖18中，(a)示出由圖14中描述的處理所創建的校正映射的部分，而(b)示出圖15中(c)中所示的校正排除映射的部分。圖18中(a)所示的校正映射存儲由等式2表達的評估值之間的比率，作為對評估分區的校正量。

在圖18中(a)中所示的校正映射的修正處，對圖18中(b)中所示的校正排除映射做參考。當在校正排除映射中的對相對應的評估分區的校正量為“0”時，對于評估分區不做修正。相反地，當校正排除映射中的校正量為“1”時，改變所述值以使對校正量不做校正。參考圖18中的(b)，在坐標(x3,y2)、(x3,y3)以及(x4,y2)的評估分區中存儲1的校正量，并因此在與那些校正映射中相同位置處的模塊的值改變為1.00，從而修正校正映射。因此，能夠修正校正映射來在相對應的校正排除分區中做出不太有效的校正。

借助于在執行圖14中的尺寸調整處理之后的校正映射來校正閃光圖像。通過所述尺寸調整處理，校正映射具有帶有與那些閃光圖像相同數量的像素的圖像尺寸。當校正映射存儲對使用由等式(2)計算的評估值之間的比率所確定的像素的校正量時，將閃光圖像中的像素的像素值乘以相對應的對像素的校正量，從而來校正閃光圖像中像素的像素值。當校正映射存儲對從由等式(3)計算的評估值中的差中確定的像素的校正量時，將相對應的對像素的校正量加到閃光圖像中像素的像素值，從而來校正閃光圖像中像素的像素值。

在單色圖像的情況下，對于閃光圖像創建一個校正映射。在彩色圖像的情況下，閃光圖像由三個平面組成并因此創建三個校正映射。具體地，當彩色圖像為RGB圖像時，閃光圖像由紅、藍和綠色的三個平面組成，并且對于所述平面的校正建立三個校正映射，并且所述三個校正映射用于閃光圖像的校正。

閃光圖像能夠以這樣的方式被校正，其允許在合成的圖像中的亮度和色彩的差異的降低。另外，能夠從校正中排除表現光源等的部分以致對表現光源等的部分不做出校正，其不引起表現光源的部分的變暗以防止色彩飽和部分中的色移。此外，在校正映射上執行帶LPF的平整處理使消除校正量中的急劇改變，以及減輕在從校正中排除的光源與它的外圍分區之間的像素值中的差以防止不自然的校正成為可能。

將參考圖19描述圖13中步驟S1310處在重疊區域中平均值的計算的另一示例。在圖13的示例中，從重疊區域中的所有評估分區中計算平均值。與此同時，在圖19的示例中，在預先設置的條件下計算平均值用于評估分區的分類。具體地，在執行所述處理之前，對于評估分區中的平均值預先設置閾值(上限T_up和下限T_dw)，并且將閾值設置為上限值和下限值。

在步驟S1900處開始這個處理。在步驟S1910處，選擇任何一個評估分區，并確定所述評估分區是否屬于重疊區域內。例如，可以從圖像的左上角處順次選擇評估分區。這僅為示例并因此可以通過任何其他方法選擇所述評估分區。

當評估分區不屬于重疊區域內時，所述處理移至步驟S1920并且評估分區中的平均值從總和中被排除。即，平均值不隸屬于總和。相反地，當評估分區屬于重疊區域內時，所述處理移至步驟S1930以確定評估分區中的平均值是否大于上限T_up。當平均值大于上限T_up時，所述處理移至步驟S1920并且評估分區中的平均值從總和中被排除。當平均值等于或小于上限T_up時，所述處理移至步驟S1940以確定評估分區中的平均值是否小于下限T_dw。當平均值小于下限T_dw時，所述處理移至步驟S1920并且評估分區中的平均值從總和中被排除。當平均值等于或大于下限T_dw時，所述處理移至步驟S1950并且評估分區中的平均值隸屬于總和。

當平均值在步驟S1920處從總和中被排除或在S1950處隸屬于總和時，所述處理移至步驟S1960以確定是否對于所有評估分區完成所述處理。當尚未對所有評估分區完成所述處理時，所述處理回到步驟S1910來在下一個評估分區上執行相同的處理。當對所有評估分區完成所述處理時，所述處理移至步驟S1970以將平均值的總和除以評估分區的數量以計算重疊區域中的平均值。在步驟S1980處結束該處理。

考慮到對關于有或沒有閃光圖像的確定的影響，可以確定上限T_up和下限T_dw來允許評估分區的適當的排除值從總和中被排除。

仍將參考圖20描述在圖13中的步驟S1310處重疊區域中平均值的計算的另一示例。在圖19的示例中，將上限T_up和下限T_dw設置為閾值。在圖20的示例中，稱為重合度(匹配度)的指標被設置為閾值，并且根據匹配度來確定評估分區隸屬于總和或從總和中排除。匹配度為指示在校正參考圖像的重疊區域中的每個評估分區與作為要被校正的圖像的閃光圖像的重疊區域中的每個評估分區之間的重合程度的指標。所述圖像系統可包含作為功能單元的重合度計算器，其被配置來計算匹配度。

在步驟S2000處開始這個處理。在步驟S2010處，確定評估分區是否屬于重疊區域。當評估區域不屬于重疊區域，所述處理移至步驟S2020并且重疊區域中的平均值從總和中排除。當評估區域屬于重疊區域，所述處理移至步驟S2030以計算評估分區的匹配度。后文將描述匹配度以及用于計算匹配度的方法。在步驟S2040處，確定計算的匹配度是否小于作為對于重合度預設的閾值的匹配度閾值T_m。

當計算的匹配度大于匹配度閾值T_m時，所述處理移至步驟S2020并且評估分區中的平均值從總和中排除。當計算的匹配度等于或小于匹配度閾值T_m時，所述處理移至步驟S2050以使評估分區中的平均值隸屬于總和。當在步驟S2020處評估分區從總和中被排除時或當在步驟S2050處評估分區隸屬于總和時，所述處理移至步驟S2060以確定是否對于所有評估分區完成所述處理。當尚未完成所述處理時，所述處理回到步驟S2010以在下一個評估分區上執行相同的處理。當完成所述處理時，所述處理移至步驟S2070以將重疊區域的評估分區中的平均值的總和除以評估分區的數量以計算重疊區域中的平均值。在步驟S2080處結束該處理。

參考圖21，將描述匹配度和用于計算參考圖20使用的匹配度的方法。連接位置與評估分區之間的關系如圖16中所顯示。然而，圖像以水平和垂直方向被均勻地劃分，并且因此連接位置和評估分區與彼此不完全重合。

例如，如圖21所示，以灰色顯示評估分區35以及將評估分區中心處的坐標設置在O₁和O₂。另外，通過模板匹配或諸如此類檢測的連接位置被指定為P₁和P₂，以及具與所述評估分區相同尺寸的、由虛線顯示的分區，所述分區以連接位置為中心，被指定為連接分區36。

連接分區36中的主體的圖像在閃光圖像與參考圖像之間相等。分別地，當評估分區35中的中心O₁和連接分區36中的中心P₁與彼此重合，以及評估分區35中的中心O₂和連接分區36中的中心P₂與彼此重合時，評估分區35和連接分區36與彼此重合。因此，評估分區35中的主體的圖像與彼此重合。

然而，當中心坐標中的任何一個中存在不重合時，評估分區35中的主體的圖像與彼此不重合。在很少色彩漸變的主體(諸如天空或平的墻壁)的情況下，甚至當主體的圖像與彼此不完全重合時，產生對評估值很小的影響。換言之，在很多色彩漸變的主體的情況下，圖像中輕微的偏移使在亮度和色彩上有差異，對評估值有很大影響。因此，匹配度作為被用來確定在評估分區35中主體的圖像是否與彼此重合的指標。

使用對于每個評估分區35計算的方差值通過下列等式(4)或(5)能夠計算匹配度。在等式(4)中，m表示匹配度，σ₁為閃光圖像的方差值，以及σ₂為參考圖像的方差值。在等式(5)中，V₁表示閃光圖像的亮度值，以及V₂為參考圖像的亮度值。

m＝|σ₁-σ₂| (4)

m＝|V₁×V₂-V₂²| (5)

等式(4)中的匹配度m由閃光圖像和參考圖像的方差值的差的絕對值定義。通常，隨匹配度的增加，主體的圖像與彼此越重合。然而，在這個實例中，隨匹配度的減小，主體的圖像與彼此越重合。隨主體的圖像中越多的色彩漸變，方差值傾向于越高，而隨主體的圖像中越少的色彩漸變，方差值傾向于越低。因此，即使在更多色彩漸變的主體的圖像中的小偏移，也具有對匹配度更大的影響。換言之，即使在更少色彩漸變的主體的圖像中的大偏移，也具有對匹配度更小的影響。

用于在匹配度的計算中使用的像素值可以是所有像素的像素值。然而，使用所有的像素值會導致更高的計算成本。優選地，僅使用對圖像的亮度有影響的像素的像素值。這樣的像素值可以是RGB圖像中G的值或YCbCr圖像中Y的值。

在等式(5)中，使用亮度值，而不使用方差值來計算匹配度。等式(5)中的匹配度m由亮度值中的差的絕對值定義，這意味著隨匹配度的減少主體的圖像與彼此更重合，如等式(4)的情況下。

將參考圖22描述圖17中用于在校正量之間插值的方法的一個示例。在圖22中(a)中以灰色顯示的重疊區域30中多個評估分區35中的平均值被平均以計算重疊區域中的平均值。計算的平均值被設置為對在重疊區域30中心處的斜線陰影部分的校正量。

如圖22中(b)中所示，中心被指定為C，從中心C向重疊區域水平和垂直延伸的線的交叉處的重疊分區被指定為O，在中心C與重疊分區O之間的要被計算的分區被指定為T，以及對分區T的校正量被指定為r_c,r_o和r_t。另外，中心C與分區T之間的距離被指定為d₁，以及分區T與重疊分區O之間的距離被指定為d₂。因此，能夠通過下列等式(6)表達對分區T的校正量r_t，在所述等式中以距離作為權重執行加權平均。

使用等式(6)，計算圖22中(b)中的、對從中心C向重疊區域垂直和水平延伸的分區的校正量。已計算出對以灰色顯示的計算的分區之間的、以白色顯示的分區的校正量，并且根據計算的分區與重疊區域之間的距離能夠通過加權平均計算如圖22中(c)中所示的重疊區域。要被計算的分區被指定為T，以及從分區T向上垂直延伸的直線與計算的分區之間的交叉點被指定為H。另外，從分區T向下垂直延伸的直線與重疊區域之間的交叉點被指定為O₁，從分區T向右水平延伸的直線與計算的分區之間的交叉點被指定為V，以及從分區T向左水平延伸的直線與重疊區域之間的交叉點被指定為O₂。分區T與分區V之間的距離被指定為d_h1，分區T與分區O₂之間的距離被指定為d_h2，分區T與分區H之間的距離被指定為d_v1，以及分區T與與分區O₁之間的距離被指定為d_v2。另外，對分區T、H、V、O₁和O₂的校正量被分別指定為r_t,r_h,r_v,r_o1和r_o2。因此，通過下列等式(7)能夠計算對分區T的校正量r_t。

使用等式(6)和(7)，能夠計算對在重疊區域內部的所有的評估分區的校正量。

根據用于圖22中所示的校正量之間插值的方法，在任意方向上統一地執行插值。當相同主體的圖像存在于要被連接的圖像之間的重疊區域中時，這樣的統一插值沒有問題。然而，當由于有障礙物，例如，在一個具有如上文描述的作為主體的手指的反映的圖像的情況下，在重疊區域中存在不同的主體的圖像時，統一插值會引起問題。在這種情況下，插值不能被統一地執行。因此，如該示例中以特定的方向執行插值。將參考圖23描述用于插值的方法。

如圖23中(a)中所示，例如，重疊區域中的三個評估分區O₁,O₂和O₃被用來從在重疊區域垂直頂部下面的一階的分區向下順次地計算校正量。首先，與在圖23中(a)中所示的重疊區域頂部的評估分區接觸的、在重疊區域內的分區T₁被設置為要被計算校正量的分區。使用對分區T₁上面一階的且與重疊區域內部接觸的評估分區O₁、在分區T₁的右側和左側處且與重疊區域內部接觸的評估分區O₂以及O₃的校正量r₁,r₂和r₃、分區T₁和分區O₂之間的距離的d₁，以及分區T₁與分區O₃之間的距離d₂來計算校正量。通過下列等式(8)能夠計算校正量r_t1。

使用等式(8)，對于在圖23中(b)中所示的分區T₁右側和左側處水平方向上的在重疊區域內的所有的分區計算校正量。接下來，計算對于在重疊區域內的分區T₁下面一階的分區T₂的校正量r_t2。通過使用對分區T₂上面一階的分區P的校正量r_p、對于在水平方向上與重疊區域內接觸的評估分區O₄和O₅的校正量r₄和r₅、分區T₂與分區O₄之間的距離d₃，以及分區T₂與分區O₅之間的距離d₄計算校正量r_t2。通過下列等式(9)能夠計算校正量r_t2。重復在垂直向下方向上的計算使計算對在重疊區域內部的所有分區的校正量成為可能。

當在重疊區域中存在任何帶有極大或極低校正量的評估分區時，校正量可通過插值整體擴展而造成不自然的圖像。

在圖14中步驟S1410處校正排除映射的創建上，可計算作為校正排除分區的模塊中的平均坐標值以將平均坐標值確定為校正排除分區的中心。設置校正量以使對包含確定的中心(中心區域)的預定區域不做出校正，并向中心區域執行插值。這使最小化極大或極小的校正量的擴散成為可能。

當在校正排除分區之中的中心區域為如圖24中所示的斜線陰影區域時，中心區域被設置為插值參考區域，并且通過重疊區域周圍與插值參考區域之間的插值來計算對在重疊區域內的評估分區的校正量。通過如在前述等式6和7中表達的加權平均能夠計算校正量。可替換地，通過使用等式(8)和(9)可計算校正量。

參考圖24，通過從四個方向向插值參考區域插值來計算對重疊區域內的評估分區的校正量。可替換地，通過從特定方向的插值可以計算校正量。在重疊區域中存在障礙物或隨統一插值發生的一些問題這樣的情況下，要從特定方向計算校正量。在圖25中所示的斜線陰影區域中，垂直延展插值參考區域60，以及指示沒有校正的值存儲于在插值參考區域60中。因此，通過插值參考區域60將在重疊區域內的區域分為兩個。通過等式(6)和(7)中表達的加權平均能夠對于每個劃分的區域計算校正量。可替換地，通過使用等式(8)和(9)可以計算校正量。

具有高匹配度的重疊區域包含相同主體的圖像，并因此在圖像連接中為高可靠性的圖像。換言之，具有低匹配度的重疊區域包含不同主體的圖像，并因此在圖像連接中為低可靠性的圖像。因此，在具有低匹配度的重疊區域中，甚至當計算校正值時很可能計算錯誤的值。

參考圖26，將描述用于基于匹配度校正對重疊區域的校正量的處理。在圖14中描述的步驟S1420處計算對重疊區域的校正量后能夠做出該校正。在開始所述處理之前，對于匹配度設置閾值T_m。

在步驟S2600處開始該處理。在步驟S2610處，確定評估分區是否屬于重疊區域。當所述評估分區不屬于重疊區域時，不校正對評估分區的校正量并且所述處理移至步驟S2650。當所述評估分區屬于重疊區域時，所述處理移至步驟S2620以參考評估分區的匹配度。當沒有匹配度被計算出時，通過上述方法計算所述匹配度。

在步驟S2630處，確定參考的匹配度是否大于對于匹配預設的閾值T_m。當匹配度小于閾值T_m時，不校正對評估分區的校正量并且所述處理移至步驟S2650。相反地，當匹配度大于閾值T_m時，所述處理移至步驟S2640來對評估分區的校正量做出校正。在那時，校正對評估分區的校正量以使沒有校正被做出。具體地，當由上述的評估值之間的比率表現校正量時，校正量被校正為“1.0”，而當由評估值之間的差表現校正量時，校正量被校正為“0”。

在步驟S2650，確定是否對于所有評估分區完成所述處理。當尚未對于所有評估分區完成所述處理，所述處理回到步驟S2610以在下一個評估分區上執行相同的處理。當所述完成處理時，所述處理移至步驟S2660并結束。

在圖14中描述的步驟S1420處對重疊區域的校正量的計算時，一些計算的校正量會取到意料外的值。例如，在要被連接的圖像中重疊區域之間不存在相同主體的圖像的情況下，或在要被連接的圖像中重疊區域之間的亮度存在極大差異的情況下發生這樣的事件。在這樣情況下，能夠執行用于限制校正量的處理以保持校正量在預定范圍內不致于極其大或小。

參考圖27，將描述所述限制處理。在圖14中描述的步驟S1420處對重疊區域的校正量的計算后，或步驟1430處通過插值計算校正量后能夠執行所述限制處理。在開始所述限制處理之前，準備顯示閃光圖像的像素值與對于限制處理的閾值之間的關系的閾值表格。

閾值表格可以表現為如圖28中(a)或(b)所示的曲線圖，或例如表現為擁有來自曲線圖的數字值的表格。在圖28中，(a)顯示在其中的校正量為評估值之間的比率的表格，以及(b)顯示在其中的校正值為評估值中的差的表格。在閾值表格中，上限T_up和下限T_dw被確定為與作為閃光圖像的像素值的信號量相對應的閾值。

當閃光圖像的信號量被指定為s并且用于校正的信號量的限額被指定為a，通過下列等式(10)和(11)能夠表達圖28中(a)中的上限T_up和下限T_dw。

當閃光圖像的信號量被指定為s以及用于校正的信號量的限額被指定為a時，通過下列等式(12)和(13)能夠表達圖28中(b)中上限T_up和下限T_dw。

T_up＝a (12)

T_dw＝-a (13)

在步驟S2700處開始該處理。在步驟S2700處，確定評估分區是否屬于重疊區域。當評估分區不屬于重疊區域時，不校正對評估分區的校正量并且所述處理移至步驟S2750。當評估分區屬于重疊區域時，所述處理移至步驟S2720以參考圖28中示出的閾值表格來獲取對于校正量的閾值T_up和T_dw。通過等式(10)和(11)或等式(12)和(13)能夠計算閾值T_up和T_dw。

在步驟S2730處，確定對評估分區的校正量是否大于閾值表格中的上限T_up或是否小于閾值表格中的下限T_dw。當校正量大于上限T_up或小于下限T_dw時，在對評估分區的校正量上不執行限制處理并且所述處理移至步驟2750。相反地，當校正量等于或小于上限T_up，或等于或大于下限T_dw時，所述處理移至步驟S2740以在對評估分區的校正量上執行限制處理。

限制處理旨在校正對評估分區的校正量以使沒有校正被做出。具體地，當由上述的評估值之間的比率表現校正量時，校正量被校正為“1.0”，而當由上述的評估值之間的差表現校正量時，校正量被校正為“0”。

在步驟S2750處，確定是否對于所有評估分區完成所述處理。當尚未對于所有評估分區完成所述處理時，所述處理回到步驟S2710以在下一個評估分區上執行相同的處理。當完成所述處理時，所述處理移至步驟S2760并結束。

如上文所述，根據本發明的實施例允許對即使具有閃光發生的圖像做出適當的校正。在校正時，具有最低的發生閃光可能性的圖形被設置為校正參考圖像，并且校正其他圖像。另外，具有低匹配度的平均值(在等式(4)和(5)的情況下，具有高匹配度的平均值)通常不隸屬于總和，并因此僅使用帶閃光圖像與校正參考圖像之間高校正的平均值能夠計算所述重疊區域中的平均值。即使極其明亮的主體(諸如光源)或極其暗的主體被反映，在不使用這樣的主體的圖像中的平均值的情況下計算重疊區域中的平均值。這降低了對重疊區域中平均值的計算的影響。

執行限制處理使得防止由極大的校正量做出校正成為可能。執行平整處理使得防止部分地做出過度校正成為可能。在校正映射上執行尺寸調整處理允許校正通過基于像素的算法操作而被做出，其消除了對于在校正映射中復雜的轉換的需求。通過加權平均計算對所有評估分區的校正量，使得防止由所述校正引起表現圖像中亮度或色彩的差異的信號電平的差異成為可能，這將實現自然的校正。通過上述的比率或差計算校正量，其在校正時不會引起信號電平的差異。

上文描述了圖像處理系統和圖像處理方法的實施例。然而，本發明不限于前述的實施例。通過利用另一實施例替換可修正本發明，或諸如添加、改變，或刪除，只要本領域技術人員能夠知曉的任何其他模式。只要所述修正能夠制造本發明的技術效果與優點，任何方面的修正均包含于本發明的范圍內。因此，本發明使得提供用于使計算機執行圖像處理方法的程序、帶該程序存儲其中的計算機可讀記錄介質、經由網絡提供所述程序服務器設備等稱為可能。

根據上述實施例，在多個要被合成的圖像之間降低亮度和色彩中的差異是可能的。

雖然為完整并清楚的公開已關于特定實施例描述了本發明，所附權利要求并不因此被限制，而是被解釋為本領域技術人員可以想到的體現所有修正和替換結構，其適當地屬于本文闡述的基本教導之內。