用于生成高動態范圍圖像的圖像處理系統和圖像處理方法
【專利摘要】一種圖像處理系統用于從第一圖像和第二圖像生成高動態范圍圖像的目的。所述系統包括第一位移估計器(22)，用于估計來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內容的位移。此外，所述系統包括第一扭曲單元(23)，用于通過扭曲所述待扭曲圖像來補償所述估計位移從而得到第一扭曲圖像。此外，所述系統包括：第一誤差檢測器(24)，用于檢測所述第一扭曲圖像內的幾何扭曲誤差；以及第一誤差補償器(25)，用于補償所述第一扭曲圖像內的所述估計幾何扭曲誤差從而得到第一誤差校正圖像。所述系統還包括高動態范圍計算器，用于基于所述第一誤差校正圖像和所述參考圖像計算所述高動態范圍圖像。
【專利說明】
用于生成高動態范圍圖像的圖像處理系統和圖像處理方法
技術領域
[0001]本發明涉及一種用于從至少兩個輸入圖像生成高動態范圍圖像的圖像處理系統和圖像處理方法。
[0002]具體來說，本發明涉及一種在執行高動態范圍圖像計算之前處理輸入圖像的系統和方法。
【背景技術】
[0003]在與計算機視覺和計算攝影相關的許多應用中，圖像配準的主題發揮中心作用，確切地說，當需要使一個圖像的像素與另一圖像中的對應像素(描繪所捕獲場景中的同一點的像素)關聯時使用所述技術。
[0004]匹配不同圖像中的像素的問題在基于從多個圖像提取信息以便提高其質量或檢測場景的幾何形狀的計算機視覺應用中相當常見。關于這點，通過圖像配準解決的典型挑戰是:消除在立體圖像中觀測到的透視差；操縱動態場景，其中可觀測所捕獲圖像的集合(例如，捕獲移動對象的兩個順序圖像)中的運動；以及補償相機移動，其中以手持式相機捕獲順序圖像。
[0005]因此，圖像配準在高動態范圍成像(high dynamic range imaging，HDRI)等屬于計算攝影的范圍內的操縱情形中起到重要作用。HDRI使得能夠在計算上增加使用數碼相機捕獲的圖像的動態范圍，所述數碼相機主要由于硬件局限性而不能還原現實世界場景的整個動態范圍。用于HDRI的示范性方法依賴于以不同曝光(包圍曝光)捕獲若干圖像(以立體/多個相機循序或同時捕獲)，且隨后將所述圖像合并為高動態范圍圖像。
[0006]基于從不同曝光的輸入圖像獲得的信息，估計逆相機響應函數(camera responsefunct1n，CRF)，其使得能夠以增加的動態范圍重構場景光亮度映射圖(由相機傳感器作為輸入而接收的原始光能的估計)。隨后使用色調映射操作將延伸后的動態范圍重新映射為可由常用顯示器顯示的低動態范圍格式。通常根據原始圖像的曝光水平指派不同權重，通過來自輸入圖像的對應像素的加權和來計算光亮度映射圖。
[0007]本發明可應用于用于CRF估計、色調映射和用于場景光亮度映射圖計算的加權的任何方法。
[0008]在循序地取得兩個或兩個以上圖像且假定所描繪的場景和相機是靜態的(在捕獲過程期間無運動)情況下，高動態范圍(high dynamic range，HDR)計算不存在特定問題。這是因為假定輸入圖像完美地在幾何上對準，這又意味著全部圖像內容在所有輸入圖像中具有相同位置。然而，實際上這是極不常見的情況:通常，在以不同曝光設定捕獲輸入圖像所需要的時間期間，會發生捕獲裝置或場景中的對象的移動。因此，所捕獲圖像不再完美地對準。當通過立體/多相機情況捕獲圖像時，同時的圖像捕獲不存在如順序捕獲中發生的移動對象的問題。然而，相機之間的基線差異造成需要補償的遮擋和透視失真。
[0009]在未正確地實行運動或視差補償的情況下，通過加權錯誤像素而計算圖像的某些區域中的光亮度映射圖，因此導致嚴重且明顯的鬼影假象。通過動態改變或遮擋造成的具有失真的區域也將被稱作“鬼影區域”。
[0010]因此，HDRI和基于同一場景的多個圖像的其它應用的質量明顯取決于不同圖像之間的運動(或立體/多相機情境中的視差)補償操作以產生一致結果。
[0011]因移動的相機或場景中的對象所致的運動或者立體/多相機基線的視差的補償表示一個重要研究領域，其目標是減少鬼影區域中可觀測到的假象。對于開發了若干方法的2D(順序圖像)尤其如此。
[0012]用于運動和視差補償的現有方法可分類為主要兩組:第一組的運動補償技術旨在減少鬼影區域中的可見假象，僅基于一個圖像計算那些區域中的光亮度值。因此，這需要對鬼影區域的檢測。
[0013]最近，提出了用于檢測因在捕捉過程期間的相機運動所致的未對準的方法。平移未對準的檢測開始于應用曝光不變的變換，因此檢測實現變換映射圖之間的最大相似性的平移。
[0014]基于此方法，提出了用于檢測因相機運動所致的平移未對準和旋轉未對準以及因在捕捉期間移動對象所致的模糊區的另外的技術。
[0015]第二組的運動/視差補償技術是基于圖像配準，以使得不要求相機設定(例如，曝光時間、逆CRF...)的先驗知識且不需要鬼影區域的檢測。示范性方法使用基于能量的光流方法計算密集運動場，其對輸入圖像之間的照明差異是不變的。計算得出的運動向量用于圖像配準并且因此用于運動補償。基于這些已配準圖像計算HDR圖像。
[0016]用于運動和視差補償的上述方案存在若干局限性，其大部分與實現算法的性能相關。舉例來說，第一組的方法以不同于圖像的其余部分的方式處理鬼影區域(即使用僅一個圖像用于HDR計算)，導致可見假象，可用所提出的發明來減少所述可見假象。
[0017]類似地，屬于通過運動估計的圖像配準的范圍內的方法可減小對相機設定的相依性，但它們明顯依賴于光流等運動/視差技術的性能。另外，如果未執行旨在減少輸入圖像之間的明度差異的恰當預處理，那么運動估計步驟的結果將不準確。
[0018]舉例來說，歐洲專利申請EP2 395 748A2示出了用于生成高動態范圍圖像的常規系統和方法。其中示出的系統和方法存在缺點，因為所得的HDRI圖像包括剩余誤差。
【發明內容】
[0019]因此，本發明的目的是提供一種用于生成高動態范圍圖像的系統和方法，其實現圖像配準階段中的極高精度，因此得到高質量HDR圖像。上述目標通過所附獨立權利要求中提供的方案來實現。在相應的從屬權利要求中界定有利的實施方案。
[0020]本發明的第一方面提供一種用于從第一圖像和第二圖像生成高動態范圍圖像的圖像處理系統。所述系統包括第一位移估計器，用于估計從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內容的位移。位移可表示為參考圖像與在像素、像素塊或子像素精度上待扭曲的圖像的不同部分之間的局部映射。此外所述系統包括第一扭曲單元，用于通過扭曲待扭曲圖像來補償估計位移從而得到第一扭曲圖像。此外，所述系統包括:第一誤差檢測器，用于檢測第一扭曲圖像內的幾何扭曲誤差；以及第一誤差補償器，用于補償第一扭曲圖像內的估計幾何扭曲誤差從而得到第一誤差校正圖像。所述系統還包括高動態范圍計算器，用于基于第一誤差校正圖像和參考圖像計算高動態范圍圖像。通過執行誤差補償，有可能大大減少在由高動態范圍計算器使用的位移估計階段期間發生的誤差的數目。進而實現具有減少的視覺假象的所得高動態范圍圖像。
[0021]在根據本發明的第一方面的第一實施形式中，第一位移估計器用于通過估計光流和/或通過執行基于塊的搜索和/或通過執行塊匹配來估計圖像內容的位移。進而，用于運動/視差估計的全部現有方法可應用于本發明。
[0022]根據本發明的第一方面的第二實施形式，第一誤差檢測器包括差單元，用于計算第一扭曲圖像的每個像素與參考圖像的對應像素的強度差。第一誤差檢測器還包括直方圖單元，用于計算所確定的強度差的直方圖。此外，第一誤差檢測器包括:閾值確定單元，用于根據直方圖確定誤差閾值；以及誤差決定單元，用于通過比較強度差與閾值從而得到幾何扭曲誤差像素的二進制映射圖來確定幾何扭曲誤差。進而可達到檢測誤差的極高準確性。
[0023]根據本發明的第一方面的第三實施形式，閾值確定單元用于確定誤差閾值以使得低于誤差閾值的差值指示光度誤差且高于誤差閾值的值指示幾何誤差。通過執行光度誤差與幾何扭曲誤差之間的此準確辨別，可實現進一步提高所得HDR圖像質量，因為允許在圖像獲取鏈的非靜止組件發源的誤差(光度誤差)與在配準階段期間發生的誤差(幾何扭曲誤差)之間進行區分。
[0024]通過分析直方圖的連續值的梯度且將閾值置于梯度最大的點中可自適應地確定實現光度誤差與幾何扭曲誤差之間的更好分類或區別的誤差閾值。
[0025]根據本發明的第一方面的第四實施形式，差單元用于針對不同顏色通道獨立地計算強度差。誤差決定單元隨后用于比較顏色通道的強度差與誤差閾值，且在顏色通道的強度差中的至少一個強度差高于誤差閾值的情況下或在全部顏色通道的強度差高于誤差閾值的情況下確定像素的幾何扭曲誤差。進而可實現進一步提高所得HDR圖像質量。
[0026]根據本發明的第一方面的第五實施形式，差單元用于針對不同顏色通道獨立地計算強度差。直方圖單元用于針對不同顏色通道計算獨立直方圖。閾值確定單元用于針對每個顏色通道確定獨立誤差閾值。誤差決定單元在此情況下用于比較顏色通道的強度差與相應誤差閾值，且在顏色通道的強度差中的至少一個強度差高于相應誤差閾值的情況下或在全部顏色通道的強度差高于相應誤差閾值的情況下確定像素的幾何扭曲誤差。以略微更高的計算復雜性為代價，進而可實現進一步提高所得高動態范圍圖像的質量。
[0027]根據本發明的第一方面的第六實施形式，第一誤差補償器包括搜索窗設定單元，用于在檢測到幾何扭曲誤差的第一扭曲圖像的每個像素周圍設定預定的或用戶定義的大小的搜索窗。誤差補償器還包括有效像素檢測單元，用于確定在每個搜索窗內的哪些像素處未檢測到幾何扭曲誤差從而得到每個搜索窗的有效像素。誤差補償器還包括校正值確定單元，用于將檢測到幾何扭曲誤差的第一扭曲圖像的像素的校正值各自計算為相應搜索窗的有效像素中的至少一些的強度的平均值。此外，誤差補償器包括校正值替換單元，用于通過相應計算得出的校正值替換檢測到幾何扭曲誤差的第一扭曲圖像的像素從而得到第一誤差校正圖像。進而實現所得高質量高動態范圍圖像，同時僅需要低計算復雜性。
[0028]根據按照本發明的第一方面的第七實施形式，校正值確定單元用于將校正值各自計算為僅有效像素的強度的平均值，有效像素與當前校正像素的強度值的強度值差低于預定的或用戶可選的校正閾值。進而可防止使用例如因存在邊界的邊緣而致的與待校正像素不相關的區的像素值從而導致不完全的誤差校正。
[0029]根據本發明的第一方面的第八實施形式，第一誤差補償器包括加權單元，用于基于第一扭曲圖像的強度梯度執行搜索窗內的有效像素的加權，其中將較低權重分配給邊緣和邊界等高梯度值的像素，且其中將較高權重分配給低梯度值的像素，從而得到加權映射圖。
[0030]可從幾何扭曲誤差的二進制映射圖確定有效像素。校正值確定單元用于在計算校正值之前對搜索窗的值像素進行加權。進而可實現進一步提高所得HDR圖像質量。
[0031]根據本發明的第一方面的第九實施形式，圖像處理系統進一步包括第一曝光補償單元，用于通過改變第一圖像的和/或第二圖像的亮度和/或飽和度來補償由于不同曝光時間所致的第一圖像和第二圖像中的顏色和明度差異從而得到參考圖像和待扭曲圖像。這得到圖像扭曲的甚至更高的質量。替代地，第一圖像可直接用作參考圖像且第二圖像可直接作為待扭曲圖像。這使得降低計算復雜性。
[0032]根據本發明的第一方面的第十實施形式，圖像處理系統進一步包括:第二位移估計器，用于估計參考圖像與從第三圖像來自的又一待扭曲圖像之間的圖像內容的位移；以及第二扭曲單元，用于通過扭曲又一待扭曲圖像來補償檢測到的位移從而得到第二扭曲圖像。此外，圖像處理系統包括:第二誤差檢測器，用于檢測第二扭曲圖像內的幾何扭曲誤差；以及第二誤差補償器，用于補償第二扭曲圖像中的檢測到的幾何扭曲誤差從而得到第二誤差校正圖像。高動態范圍計算器用于基于第一誤差校正圖像、第二誤差校正圖像和參考圖像計算高動態范圍圖像。通過使用兩個以上圖像，可實現進一步提高所得HDR圖像質量。
[0033]包含三個以上圖像的系統的擴展采取此實施形式中論述的同一方法，其中添加用于補償檢測到的位移的多個扭曲單元、多個誤差檢測和多個誤差補償以補償多個扭曲圖像中的檢測到的幾何扭曲誤差。
[0034]根據本發明的第二方面，提供一種用于從第一圖像和第二圖像生成高動態范圍圖像的方法。估計從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內容的位移。通過扭曲待扭曲圖像來補償估計位移從而得到第一扭曲圖像。檢測且補償此第一扭曲圖像內的幾何扭曲誤差從而得到第一誤差校正圖像。基于第一誤差校正圖像和參考圖像計算高動態范圍圖像。因此，所得HDR圖像的高質量是可能的。
[0035]根據本發明的第二方面的第一實施形式，通過計算光流和/或通過執行基于塊的搜索和/或通過執行塊匹配來估計圖像內容的位移。進而以低計算成本實現位移估計的高準確性。
[0036]根據本發明的第二方面的第二實施形式，計算第一扭曲圖像的每個像素與參考圖像的對應像素的強度差。根據這些強度差計算直方圖。根據直方圖計算誤差閾值。通過比較強度差與閾值從而得到幾何扭曲誤差像素的二進制映射圖來確定幾何扭曲誤差。進而可實現檢測到的幾何扭曲誤差的高準確性。可根據強度差的直方圖的統計數據自適應地選擇閾值。
[0037]根據本發明的第二方面的第三實施形式，確定閾值以使得低于閾值的差值指示光度誤差且高于誤差閾值的值指示幾何誤差。通過執行光度誤差與幾何誤差之間的此辨別，可防止通過意外地校正光度差而引入額外誤差。
[0038]根據本發明的第二方面的第四實施形式，針對不同顏色通道獨立地計算強度差。將顏色通道的強度差與誤差閾值進行比較。在顏色通道的強度差中的至少一個強度差或一個個別像素的全部顏色通道的強度差高于誤差閾值的情況下檢測到像素的幾何扭曲誤差。進而可實現進一步提高所得HDR圖像的圖像質量。
[0039]根據本發明的第二方面的第五實施形式，針對不同顏色通道獨立地計算強度差。并且，針對不同顏色通道計算獨立直方圖。還針對每個顏色通道獨立地確定誤差閾值。將顏色通道的強度差與相應誤差閾值進行比較。在顏色通道的強度差中的至少一個強度差高于相應誤差閾值的情況下或在全部顏色通道的強度差高于相應誤差閾值的情況下檢測到像素的扭曲誤差。以略微增加的計算復雜性為代價，進而可實現進一步提高所得HDR圖像質量。
[0040]根據本發明的第二方面的第六實施形式，在檢測到幾何扭曲誤差的第一扭曲圖像的每個像素周圍設定預定的或用戶定義的大小的搜索窗。檢測在每個搜索窗內的哪些像素處未檢測到幾何扭曲誤差，從而得到每個搜索窗的有效像素。將檢測到幾何扭曲誤差的第一扭曲圖像的像素的校正值各自計算為相應搜索窗的有效像素中的至少一些的強度的平均值。通過相應計算得出的校正值替換檢測到幾何扭曲誤差的第一扭曲圖像的像素從而得到第一誤差校正圖像。以低計算復雜性為代價，實現大大提高所得高動態范圍圖像的質量。
[0041]根據本發明的第二方面的第七實施形式，將校正值各自計算為僅有效像素的強度的平均值，有效像素與當前校正像素的強度值的強度值差低于預定的或用戶可選的校正閾值。進而防止引入額外誤差，從而得到高輸出圖像質量。
[0042]根據本發明的第二方面的第八實施形式，基于第一扭曲圖像的強度梯度和幾何扭曲誤差的二進制映射圖計算加權映射圖。將較低權重分配給邊緣和邊界等高梯度值的像素，且將較高權重分配給低梯度值的像素，從而得到加權映射圖。僅在已經使用加權映射圖對搜索窗的有效像素進行加權之后計算像素的校正值。進而實現進一步提高所得高動態范圍圖像質量。
[0043]根據本發明的第二方面的第九實施形式，通過改變第一圖像或第二圖像的亮度和/或飽和度來補償第一圖像和第二圖像的不同曝光時間從而得到參考圖像和待扭曲圖像。以略微增加的計算復雜性為代價，可達到進一步提高所得HDR圖像質量。替代地，第一圖像和第二圖像可直接用作參考圖像和待扭曲圖像。這得到較低的計算復雜性和略微降低所得高動態范圍圖像質量。
[0044]根據本發明的第二方面的第十實施形式，計算參考圖像與從第三圖像來自的又一待扭曲圖像之間的圖像內容的位移。通過扭曲又一待扭曲圖像來補償估計位移從而得到第二扭曲圖像。檢測并補償第二扭曲圖像內的幾何扭曲誤差從而得到第二誤差校正圖像。根據第一誤差校正圖像、第二誤差校正圖像和參考圖像計算高動態范圍圖像。進而可實現甚至更高的輸出圖像質量。
[0045]根據本發明的第三方面，提供一種計算機程序，其具有程序代碼工具，所述程序代碼工具用于在所述程序在計算機或數字信號處理器上執行的情況下執行一些或全部先前所示步驟或執行根據第二方面或其實施形式中的任一實施形式的方法。
[0046]根據本發明的第四方面，提供一種計算機程序產品，其具有存儲有程序代碼工具的計算機可讀媒體，所述程序代碼工具用于在所述程序在計算機或數字信號處理器上執行的情況下執行一些或全部先前所示步驟或執行根據第二方面或其實施形式中的任一實施形式的方法。
[0047]通常，必須注意，在本申請案中所描述的所有布置、裝置、元件、單元和工具等可以通過任何種類的軟件或硬件元件或其組合來實施。通過本申請案中所描述的各種實體執行的所有步驟以及描述成將通過各種實體執行的功能性意指對應的實體適于或用于執行對應的步驟和功能性。即使在以下描述或具體實施例中，將由一般實體執行的具體功能性或步驟并未反映在執行所述具體步驟或功能性的所述實體的元件的描述中或具體針對所述元件，熟練技術人員也應該清楚，這些方法和功能性可以用相應的軟件或硬件元件或其任何組合實施。
【附圖說明】
[0048]下文相對于本發明的實施例且參考附圖詳細闡述本發明，在附圖中
[0049]圖1示出了創造性系統的實施例，
[0050]圖2示出了創造性系統的實施例的第一細節，
[0051]圖3示出了創造性系統的實施例的第二細節，
[0052]圖4示出了創造性系統的實施例的第三細節，以及
[0053]圖5示出了創造性方法的實施例。
【具體實施方式】
[0054]在圖1中示出了創造性圖像處理系統I的實施例。圖像處理系統I包括圖像輸入單元10，所述圖像輸入單元又包括用于同時捕獲第一圖像和第二圖像的第一相機11和第二相機12。替代地，圖像輸入單元10可包括僅單個相機以用于連續捕獲第一圖像和第二圖像以及可能另外的圖像。此外，圖像處理系統完全無須包括任何相機。在此情況下圖像輸入單元10僅是用于輸入預記錄圖像的界面。連接到圖像輸入單元的是圖像處理單元20，且連接到圖像單元處理單元20的是高動態范圍計算器80。由圖像輸入單元10提供的圖像由圖像處理單元20處理。圖2到圖4中示出關于圖像處理單元20的細節。所得參考圖像和至少一個所得誤差校正圖像被傳遞到高動態范圍計算器80，所述高動態范圍計算器基于這些圖像計算高動態范圍圖像。
[0055]在圖2中，描繪圖1中所示的創造性圖像處理系統的實施例的第一細節。尤其在圖2中，詳細示出圖1的圖像處理單元20的內部工作。圖像處理單元20任選地包括曝光補償單元21，所述曝光補償單元用于通過改變第一圖像的和/或第二圖像的亮度和/或飽和度來補償由圖像輸入單元10提供的第一圖像和第二圖像的不同曝光時間從而得到參考圖像和待扭曲圖像。
[0056]此外，圖像處理單元20包括位移估計器22，所述位移估計器連接到圖像輸入單元1和曝光補償21。圖像處理單元20還包括扭曲單元23，所述扭曲單元連接到位移估計器22、曝光補償單元21和圖1的圖像輸入單元10。此外，圖像處理單元20包括誤差檢測器24，所述誤差檢測器連接到扭曲單元23和曝光補償單元21。圖像處理單元20還包括誤差補償器25，所述誤差補償器還連接到誤差檢測器24、扭曲單元23和曝光補償單元21。在圖像處理單元20不包括曝光補償單元21的情況下，位移估計器22、誤差檢測器24和誤差補償器25直接連接到圖像輸入單元10而不是曝光補償單元21。
[0057]通過圖像輸入單元10將第一圖像和第二圖像提供到圖像處理單元20。任選地，曝光補償單元21通過修正第一圖像的強度和/或飽和度和/或亮度以更接近地匹配第二圖像的強度、飽和度和亮度來對第一圖像進行曝光補償。將所得參考圖像和第二圖像提供到位移估計器22，所述位移估計器估計從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內容的位移。在執行曝光補償的情況下，參考圖像是經曝光補償的第一圖像。在未執行曝光補償的情況下，參考圖像是第一圖像。在此實例中，待扭曲圖像是第二圖像。替代地，第二圖像也可經曝光補償以獲得待扭曲圖像。
[0058]第一位移估計器22有利地用于通過估計光流和/或通過執行基于塊的搜索和/或通過執行塊匹配來估計圖像內容的位移。
[0059]將圖像內容的估計位移傳遞到扭曲單元23。此外，將待扭曲圖像提供到扭曲單元23。所述扭曲單元用于通過扭曲待扭曲圖像來補償估計位移從而得到第一扭曲圖像。將此第一扭曲圖像傳遞到誤差檢測器24。而且對誤差檢測器24提供參考圖像。誤差檢測器檢測第一扭曲圖像內的幾何扭曲誤差。關于誤差檢測器的功能，參考關于圖3的稍后詳細闡述。
[0060]將第一扭曲圖像內的所得的檢測到的幾何扭曲誤差傳遞到誤差補償器25。而且通過扭曲單元23為誤差補償器提供第一扭曲圖像。誤差補償器25用于補償第一扭曲圖像中的檢測到的幾何扭曲誤差，從而得到第一誤差校正圖像。關于誤差補償器25的功能，參考關于圖4的稍后詳細闡述。將所得第一誤差校正圖像和參考圖像傳遞到圖1的高動態范圍計算器80，所述高動態范圍計算器基于第一誤差校正圖像和參考圖像來計算高動態范圍圖像。
[0061]在圖3中，示出創造性圖像處理系統的實施例的另一細節。在圖3中，示出圖2的誤差檢測器24的內部工作。誤差檢測器24包括差單元30，所述差單元連接到圖2的曝光補償單元21和圖2的扭曲單元23。在無圖2中的曝光補償單元21的情況下，誤差檢測器直接連接到圖1的圖像輸入單元10。此外，誤差檢測器24包括連接到差單元30的直方圖單元31。其還包括連接到直方圖單元31的閾值確定單元32。此外，其包括連接到閾值確定單元32的誤差決定單元33。
[0062]為差單元30提供參考圖像和第一扭曲圖像。差單元30用于計算第一扭曲圖像的每個像素與參考圖像的對應像素的強度差。將所得強度差傳遞到直方圖單元31，所述直方圖單元用于計算所確定的強度差的直方圖。將所述直方圖傳遞到閾值確定單元32，所述閾值確定單元用于根據直方圖確定誤差閾值。選擇此誤差閾值以使得低于閾值的強度差被視為光度誤差且高于閾值的強度差被視為幾何誤差。將所確定的誤差閾值傳遞到誤差決定單元33，所述誤差決定單元針對每個計算得出的強度差決定光度誤差或幾何誤差是否存在。誤差決定單元33隨后允許識別幾何扭曲誤差像素，例如創建二進制映射圖，其中將不同值分配給幾何扭曲誤差像素或光度誤差。為了限制存儲器消耗，可創建索引表或查找表，指示已檢測到幾何扭曲誤差的像素位置的索引。
[0063]可以不同方式確定誤差閾值，例如計算直方圖的不同值之間的梯度且將閾值置于梯度最大的點中。然而，可應用用于計算此閾值的任何其它方法。
[0064]有利地，如果第一圖像和第二圖像以及因此還有參考圖像和待扭曲圖像是彩色圖像，那么差單元30用于針對每個顏色通道獨立地計算強度差。直方圖單元31隨后也用于針對每個不同顏色通道計算獨立強度差直方圖。閾值確定單元33用于基于全部不同強度差直方圖計算單個誤差閾值，或基于不同顏色通道強度差直方圖計算不同顏色通道的不同誤差閾值。誤差決定單元33接著用于通過將個別顏色通道的強度差與相應誤差閾值進行比較而在光度誤差與幾何誤差之間做出決定。如果強度差中的至少一個強度差大于相應閾值，那么決定幾何誤差。替代地，為了防止意外的幾何扭曲誤差檢測，誤差決定單元33還可用于僅在不同顏色通道的全部強度差均高于相應閾值的情況下才決定幾何扭曲誤差。
[0065]在圖4中，示出創造性圖像處理系統的實施例的第三細節。在圖4中，以框圖示出圖2的誤差補償器25的內部工作。誤差補償器25任選地包括加權單元40，所述加權單元連接到搜索窗設定單元41，所述搜索窗設定單元又連接到有效像素檢測單元42。有效像素檢測單元42還連接到校正值確定單元43，所述校正值確定單元又連接到校正值替換單元44。加權單元40此外還連接到校正值確定單元43。此外，為加權單元30、搜索窗設定單元41、校正值確定單元43和校正單元替換單元44提供第一扭曲圖像。
[0066]通過圖2的誤差檢測器24為加權單元40提供幾何扭曲誤差像素的二進制映射圖。加權單元40隨后任選地基于幾何扭曲誤差的二進制映射圖和第一扭曲圖像的強度梯度來執行由搜索窗設定單元41選擇的像素的加權。將較低權重分配給邊緣和邊界等高梯度值的像素。將較高權重分配給低梯度值的像素，從而得到加權映射圖。因此，與例如位于平坦區中的像素相比，沿著邊界和邊緣的像素在重要性上降低。
[0067]搜索窗設定單元41用于圍繞檢測到幾何扭曲誤差的第一扭曲圖像的每個像素設定預定的或用戶定義的大小的搜索窗。將關于這些搜索窗的信息傳遞到有效像素檢測單元42，所述有效像素檢測單元使用二進制映射圖的信息確定在每個搜索窗內的哪些像素處未檢測到幾何扭曲誤差，從而得到每個搜索窗的有效像素。將關于有效像素的信息傳遞到校正值確定單元43，所述校正值確定單元通過計算搜索窗的有效像素中的至少一些的強度的平均值來計算檢測到幾何扭曲誤差的第一扭曲圖像的像素的校正值。由加權單元40提供的加權映射圖用于在計算校正值之前對搜索窗的有效像素進行加權。
[0068]將所得校正值傳遞到校正值替換單元44，所述校正值替換單元通過相應計算得出的校正值替換檢測到幾何扭曲誤差的第一扭曲圖像的像素，從而得到第一誤差校正圖像。
[0069]還相應地更新二進制映射圖，從而將檢測到幾何扭曲誤差的像素的值設定為有效像素。
[0070]將此誤差校正圖像傳遞到圖1的高動態范圍計算器80以用于計算高動態范圍圖像。
[0071]替代地，不僅兩個圖像，而且可使用三個或三個以上圖像以用于計算高動態范圍圖像。在此情況下，圖像之一如上文所描述用作參考圖像。恰如上文所示描述中處理第二圖像那樣處理其它兩個圖像。因此，第二圖像和第三圖像用作待扭曲圖像和又一待扭曲圖像。為了處理所述又一待扭曲圖像，使用第二位移估計器、第二扭曲單元、第二誤差檢測器和第二誤差補償器。隨后將所得第二誤差校正圖像傳遞到圖1的高動態范圍計算器80。圖1的高動態范圍計算器80根據參考圖像、第一誤差校正圖像和第二校正圖像計算高動態范圍圖像。
[0072]在圖5中，示出創造性方法的實施例。在第一步驟100中，例如通過以相機記錄第一圖像和第二圖像或僅輸入第一圖像和第二圖像來生成第一圖像和第二圖像。在第二步驟101中，通過修正所述圖像中的至少一個圖像的強度、飽和度或亮度來執行曝光補償。步驟101的曝光補償是任選的步驟。在第三步驟102中，計算從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像的圖像內容的位移。
[0073]在第四步驟103中，基于步驟102的計算得出的位移來扭曲從第二圖像來自的待扭曲圖像。執行所述扭曲以使得所述位移得到補償。在第五步驟104中，計算扭曲圖像與參考圖像之間的強度差。基于像素來計算所述差。僅基于個別像素的強度來計算這些差，但替代地也可針對不同顏色通道獨立地計算這些差。
[0074]在第六步驟105中，基于步驟104的所確定的強度差計算差直方圖。計算僅一個差直方圖，或針對不同顏色通道計算若干差直方圖。在第七步驟106中，基于差直方圖計算至少一個誤差閾值。計算一個誤差閾值或針對每個顏色通道的一個誤差閾值。選擇誤差閾值以使得低于閾值的強度差值指示光度誤差，而高于閾值的強度差值指示幾何扭曲誤差。
[0075]在第八步驟107中，基于閾值決定幾何扭曲誤差。第八步驟107得到幾何扭曲誤差的二進制映射圖。在第九步驟108中，計算基于幾何扭曲誤差的二進制映射圖和第一扭曲圖像的強度的梯度的加權映射圖。將較低權重分配給邊緣和邊界等高梯度值的像素，且將較高權重分配給低梯度值的像素，從而得到加權映射圖。第九步驟108也是任選的步驟。
[0076]在第十步驟109中，圍繞檢測到幾何扭曲誤差的第一扭曲圖像的每個像素設定搜索窗。所述搜索窗具有預定義或用戶定義的大小。在第十一步驟110中，通過確定搜索窗內哪些像素未檢測到幾何扭曲誤差來檢測搜索窗內的有效像素。在第十二步驟111中，針對檢測到幾何扭曲誤差的第一扭曲圖像的全部像素確定校正值。通過計算搜索窗的有效像素中的至少一些的強度的平均值來確定所述校正值。在計算此平均值時，在步驟108中創建的加權映射圖用于相應地對搜索窗內的個別像素進行加權。
[0077]在第十三步驟112中，通過相應計算得出的校正值替換檢測到幾何扭曲誤差的第一扭曲圖像的值，從而得到第一誤差校正圖像，且相應地更新二進制映射圖。在第十四步驟113中，根據參考圖像和第一誤差校正圖像計算高動態范圍圖像。
[0078]任選地，此外還對第三圖像執行上述步驟從而得到又一待扭曲圖像。第二誤差校正圖像是此處理的結果。隨后在步驟113中基于參考圖像、第一誤差校正圖像和第二誤差校正圖像計算高動態范圍圖像。
[0079]本發明不限于所示的實例。可以任何有利的組合使用示范性實施例的特性。
【主權項】
1.一種用于從第一圖像和第二圖像生成高動態范圍圖像的圖像處理系統，其特征在于，所述圖像處理系統包括: 第一位移估計器(22)，用于估計來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內容的位移， 第一扭曲單元(23)，用于通過扭曲所述待扭曲圖像來補償所述估計位移，從而得到第一扭曲圖像， 第一誤差檢測器(24)，用于檢測所述第一扭曲圖像中的幾何扭曲誤差， 第一誤差補償器(25)，用于補償所述第一扭曲圖像中的檢測到的所述幾何扭曲誤差從而得到第一誤差校正圖像；以及 高動態范圍計算器(80)，用于基于所述第一誤差校正圖像和所述參考圖像計算所述高動態范圍圖像。2.根據權利要求1所述的圖像處理系統，其特征在于， 所述第一位移估計器(22)用于通過估計光流，和/或通過執行基于塊的搜索和/或通過執行塊匹配來估計所述圖像內容的所述位移。3.根據權利要求1或2所述的圖像處理系統，其特征在于， 所述第一誤差檢測器(24)包括 差單元(30)，用于計算所述第一扭曲圖像的每個像素與所述參考圖像的對應像素的強度差， 直方圖單元(31)，用于計算確定的所述強度差的直方圖， 閾值確定單元(32)，用于根據所述直方圖確定誤差閾值，以及 誤差決定單元(33)，用于通過比較所述強度差與所述閾值從而得到幾何扭曲誤差像素的二進制映射圖，來確定幾何扭曲誤差。4.根據權利要求3所述的圖像處理系統，其特征在于， 所述閾值確定單元(32)用于確定所述誤差閾值以使得低于所述誤差閾值的差值指示光度扭曲誤差且高于所述誤差閾值的值指示幾何扭曲誤差。5.根據權利要求3或4所述的圖像處理系統，其特征在于， 所述閾值確定單元用于通過分析所述直方圖的連續值的梯度且將梯度最大處的值選擇為所述閾值，來自適應地確定所述誤差閾值。6.根據權利要求3到5中任一權利要求所述的圖像處理系統，其特征在于， 所述差單元(30)用于針對不同顏色通道獨立地計算所述強度差， 其中所述誤差決定單元(33)用于 比較所述顏色通道的所述強度差與所述誤差閾值，且 在所述顏色通道的所述強度差中的至少一個強度差高于所述誤差閾值的情況下或在全部顏色通道的所述強度差高于所述誤差閾值的情況下，確定像素的幾何扭曲誤差。7.根據權利要求3到5中任一權利要求所述的圖像處理系統，其特征在于， 所述差單元(30)用于針對不同顏色通道獨立地計算所述強度差， 其中，所述直方圖單元(31)用于針對所述不同顏色通道計算獨立的直方圖， 且所述閾值確定單元(32)用于針對每個顏色通道確定獨立的誤差閾值， 其中，所述誤差決定單元(33)用于 比較所述顏色通道的所述強度差與相應的誤差閾值，且 在所述顏色通道的所述強度差中的至少一個強度差高于相應的誤差閾值的情況下或在全部顏色通道的所述強度差高于相應的誤差閾值的情況下，確定像素的扭曲誤差。8.根據權利要求1到7中任一權利要求所述的圖像處理系統，其特征在于， 所述第一誤差補償器(25)包括: 搜索窗設定單元(41)，用于在檢測到幾何扭曲誤差的所述第一扭曲圖像的每個像素周圍設定預定的或用戶定義的大小的搜索窗， 有效像素檢測單元(42)，用于確定在每個搜索窗內的所在位置未檢測到幾何扭曲誤差的像素，從而得到每個搜索窗的有效像素， 校正值確定單元(43)，用于計算檢測到幾何扭曲誤差的所述第一扭曲圖像的所述像素的校正值，所述校正值各自計算為所述搜索窗的所述有效像素中的至少一些的強度的平均值， 校正值替換單元(44)，其用于通過所述相應計算得出的校正值替換檢測到幾何扭曲誤差的所述第一扭曲圖像的所述像素從而得到所述第一誤差校正圖像。9.根據權利要求8所述的圖像處理系統，其特征在于， 所述校正值確定單元(43)用于將所述校正值各自計算為僅包括有效像素的像素所述強度的平均值，所述有效像素與當前校正的像素的所述強度值的強度值差低于預定的或用戶可選的校正閾值。10.根據權利要求8或9所述的圖像處理系統，其特征在于， 所述第一誤差補償器(25)包括加權單元(40)，所述加權單元用于基于幾何扭曲誤差的所述二進制映射圖和所述第一扭曲圖像的所述強度的梯度計算加權映射圖，其中將較低權重分配給邊緣和邊界等高梯度值的像素，其中將較高權重分配給低梯度值的像素，從而得到加權映射圖，且 其中所述校正值確定單元(25)用于在計算所述校正值之前使用所述加權映射圖對所述搜索窗的所述有效像素進行加權。11.根據權利要求1到10中任一權利要求所述的圖像處理系統，其特征在于， 所述圖像處理系統(I)進一步包括第一曝光補償單元(21)，所述第一曝光補償單元用于通過改變所述第一圖像的或所述第二圖像的亮度和/或飽和度來補償所述第一圖像和所述第二圖像的不同曝光時間從而得到所述參考圖像和所述待扭曲圖像。12.根據權利要求1或11中任一權利要求所述的圖像處理系統，其特征在于， 所述圖像處理系統進一步包括 第二位移估計器，用于估計所述參考圖像與來源于第三圖像的又一待扭曲圖像之間的圖像內容的位移， 第二扭曲單元，用于通過扭曲所述又一待扭曲圖像來補償所述檢測到的位移，從而得到第二扭曲圖像， 第二誤差檢測器，用于檢測所述第二扭曲圖像中的幾何扭曲誤差， 第二誤差補償器，用于補償所述第二扭曲圖像中的檢測到的所述幾何扭曲誤差從而得到第二誤差校正圖像， 且所述高動態范圍計算器用于基于所述第一誤差校正圖像、所述第二誤差校正圖像和所述參考圖像計算所述高動態范圍圖像。13.—種用于從第一圖像和第二圖像生成高動態范圍圖像的方法，其特征在于， 估計來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內容的位移(102)， 其中通過扭曲所述待扭曲圖像來補償所述估計位移從而得到第一扭曲圖像(103)， 其中檢測所述第一扭曲圖像中的幾何扭曲誤差(104，105，106，107)， 其中補償所述第一扭曲圖像中的檢測到的所述幾何扭曲誤差從而得到第一誤差校正圖像(108，109，110，111，112)，且 其中基于所述第一誤差校正圖像和所述參考圖像計算所述高動態范圍圖像(113)。14.一種計算機程序，其特征在于，所述計算機程序具有程序代碼，所述程序代碼用于在所述程序在計算機或數字信號處理器上執行的情況下執行根據權利要求13所述的全部步驟。15.—種計算機程序產品，其特征在于，所述計算機程序產品具有存儲有程序代碼的計算機可讀媒體，所述程序代碼用于在所述程序在計算機或數字信號處理器上執行的情況下執行根據權利要求13所述的全部步驟。
【文檔編號】G06T5/50GK106030653SQ201480076068
【公開日】2016年10月12日
【申請日】2014年2月24日
【發明人】法赫德·博薩拉, 基奧萬尼·科達拉, 奧納伊·優厄法利歐格路
【申請人】華為技術有限公司