在高動態范圍圖像創建中的幻像偽影檢測和去除的制作方法
【技術領域】
[0001] 該發明涉及高動態范圍（HDR)成像，并且具體地，其涉及在HDR圖像創建期間的幻 像（ghost)偽影（artifact)的去除。
【背景技術】
[0002] 高動態范圍（HDR)成像是在圖像處理和數字拍照中使用的技術，以處置具有特別 大亮度（光強）范圍的源。例如，日光中的室外場景可包括藍色天空和陽光照耀的（sunlit) 對象以及陰影下的對象；夜晚場景可包括氖光和被明亮照耀的對象以及被較差照耀的對 象；室內場景可包括明亮窗戶以及較暗區域等。這些場景造成對于諸如數字相機的成像裝 置的挑戰；當前可用的數字相機的圖像傳感器的動態范圍通常不能對這樣的場景進行充分 成像。如果曝光級別對于捕獲場景的較暗區域的細節是充分的，則較亮的區域將通常被曝 光過度而缺失細節；相反，如果曝光級別對于捕獲場景的較亮區域的細節是充分的，則較暗 的區域將通常被曝光不足而缺失細節。
[0003] HDR成像技術通過按照各種曝光級別拍攝相同場景的多個圖像的集合、并然后數 字合并所述多個圖像來創建包括來自原始的多個圖像的信息的HDR圖像，使得在HDR圖像 中充分表達較亮和較暗區域兩者中的細節，來處置該問題。用于從多個圖像的集合創建HDR 圖像的方法一般是已知的。
[0004] 加括號（bracketing)是使用不同曝光級別或諸如焦點、景深等的其他不同設置 值來拍攝相同場景的多個圖像的攝影中的技術。一些相機能執行自動加括號，即，自動改變 多個設置時間并拍攝多個圖像。所述多個圖像中的每一個有時被稱為括號（bracket)。能 使用通過曝光加括號所生成的多個圖像來創建HDR圖像。
[0005] 在HDR圖像創建期間，當在不同圖像（括號）的攝制之間對象已移動、出現或消失 時，幻像偽影能出現。例如，在三個括號的攝制期間，如果人走進僅在第三括號中的場景，則 從這三個括號創建的HDR圖像將具有場景上的人的半透明圖（"幻像"）。在該公開中，這 些對象被稱為移動對象或引入幻像的對象。
[0006] 已提出了這樣的方法，其標識多個圖像內的這種引入幻像的對象，使得能處理圖 像以降低或消除得到的HDR圖像中的幻像效應。這些技術中的一些已在評論（review)論 文中描述，A.Srikantha和D.Sidibe,GhostDetectionandRemovalforHighDynamic RangeImages:RecentAdvances,SignalProcessing:imageCommunications, 27(6), pp.650-662, 2012。
[0007] 在一些已知的幻像偽影檢測方法中，選擇多個括號之一作為參考圖像（也稱為背 景圖像），其是按照定義不包括任何引入幻像的對象的圖像。其他括號與參考圖像相比，以 確定引入幻像的對象是否存在以及在哪里存在。這樣的單一基準方案的優點在于，其簡化 幻像檢測和去除問題，因為當處理每一非基準括號時，僅兩個圖像（基準括號和非基準括 號）需要比較以檢測非一致（non-consistent)像素。然而，缺點在于，基準圖像的一些大 區域可被較差曝光（過度曝光或曝光不足），并且如果用作基準，則導致相關區域中的不可 靠的幻像檢測、信息丟失以及得到的HDR圖像的差質量。
[0008] 由此，已提出這樣的方法，以將每一圖像劃分為多個拼接塊（tiles)(所有括號被 劃分為相同拼接塊），并且對于每一拼接塊，選擇一個括號作為基準圖像，使得可選擇不同 括號作為用于不同拼接塊的基準括號。所選擇的用于每一拼接塊的括號被稱為局部基準或 局部背景。一種這樣的方法在GdkdenizKaradag和AhmetOguzAkyUz,Colorpreserving HDRFusionforDynamicScenes,JournalofWSCG20 (2):155-160 (2012)( "Karadag和 Akyuz2012"）中進行了描述。從Karadag和Akyuz2012論文的圖1改編的圖2示出了被劃 分為多個拼接塊的圖像：標記為"S"的拼接塊（靠近圖像的右上和右下角）指示短曝光括 號將被用作基準圖像的拼接塊，而標記為"L"的拼接塊（靠近圖像的中央）指示將使用長曝 光括號的拼接塊（該圖像集合具有一共三個括號）。對于其他拼接塊，將使用中（middle) 括號作為基準，但是為了簡明，這些括號在圖1中沒有標記。在對于每一拼接塊選擇基準括 號之后，在非基準括號中檢測幻像像素。
【發明內容】
[0009] Karadag和Akyuz2012論文中描述的方法具有當相鄰拼接塊與相同移動對象相 關、但是具有對于它們選擇的不同括號作為基準圖像時出現的問題。例如，如果移動對象〇 在括號#1中（但是不在括號#2和#3中）的相鄰拼接塊A和B中存在，并且如果括號#1 (具 有對象〇)被選擇為用于拼接塊A的基準括號并且括號#2 (不具有對象0,僅具有對象0之 后的場景）被選擇為用于拼接塊B的基準括號，則在得到的HDR圖像中，拼接塊A和B可看 上去顯然（visibly)不一致、或者與移動對象相關的拼接塊A或B的部分中的信息可丟失。 [0010]因此，本發明針對用于幻像偽影檢測和去除的方法和相關設備，其基本上消除由 于現有技術的限制和缺點導致的問題中的一個或多個。
[0011] 本發明的目的是提供用于在HDR圖像創建中檢測幻像偽影的改進方法。
[0012] 本發明的附加特征和優點將在接下來的描述中闡明，并部分將根據該描述而清 楚，或者可通過本發明的實踐而得知。本發明的目的和其他優點將通過在書寫的描述及其 權利要求以及附圖中特別指出的結構來實現和得到。
[0013] 為了實現這些和/或其他目的，如同實施和廣泛描述的那樣，本發明提供了一種 用于從多個輸入圖像的集合生成高動態范圍（HDR)圖像的方法，每一輸入圖像被分配括號 索引，該方法包括：(a)將每一輸入圖像劃分為拼接塊的集合，其中所有圖像被劃分為相同 的拼接塊集合；(b)確定用于所述拼接塊的集合的每一拼接塊的基準括號索引，包括：(bl) 作為用于所述拼接塊的集合的括號索引的集合的函數來定義目標函數，該目標函數包括測 量個別拼接塊的曝光質量的分量和測量相鄰拼接塊之間的相關性的分量；和（b2)計算使 得該目標函數最優化的用于拼接塊的基準括號索引的集合；（c)基于用于拼接塊的基準括 號索引的集合，通過對于每一拼接塊比較其括號索引不是基準括號索引的每一輸入圖像與 其括號索引是基準括號索引的輸入圖像，而在逐拼接塊的基礎上檢測輸入圖像的集合中的 引起幻像的像素，并生成指示那個圖像中的引起幻像的像素的用于每一輸入圖像的幻像 圖；和（d)使用輸入圖像的集合和對應幻像圖來生成HDR圖像。
[0014] 步驟（b2)可包括：基于該目標函數構造圖形，使得該圖形的最佳切口給出使得該 目標函數最優化的用于拼接塊的括號索引的集合；和使用圖形切割算法來計算圖形的最佳 切口，以獲得使得該目標函數最優化的用于拼接塊的基準括號索引的集合。
[0015] 在另一方面，本發明提供了運行以上方法的數據處理設備。
[0016] 應理解的是，以上一般描述和以下詳細描述兩者是示范性和解釋性的，并且意欲 提供要求保護的本發明的進一步解釋。
【附圖說明】
[0017] 圖1示意性圖示了根據本發明實施例的用于幻像偽影檢測和HDR圖像創建的方 法。
[0018] 圖2圖示了根據已知方法的被劃分為多個拼接塊的圖像，其中選擇不同括號作為 用于不同拼接塊的基準括號。
[0019] 圖3示意性圖示了在本發明實施例中有用的反轉（inverted)像素曝光質量函數。
[0020] 圖4示意性圖示了根據本發明實施例的用于計算拼接塊到拼接塊 (tile-to-tile)的相關性而使用的初級（primary)拼接塊網格（grid)和次級拼接塊網格。
[0021] 圖5A和5B示意性圖示了根據本發明實施例的用于三個輸入圖像的集合的圖形構 造。
[0022] 圖6A-6F示意性圖示了根據本發明實施例的圖5B的圖形的圖形切口。
[0023] 圖7示意性圖示了根據本發明實施例的用于四個輸入圖像的集合的圖形構造。
[0024] 圖8示意性圖示了根據本發明實施例的用于幻像偽影檢測和HDR圖像創建的方 法。
[0025] 圖9A和9B分別示意性圖示了其中可實現本發明實施例的數據處理設備和相機。
【具體實施方式】
[0026] 本發明的實施例提供了用于對于HDR圖像創建檢測多個圖像中的幻像偽影的方 法。通過按照不同曝光級別拍攝相同場景而獲得多個圖像（括號）。假設相機在拍攝處 理期間基本上不移動；然而，在處理期間，對象可在場景內移動，或者可在場景中出現或從 場景消失。在該公開中，這樣的對象被統稱為移動對象或引入幻像的對象。如果不處置 (untreated)，則移動對象將在得到的HDR圖像中引入幻像偽影。幻像偽影檢測方法標識可 引起幻像偽影的、包括這樣的移動對象的圖像的區域。應注意的是，盡管該方法被稱為幻像 偽影檢測方法，但是在其已被創建之后，其不檢測HDR圖像中的幻像偽影。相反，該方法檢 測多個原始圖像中的區域，并且如果不處置，則所述多個原始圖像中的區域將在HDR圖像 中引入幻像偽影。
[0027]