S82中構造的初級和次級網格以及步驟S83和S84中計算 的拼接塊曝光質量與拼接塊到拼接塊相關值,來構造圖形(特別是,流網絡)(步驟S85)。 該圖形包括源節點、宿節點、與初級網格的每一拼接塊和次級網格的每一拼接塊對應的一 個或多個節點、以及節點之間的各個拼接塊特定邊緣和橫向耦接邊緣。每一邊緣具有向其 分配的權重,并且這些權重基于拼接塊曝光質量以及拼接塊到拼接塊相關值。本發明實施 例中的構造圖形的特定方式如前面描述的那樣。然后,使用最小切口算法來計算該圖形的 最佳切口,并且從最佳切口來標識用于初級網格的所有拼接塊的基準括號(步驟S86)。本 發明實施例中的從最佳切口標識基準括號的方式如前面描述的那樣。
[0072] -旦標識了用于每一拼接塊的基準括號,則能通過對于每一拼接塊比較非基準括 號和基準括號,來在逐拼接塊的基礎上檢測圖像集合中的引起幻像的像素(步驟S87)。例 如,能計算基準括號和非基準括號之間的拼接塊的歸一化交叉相關性(NCC),作為那個拼接 塊的非基準括號是否包括引起幻像的對象的指示。可使用其他方法來檢測拼接塊中的幻像 偽影,諸如Karadag和Akyuz2012論文中描述的方法。在步驟S87,對于每一括號構造幻像 圖,其是和原始圖像具有相同尺寸、并且指示括號中的每一像素是否引起幻像以及由此是 否應在創建HDR圖像時使用該括號的像素的圖。然后,通過使用多個括號連同對應幻像圖, 來生成HDR圖像(步驟S88)。在該步驟中,將不使用由對應幻像圖指示為引起幻像的括號 的像素來生成HDR圖像。結果,避免幻像偽影。
[0073] 在圖8的處理中,步驟S81到S86涉及確定用于每一拼接塊的基準括號;并且步驟 S87到S88涉及檢測和去除幻像偽影并生成HDR圖像。能使用現有技術中已知的方法來實 現這些步驟的后一集合。
[0074] 能對上述實施例進行各種改變。例如,盡管使用初級網格和次級網格中的重疊拼 接塊來在以上實施例中定義拼接塊到拼接塊相關性\q(fp,fq),但是其也能通過測量彼此 接壤(border)的初級網格中的相鄰拼接塊的視覺相似度的函數、使用僅初級網格中的拼 接塊來定義。下面描述這些替換實施例中的兩個。在這些描述中,拼接塊q是相同網格中 的拼接塊P的相鄰拼接塊;能定義鄰居的集合作為在四邊與拼接塊P鄰接的四個拼接塊的 集合,或者作為選擇,這樣的集合的任何子集。
[0075] 在計算拼接塊到拼接塊相關性\q(fp,fq)的第一替換方法中,首先計算以下NCC 值:
[0076] A=NCC(Ifp(Rp),Ifq(Rp))
[0077] B=NCC(Ifq(Rq),Ifp(Rq))
[0078] 其中Ifq(Rq)是括號fp等的拼接塊p的圖像。由此,值A是括號匕和匕的拼接塊 P和q之間計算的歸一化交叉相關性。
[0079] 對于fp#fq,令n為輸入圖像集合的另一括號的索引,即n辛fp并且n辛fq,并且 計算以下值:
[0080] C=max{n}(NCC(Ifp (Rp),In (Rp))+NCC(Ifq (Rq),In (Rq)))
[0081] 然后,值H被計算為:
[0082] 對于心=?(1,民,(1(心4)=0;
[0083] 對于fp 乒fUfp, = 1-max(A,B,C)
[0084] 然后作為Hp,q(fp,fq)的遞增函數來計算拼接塊到拼接塊相關性VRq(fp,fq)。
[0085] 在計算拼接塊到拼接塊相關性\q(fp,fq)的第二替換方法中,每一拼接塊首先由 函數Ef映射,其取決于括號f將像素強度值映射到曝光值。換言之,Ef是向像素值應用的 逆相機響應函數(CRF)。
[0086]然后令 1加是Efp (Ifp (Rp))和Efq (Ifq (Rq))的并置(juxtaposition)(相鄰拼接塊) 的圖像結果。令dist是比較函數(例如,絕對差,1-NCC)。計算如下:
[0087] A=dist(Itest,E0(I0(Rp+Rq)))
[0088] B=dist(Itest,Ei⑴(Rp+Rq)))
[0089]C=dist(Itest,E2(I2(Rp+Rq)))
[0090]
[0091]Hp;q (fp,fq) =min(A,B,C,...)
[0092] 其中Rp+Rq代表通過組合(并置)拼接塊RjPRq而獲得的圖像補丁。例如,如果 &和R5是正方形,則RP+Rq是通過組合R5和Rq而獲得的矩形補丁。
[0093] 然后作為Hp,q(fp,fq)的遞增函數來計算拼接塊到拼接塊相關性Vp,q(fp,fq)。
[0094]當僅使用初級網格中的拼接塊來計算拼接塊到拼接塊相關性Vp,q(fp,fq)時,圖形 構造與上面描述的類似,除了拼接塊q現在是同一網格(而不是次級網格)中的拼接塊P 的相鄰拼接塊之外。
[0095] 這里描述的幻像偽影檢測和HDR圖像創建方法能在諸如圖8A中示出的計算機120 的數據處理系統中實現。計算機120包括處理器121、儲存裝置(例如,硬盤驅動器)122、 以及內部存儲器(例如,RAM) 123。儲存裝置122存儲軟件程序,所述軟件程序被讀出到RAM 123并由處理器121運行以執行這些方法。
[0096] 該方法也可在硬連線電路中實現,諸如數字相機內的一個或多個芯片。圖8B示意 性圖示了數字相機130,其包括處理器121、儲存裝置132、內部存儲器133、以及用于獲得圖 像的成像部件134和用于控制相機的各種功能的控制部件135。控制部件135可執行自動 加括號,以按照不同曝光級別來自動拍攝圖像的集合。自動加括號是公知的,并且這里省略 其細節。處理器131可使用上述算法來處理圖像的集合以生成HDR圖像。
[0097] 在一個方面,本發明在數據處理設備中實施,其可以是數字相機的數據處理部件。 在另一方面,本發明是在計算機可使用非瞬時介質中實施的計算機程序產品,其中嵌入有 計算機可讀程序代碼,用于控制數據處理設備。在另一方面,本發明是數據處理設備執行的 方法。
[0098] 本領域技術人員將清楚,能在本發明的幻像偽影檢測和HDR圖像創建方法和相關 設備中進行各種修改和變型,而不脫離本發明的精神或范圍。由此,本發明意欲覆蓋落入所 附權利要求及其等效的范圍內的修改和變型。
【主權項】
1. 一種用于從多個輸入圖像的集合生成高動態范圍(HDR)圖像的方法,每一輸入圖像 被分配括號索引,該方法包括: (a) 將每一輸入圖像劃分為拼接塊的集合,其中所有圖像被劃分為相同的拼接塊集 合; (b) 確定用于所述拼接塊的集合的每一拼接塊的基準括號索引,包括: (bl)作為用于所述拼接塊的集合的括號索引的集合的函數來定義目標函數,該目標函 數包括測量個別拼接塊的曝光質量的分量和測量相鄰拼接塊之間的相關性的分量;和 (b2)計算使得該目標函數最優化的用于拼接塊的基準括號索引的集合; (c) 基于用于拼接塊的基準括號索引的集合,通過對于每一拼接塊比較其括號索引不 是基準括號索引的每一輸入圖像與其括號索引是基準括號索引的輸入圖像,而在逐拼接塊 的基礎上檢測輸入圖像的集合中的引起幻像的像素,并生成指示那個圖像中的引起幻像的 像素的用于每一輸入圖像的幻像圖;和 (d) 使用輸入圖像的集合和對應幻像圖來生成HDR圖像。2. 根據權利要求1的方法,其中所述步驟(b2)包括: 基于該目標函數構造圖形,使得該圖形的最佳切口給出使得該目標函數最優化的用于 拼接塊的括號索引的集合;和 使用圖形切割算法來計算圖形的最佳切口,以獲得使得該目標函數最優化的用于拼接 塊的基準括號索引的集合。3. 根據權利要求1的方法,其中步驟(bl)中的目標函數被定義為: F(f) = 2pDp(fp) + 2p2:qeN(p)Vp,q(fp,f q) (I) 其中:P和q是拼接塊的索引,N(p)是拼接塊p的鄰居的拼接塊索引的集合,&和f q是 用于拼接塊P和q的括號索引,f是fp所形成的向量,D p(fp)是測量括號&的拼接塊p的 曝光質量的函數,并且(fp,f q)是測量括號&和f q的兩個相鄰拼接塊p和q之間的耦接 的函數。4. 根據權利要求3的方法,其中Dp(fp)是用于括號&的拼接塊p的所有像素的像素曝 光質量值的平均值。5. 根據權利要求3的方法, 其中步驟(a)中的拼接塊的集合具有相同拼接塊尺寸并形成初級拼接塊網格, 該方法進一步包括通過將該初級拼接塊網格移位該拼接塊尺寸的一部分,來形成次級 拼接塊網格, 其中在步驟(bl)中的目標函數中,拼接塊索引p和q分別是初級和次級拼接塊網格中 的索引,并且拼接塊P的鄰居的集合N(p)是與初級網格中的拼接塊p重疊的次級拼接塊網 格中的拼接塊,以及 其中(fp,g是其中拼接塊P和q彼此重疊的區域中的從括號4和f q的圖像計算 的相關性值。6. 根據權利要求5的方法,其中步驟(b2)包括: 基于目標函數構造圖形,該圖形具有源節點、宿節點、和與初級拼接塊網格的每一拼接 塊P以及次級拼接塊網格的每一拼接塊q對應的M-I個中間節點的序列,M是輸入圖像的 集合中的圖像的數目,M個縱向邊緣利用基于函數D p (fp)計算的相應邊緣權重經由用于每 一拼接塊P和每一拼接塊q的中間節點的序列而將