通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法
【專利摘要】本發明提供一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法，本發明的重要思想是對運動區域在邊緣的約束下進行擴展來增強運動區域檢測的結果；本發明使用一種基于馬爾可夫隨機場框架的方法來檢測運動區域，并使用一種基于圖像分割的方法對運動區域進行擴展；根據擴展后的運動區域的掩膜圖像調整各像素的權重，并將各像素權重應用到最終的曝光融合中，可以有效地解決在高動態范圍成像中出現的鬼影問題。
【專利說明】
通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法
技術領域
[0001 ]本發明屬于圖像處理技術領域，尤其是高動態范圍成像（HDRI，High Dynamic Range Imaging)領域，是一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法。
【背景技術】
[0002] 實際場景的動態范圍比大多數的傳感器和顯示設備可以支持的動態范圍更廣泛。 為了使顯示的圖像更貼近現實，人們提出了高動態成像（HDRI，High Dynamic Range Imaging)技術，通過將多張不同曝光度的圖像進行合成來克服傳感器和顯示設備的限制。 這種合成技術主要分為兩種:一種是先生成高動態范圍（HDR，High Dynamic Range)圖像， 然后通過色調映射（Tone Mapping)得到一張低動態范圍（LDR，Low-Dynamic Range)圖像， 另一種是直接將多張不同曝光度的圖像合成出LDR圖像。本發明屬于后者。
[0003] 多曝光圖像合成的一個主要問題是由于場景中物體運動而產生的鬼影，這也是目 前多曝光圖像融合算法需要關注的主要問題。一個普遍的想法是先檢測運動區域，然后在 圖像合成時將運動區域排除在外，或者分配很小的權重。Li、Gallo、Huang分別使用頂F(強 度映射函數Intensity Mapping Function)、RANSAC(隨機抽樣一致性算法RANdom Sample Consensus)、塊匹配(Block Matching)來尋找運動區域。最近，Zhou提出了一種假設背景圖 像是一個低秩矩陣并計算最優解的方法來檢測運動區域，Lee將這種低秩檢測方法引入到 了高動態范圍圖像合成中。這些算法嘗試先檢測運動區域，然后在合成時調整運動區域的 權重。然而，準確地檢測運動區域是非常困難的，圖像中曝光不足或者曝光過度的部分都會 對檢測結果造成影響。此外，即使運動區域被檢測和標記，鬼影仍然會存在于最終的圖像 中，一個主要的問題就是如果在曝光融合時將運動區域排除在外，那么運動區域邊緣兩側 的像素在合成時將會有不同的輸入值，這會導致合成出的圖像會出現與運動區域形狀相同 的鬼影。由于這些因素，現有的很多算法不能很好地去除鬼影。
【發明內容】
[0004] 本發明要解決的問題是:在高動態范圍成像中，如果直接使用多曝光融合，那么可 能會因為場景中有物體運動而出現"鬼影"現象。而使用現有的鬼影去除算法，最終生成的 圖像中仍然可能存在鬼影現象。本發明提供一種通過運動物體檢測和擴展去除鬼影的高動 態范圍成像方法，可以有效地解決在高動態范圍成像中出現的鬼影問題。
[0005] 本發明的技術方案為:本發明一種通過運動物體檢測和擴展去除鬼影的高動態范 圍成像方法，包括以下步驟：
[0006] (1)運動區域檢測:將一組不同曝光度的圖像按曝光時間升序排列，計算相機響應 函數，并選取一張能夠全部參與最終合成的圖像作為參考圖像，則運動區域的檢測就是要 找出其他圖像中與參考圖像不同的區域；
[0007] 根據相機響應函數將參考圖像的曝光度調整為其他圖像的曝光度，然后計算其他 圖像與調整后的參考圖像對應的像素點的差值，差值越大則像素點屬于運動區域的可能性 越大；
[0008] 建立一個基于馬爾可夫隨機場的能量函數，將運動區域檢測這個標記問題轉換為 能量最小化問題，并使用圖割解決能量最小化問題;得到一個掩膜圖像，背景區域被標記為 0，運動區域被標記為1;
[0009] (2)運動區域擴展:擴展算法需要兩個標記區域，一個是hard object，一個是hard background，分別記作Ho和Hb區域，這兩個區域分別表示必定是物體的區域即運動區域和必 定是背景的區域即非運動區域;Ho使用步驟（1)檢測到的運動區域代替，Hb使用一種基于圖 像分割的方法得到；
[0010] 擴展算法就是將Ho和Hb兩個區域擴展，將這兩個區域周圍像素值與區域內像素值 相近的像素擴展進該區域內；擴展算法也是將區域擴展這個標記問題轉換為能量最小化問 題進行求解;得到擴展后的運動區域的掩膜圖像，并由此計算出各個像素的權重；
[0011] (3)曝光融合:使用步驟2)中得到的各個像素的權重，進行曝光融合來合成多張不 同曝光度的圖像，最終得到無鬼影的高動態范圍圖像。
[0012] 進一步的，步驟（1)所述根據相機響應函數將參考圖像的曝光度調整為其他圖像 的曝光度，然后計算其他圖像與調整后的參考圖像對應的像素點的差值，具體如下：
[0013] 首先將調整后的參考圖像劃分為low、well、high三個部分來分別對應圖像中曝光 不足、曝光良好、曝光過度的部分，（2)式展示了這三個部分的定義，ref表示選取的參考圖 像在圖像序列中的索引：
[0014]
[0015]其中：A(i，p)表示第i張圖中p像素所屬的區域曝光度情況，1表示low，w表示well， h表不high;
[0016] 然后分別計算在l〇w、well、high區域，其他圖像與調整后的參考圖像的差值，（3) (4)(5)(6)式展示了差值的計算方法;差值表示圖像與調整過的參考圖像對應像素之間的 差異，也代表了像素屬于運動區域的可能性；
[0021]其中：D(i，p)表示第i張圖中p像素與參考幀之間的距離值,D1(Ip)表示當第i張 圖中P像素曝光不足時與參考幀之間的距離值，Dw(i，p)表示當第i張圖中P像素曝光適當時
[0017]
[0018]
[0019]
[0020] 與參考幀之間的距離值，Dh(i，p)表示當第i張圖中p像素曝光過度時與參考幀之間的距離 值，I(i，P)表示第i張圖像的像素 P，R(i，P)表示參考幀被調整為曝光時間T(i)后p像素值。
[0022]進一步的，步驟（1)所述建立一個基于馬爾可夫隨機場的能量函數，將運動區域檢 測這個標記問題轉換為能量最小化問題，并使用圖割解決能量最小化問題;得到一個掩膜 圖像，背景區域被標記為〇，運動區域被標記為1;具體步驟如下：
[0023] 如（7)式展示了步驟（1)所述能量函數的定義，能量函數分為data cost和smooth cost兩個部分，data cost表示某個點被歸為某個標記時的代價，smooth cost表示某個點 與周圍點之間標記關系產生的代價;N表示所有相鄰像素點的集合，L(p)、L(q)分別表示像 素點P和q的標記，標記值為〇或1，〇代表背景，1代表運動區域；
[0024]
[0025]
[0026]
[0027] 如(9)(10)(11)(12)式展示了步驟（1)所述能量函數的data cost;其中，th是一個 閾值參數，σι、〇w、〇h分別代表第i張圖像中low、wel Uhigh三個部分的差值的標準差，β是一 個能夠被調整的參數；
[0030] Ed,w=[0031] L(i，p)G(D(i，p)，0〇w)(2y )[0032] +a-L(i，p))a-G(D(i，p)，^w))(|D(i，p)-0〇w| )[0033] (11)
[0028]
[0029]
[0034]
[0035]
[0036]
[0037] 將能量函數應用在每一張圖像上，并使用圖割算法求解;使用M表示得到的掩膜圖 像，M中的每個像素點都被標記為0或者1。
[0038] 進一步的，步驟(2)所述運動區域擴展，具體步驟如下：
[0039] Ho和Hb的計算如（14)式所示：
[0040]
[0041]
[0042]
[0043] HB = Grode(H7B)
[0044]其中:M表示步驟(1)得到的掩膜圖像，B表示被標記為運動區域的像素位置集合，M (P)表示掩膜圖像像素 P的值，Rs(P)表示R圖像經過平滑濾波和分割的圖像P像素值，Be表示B 集合的補集，H'b(p)表示靜止區域掩膜圖像p像素值，Hb表示經過腐蝕操作的掩膜圖像， erode是用于去噪的腐蝕函數；
[0045] 如（15)式展示了步驟(2)所述能量函數，使用了權重函數W'（i，p，q)將邊緣的影響 弓丨入到了能量函數中;N是所有相鄰像素點的集合，K是一個大到能夠保證被Ho或者Hb所標記 的區域都會被標記為1或〇的值;Std(RKi))是第i個R f的標準差，為了計算Hb，先將參考圖像 轉化為灰度圖像，然后使用coherence濾波器進行過濾，coherence濾波器將會平滑圖像并 且增強邊緣，之后將處理的結果表示為Rf;當|心(1， ？)-^(1，9)|〈〇時，權重函數對亮度相似 的像素點很不利，σ由λ控制，能夠被看作是權重函數的一個閾值；
[0046]
[0047]
[0048]
[0049]
[0050] 通過求解這個能量最小化問題，能夠獲得一個掩膜圖像序列，在掩膜圖像中，擴展 后的運動區域被標記為1;這些掩膜圖像被用于最后的曝光融合中，記做M'。
[0051] 進一步的，步驟(3)所述曝光融合中，采用如（16)式修改后的權重函數，在M'中被 標記為]的像棄敕重為〇.即擴屏后的伝動反城不參與合成，
[0052]
[0053] 其中：C表示對比度，S表示飽和度，S通過RGB通道值的標準差計算，E表示曝光度的 好壞，像素值越接近0.5也就是中間值時認為像素的曝光度越好，本發明使用高斯函數 exp(- ):來計算E，M' (i，p)表示第i張掩膜圖像p像素值。
[0054] 有益效果:本發明使用一種基于馬爾可夫隨機場(MRF，Markov Random Filed)框 架的方法來檢測運動區域，并使用一種基于圖像分割的方法對運動區域進行擴展。根據擴 展后的運動區域的掩膜圖像調整各像素的權重，并將各像素權重應用到最終的曝光融合 中，能夠有效地去除鬼影。
【附圖說明】
[0055]圖1為本發明的具體流程。
[0056] 圖2為本發明中運動區域檢測和擴展與傳統運動區域檢測的對比：
[0057] (a)中的黑色部分為傳統方法得到的運動區域；
[0058] (b)中的黑色部分為本發明中檢測并擴展的運動區域。
[0059] 圖3為本發明中運動區域檢測和擴展的結果：
[0060] (a)為多張不同曝光度的圖像，按曝光時間升序排列，選取中間圖像為參考圖像；
[0061] (b)為檢測到的運動區域；
[0062] (C)為擴展后的運動區域的掩膜圖像。
[0063]圖4為本發明與其他現有技術的效果對比。
[0064]圖4(a)-組多曝光圖像；
[0065]圖4(b)為Mertens算法的結果；
[0066]圖4(c)為Gallo算法的結果；
[0067]圖4(d)為Lee算法的結果；
[0068]圖4(e)本發明的結果。
【具體實施方式】
[0069] 下面結合附圖對本發明做進一步的說明。
[0070] -種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法，本發明的重要思 想是對運動區域在圖像中邊緣的約束下進行擴展來增強運動物體檢測的結果。在說明書附 圖2中，圖2(a)左圖中圓的部分被標記為運動區域，右圖沒有運動區域，當兩張圖像合成時， 左圖圓的區域不會參與合成，而整個場景中長方形區域是一個整體，從肉眼來看，長方形區 域內圖像變化很小，而左圖圓區域會使得這個區域與周邊在合成操作上存在差異，而長方 形區域的整體性會使得這個差異更加明顯，易被察覺，也就造成了鬼影。本發明的想法就是 對圖2(a)左圖中的標記進行擴展，獲得圖2(b)左圖中的標記，這樣在合成時就可以使得在 同一區域內的合成可以做到具有相同的合成源，以去除鬼影。本發明使用一種基于馬爾可 夫隨機場(MRF，Markov Random Filed)框架的方法來檢測運動區域，并使用一種基于圖像 分割的方法對運動區域進行擴展。根據擴展后的運動區域的掩膜圖像調整各像素的權重， 并將各像素權重應用到最終的曝光融合中。
[0071] 如圖1所示，本發明通過檢測和擴展運動區域，在多曝光融合時將擴展后的運動區 域的權重記為0來獲得無鬼影的高動態范圍圖像。步驟如下：
[0072] (1)運動區域的檢測
[0073] 我們將一組不同曝光度的圖像按曝光時間升序排列。I(i，p)表示第i張圖像的像 素p，T(i)表示第i張圖像的曝光時間。
[0074] 首先，使用Debevec的方法獲得相機響應函數(CRF，Camera Response Function)， 文獻[1]詳細描述了這種方法。（1)式展示了場景輻照度E(P)、曝光時間T(i)和圖像像素值I (i，P)之間的關系，其中g是根據文獻[1]中的方法計算出的映射函數。
[0075] g(I(i，p)) = lnE(p)+lnT(i) (1)
[0076] 如圖3(a)所示，我們選擇圖像序列中間的圖像作為參考圖像，參考圖像會全部參 與最終的合成，所以運動區域的檢測就是要找出其他圖像中與參考圖像不同的區域，我們 先將參考圖像調整到其他各圖像的曝光時間上來減少曝光度不同產生的影響。由于 Debevec方法獲得的CRF會在兩段(也就是極暗或極亮)產生比較大的誤差，我們將調整后的 參考圖像劃分為l〇w、well、high三個部分來分別對應圖像中曝光不足、曝光良好、曝光過度 的部分，在計算其他圖像與參考圖像的差異時將這三個部分分開討論。（2)式展示了這三個 部分的定義，ref表示選取的參考圖像在圖像序列中的索引。
[0077]
[0078] 其中：1表不low,w表不well，h表不high;
[0079] 然后我們分別計算在l〇w、well、high區域，其他圖像與調整后的參考圖像的差值， (3)(4)(5)(6)式展示了差值的計算方法。差值表示圖像與調整過的參考圖像對應像素之間 的差異，也代表了像素屬于運動區域的可能性。
[0080]
)
[0081]
[0082]
[0083]
[0084] 我們假定運動區域是連續的。我們使用一個基于馬爾可夫隨機場(MRF，Markov Random FiIed)的能量函數將運動區域檢測這個標記問題轉化為能量最小化問題。（7)式展 示了這個能量函數的定義，這個能量函數分為data cost和smooth cost兩個部分，data cost表示某個點被歸為某個標記時的代價，smooth cost表示某個點與周圍點之間標記關 系產生的代價。N表示所有相鄰像素點的集合，L(p)、L(q)分別表示像素點p和q的標記，這個 標記值為0 (代衷背景)或1 (代衷運動岡域）。
[0085]
[0086]
[0087]
[0088] 我們對low、well、high三個部分的data cost分別進行討論。
[0089] 以曝光度小于參考圖像的某一圖像為例，記該圖像為A，參考圖像為R，參考圖像調 整后與A對應的(具有相同曝光度)的圖像為R '。
[0090] 對于well區域，我們假定在非運動區域R'與A是很接近的，也就是R'與A的差值是 比較小的，當某個區域這個差值很大時，可以認為這個區域是運動區域，我們假定R'與A之 間的差值符合以〇為平均值的正態分布，因此我們可以用差值的標準差乘上一個系數作為 閾值來過濾掉誤差，當差值大于閾值時，這個像素更有可能為運動區域，且差值越大，可能 性也越大。
[0091] 對于low區域，由于A的曝光時間要比R短，而low區域在R的曝光時間下已經處于曝 光不足的狀態，也就意味著，在曝光時間更短的A中，這些區域的值應該是接近0的。考慮到 相機本身可能會產生一些噪聲，因此加入一個閾值，這個閾值通常是比較小的，當A的值大 于這個閾值時認為這個區域更有可能為運動區域，值越大，可能性也越大。
[0092] 對于high區域，在R的曝光時間下處于過曝，也就意味著這些區域是場景輻照度比 較高的區域，準確講也就是大于等于在R的曝光時間下相機所能接受的最大輻照度，但并不 能確定準確的輻照度值，因此，當曝光時間縮短至A時，這些區域有可能低于此時相機接受 的最大輻照度，也有可能依舊是過曝。因此，我們簡單假定，當A大于某個值時是可以接受 的，這個值也就是在R曝光時間下相機所能接受的最大輻照度被調整至A的曝光時間的值。
[0093] (9)(10)(11)(12)式展示了data cost的細節。其中，th是一個閾值參數，O1Jw^h 分別代表第i張圖像中l〇w、well、high三個部分的差值的標準差，β是一個可以被調整的參 數。
[0094；
[0095；
[0096] Ed,w=
[0103]這個能量最小化問題可以使用圖割解決。文獻[2]描述了通過圖割來解決能量最 小化問題的方法。我們把這個能量函數應用在每一張圖像上，并使用圖割算法求解。我們使 用M表示得到的掩膜圖像，M中的每個像素點都被標記為0(代表背景）或者1(代表運動區 域)。
[0104] (2)運動區域擴展
[0105]我們將運動區域的掩膜在邊緣的約束下進行擴展。本發明的擴展算法基于文獻 [3]描述的方法。擴展算法需要兩個標記區域，一個是hard object，一個是hard background，為了方便討論，分別記作Ho和Hb區域，這兩個區域分別表示必定是物體(也就是 運動區域）的區域和必定是背景（也就是非運動區域）的區域。算法要做的就是將這兩個區 域擴展，將這兩個區域周圍像素值與區域內像素值相近的像素擴展進該區域內。這個問題 同樣可以通過建立MRF模型進行解決。
[0106] Ho可以用步驟（1)檢測到的運動區域代替，而Hb不是現成的。為了計算Hb，我們先將 參考圖像轉化為灰度圖像，然后使用coherence濾波器進行過濾。coherence濾波器的細節 在文獻[4]中描述。coherence濾波器將會平滑圖像并且增強邊緣。我們將處理的結果表示 為Rf。然后使用文獻[5]所描述的圖像分割算法對R f進行分割，分割結果用Rs表示，Rs包含了 每個像素的分割標記。我們將R s與Ho有交集的區域擴展，這個擴展后的標記是很粗略的，覆 蓋了我們需要的區域，同時也多擴展了一些我們不需要的區域，我們可以將這個擴展后的 標記取反來獲得Hb，這個流程獲得的Hb會有一些噪點影響我們的算法，我們再做一次腐蝕操 作來去噪，這個Hb比起精確的背景區域要小，但已經足夠支持我們進行接下來的擴展操作。
[0107] Ho和Hb的計算如（14)式所示，erode是用于去噪的腐蝕函數。
[0108]
[0109]
[0110]
[0111] HB = Grode(H7B)
[0112] 運動區域的擴展問題也是一個標記問題，同樣可以轉化為能量最小化問題求解。 (15)式展示了這個能量函數，該函數和運動區域檢測部分的函數相似，主要的不同之處在 于此處我們使用了權重函數W'（i，p，q)將邊緣的影響引入到了能量函數中。N是所有相鄰像 素點的集合，K是一個大到可以保證被Ho或者Hb所標記的區域都會被標記為1(代表物體)或0 (代表背景）的值。Std(RKi))是第i個R f的標準差。當|沿（1，？)-心（1，(1)|〈〇時，權重函數對 亮度相似的像素點很不利。σ由λ控制，可以被看作是權重函數的一個閾值。
[0113]
[0114]
[0115]
[0116]
[0117] 通過求解這個能量最小化問題，我們可以獲得一個掩膜圖像序列，在掩膜圖像中， 擴展后的運動區域被標記為1。這些掩膜圖像被用于最后的曝光融合中，記做M'。說明書附 圖3(b)和(c)展示了運動區域檢測和擴展的結果。
[0118] (3)曝光融合
[0119] 本發明使用曝光融合算法來合成多曝光圖像。文獻[6]描述了曝光融合算法的細 -K- To
[0120] 為了去除鬼影，我們對曝光融合算法中的權重函數做了修改，（16)式展示了修改 后的權重函數，在M'中被標記為1的像素權重為0，即擴展后的運動區域不參與合成。
[0121]
[0122]實驗結果：
[0123]我們使用以下參數值進行實驗：γ =4〇，th = 5，0=l .9, γ ' =10，λ=50。說明書附 圖4展示了本發明的實驗結果與其他現有技術實驗結果的對比。結果表明本發明可以有效 地去除鬼影。
[0124] 文獻：
[0125] [l]P.E.Debevec，J.Malik. "從照片中恢復高動態范圍輻射圖" .ACM SIGGRAPH, 2008,p31
[0126] [2]Y. Boykov，0. VeksIer，R. Zabih. "基于圖割的快速近似能量最小化" .IEEE模式 分析與機器智能匯刊，vol · 23，no · 11，pp · 1222-1239，2001
[0127] [3]Y.Boykov,G.Funka-Lea. "圖割與高效的ND圖像分割".國際計算機視覺學報， vol.70，no.2，pp.109-131，2006
[0128] [4]D.Kr〇〇n，C.Slump. "使用相干濾波增強錐形束CT數據中的下頌管" .2009
[0129] [5]P.F.Felzenszwalb,D·Ρ·Huttenlocher· "基于圖的高效圖像分割" ·國際計算 機視覺學報，vol · 59，ηο · 2，ρρ · 167-181，2004
[0130] [6]T.Mertens，J.Kautz，F. Van Reeth · "曝光融合" ·第15屆IEEE太平洋會議，計算 機圖形學及應用，2007，ρρ· 382-390。
【主權項】
1. 一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方法，其特征在于，包括 以下步驟： (1) 運動區域檢測：將一組不同曝光度的圖像按曝光時間升序排列，計算相機響應函 數，并選取一張能夠全部參與最終合成的圖像作為參考圖像，則運動區域的檢測就是要找 出其他圖像中與參考圖像不同的區域； 根據相機響應函數將參考圖像的曝光度調整為其他圖像的曝光度，然后計算其他圖像 與調整后的參考圖像對應的像素點的差值，差值越大則像素點屬于運動區域的可能性越 大； 建立一個基于馬爾可夫隨機場的能量函數，將運動區域檢測這個標記問題轉換為能量 最小化問題，并使用圖割解決能量最小化問題;得到一個掩膜圖像，背景區域被標記為0,運 動區域被標記為1; (2) 運動區域擴展：擴展算法需要兩個標記區域，一個是hard object，一個是hard background，分別記作Ho和Hb區域，這兩個區域分別表示必定是物體的區域即運動區域和必 定是背景的區域即非運動區域;Ho使用步驟（1)檢測到的運動區域代替，Hb使用一種基于圖 像分割的方法得到； 擴展算法就是將Ho和Hb兩個區域擴展，將這兩個區域周圍像素值與區域內像素值相近 的像素擴展進該區域內；擴展算法也是將區域擴展這個標記問題轉換為能量最小化問題進 行求解;得到擴展后的運動區域的掩膜圖像，并由此計算出各個像素的權重； (3) 曝光融合:使用步驟2)中得到的各個像素的權重，進行曝光融合來合成多張不同曝 光度的圖像，最終得到無鬼影的高動態范圍圖像。2. 根據權利要求1所示的一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方 法，其特征在于，步驟(1)所述根據相機響應函數將參考圖像的曝光度調整為其他圖像的曝 光度，然后計算其他圖像與調整后的參考圖像對應的像素點的差值，具體如下： 首先將調整后的參考圖像劃分為l〇w、well、high三個部分來分別對應圖像中曝光不 足、曝光良好、曝光過度的部分，（2)式展示了這三個部分的定義，ref表示選取的參考圖像 在圖像序列中的索引；其中：A(i，p)表示第i張圖中p像素所屬的區域曝光度情況，1表示low，w表示well，h表 示high; 然后分別計算在1〇?、仰11、1^811區域，其他圖像與調整后的參考圖像的差值，（3)(4) (5) (6)式展示了差值的計算方法；差值表示圖像與調整過的參考圖像對應像素之間的差 異，也代表了像素屬于運動區域的可能性；其中：D(i，p)表示第i張圖中p像素與參考幀之間的距離值ΑΚ?,ρ)表示當第i張圖中p 像素曝光不足時與參考幀之間的距離值，Dw(i，p)表示當第i張圖中p像素曝光適當時與參 考幀之間的距離值，D h(i，p)表示當第i張圖中p像素曝光過度時與參考幀之間的距離值，I (1^)表示第1張圖像的像素口，以1^)表示參考幀被調整為曝光時間!'(1)后?像素值。3.根據權利要求2所示的一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方 法，其特征在于，步驟（1)所述建立一個基于馬爾可夫隨機場的能量函數，將運動區域檢測 這個標記問題轉換為能量最小化問題，并使用圖割解決能量最小化問題;得到一個掩膜圖 像，背景區域被標記為0，運動區域被標記為1;具體步驟如下： 如(7)式展示了步驟（1)所述能量函數的定義，能量函數分為data cost和smooth cost 兩個部分，data cost表示某個點被歸為某個標記時的代價，smooth cost表示某個點與周 圍點之間標記關系產生的代價;N表示所有相鄰像素點的集合，L(p)、L(q)分別表示像素點p 和q的標記，標記值為〇或1，〇代表背景，1代表運動區域；如（8)式展示了能量函數的smooth cost;如(9)(10)(11)(12)式展示了步驟（1)所述能量函數的data cost;其中，th是一個閾值 參數，σ 1、〇w、〇h分別代表第i張圖像中1 ow、we 11、h i gh三個部分的差值的標準差，β是一個能 夠被調整的參數；如（13)式展示了函數G的定義：將能量函數應用在每一張圖像上，并使用圖割算法求解;使用Μ表示得到的掩膜圖像，Μ 中的每個像素點都被標記為〇或者1。4.根據權利要求3所示的一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方 法，其特征在于，步驟(2)所述運動區域擴展，具體步驟如下： Ho和Ηβ的計算如（14)式所示： Ηο=ΜHB = erode(H/ b) 其中：Μ表示步驟（1)得到的掩膜圖像，B表示被標記為運動區域的像素位置集合，M(p) 表示掩膜圖像像素 P的值，RS(P)表示R圖像經過平滑濾波和分割的圖像P像素值，Be表示B集 合的補集，H'b(p)表示靜止區域掩膜圖像p像素值，Hb表示經過腐蝕操作的掩膜圖像，erode 是用于去噪的腐蝕函數； 如（15)式展示了步驟(2)所述能量函數，使用了權重函數W'（i，p，q)將邊緣的影響引入 到了能量函數中;N是所有相鄰像素點的集合，K是一個大到能夠保證被Ho或者Hb所標記的區 域都會被標記為1或〇的值;std(R f(i))是第i個Rf的標準差，為了計算Hb，先將參考圖像轉化 為灰度圖像，然后使用coherence濾波器進行過濾，coherence濾波器將會平滑圖像并且增 強邊緣，之后將處理的結果表示為Rf;當|沿（14)_1^(14)|〈〇時，權重函數對亮度相似的像 素點很不利，σ由λ控制，能夠被看作是權重函數的一個閾值；通過求解這個能量最小化問題，能夠獲得一個掩膜圖像序列，在掩膜圖像中，擴展后的 運動區域被標記為1;這些掩膜圖像被用于最后的曝光融合中，記做Μ'。5.根據權利要求4所示的一種通過運動物體檢測和擴展去除鬼影的高動態范圍成像方 法，其特征在于，步驟(3)所述曝光融合中，采用如（16)式修改后的權重函數，在Μ'中被標記 為1的像素權重為〇,即擴展后的運動區域不參與合成：其中：C表示的是對比度，S表示飽和度，S通過RGB通道值的標準差計算，Ε表示曝光度的 好壞，像素值越接近0.5也就是中間值時認為像素的曝光度越好，使用高斯函數來計算E，M'（ i，p)表示第i張掩膜圖像p像素值。
【文檔編號】G06T7/20GK106056629SQ201610375939
【公開日】2016年10月26日
【申請日】2016年5月31日
【發明人】劉欽, 張本康, 王豪, 蘇子權, 宋強, 王子杰
【申請人】南京大學