專利名稱：電影劃痕損傷的檢測修復方法
技術領域：
本發明涉及的是一種圖像處理技術領域的方法，具體是一種電影劃痕損傷的檢測 修復方法。
背景技術：
電影膠片是一種容易老化的化學物質，并且由于不恰當的保存、播放和拷貝，使得 許多舊影片或損壞或丟失。劃痕是電影膠片中經常出現的損傷，形成原因主要有兩個一是 視頻在拍攝過程中顆粒對膠片產生了劃傷，二是視頻在播放過程中膠片與攝像機摩擦產生 了損傷。因此，劃痕通常呈線狀分布在電影膠片中，一般為3 10個像素寬，長短不一，或 為白色或為黑色，所覆蓋區域圖像信息被嚴重破壞。研究針對舊電影中劃痕損傷的檢測修 復方法，是該領域的重要工作。劃痕檢測是劃痕修復之前的一個重要步驟，檢測方法的精確度直接影響到劃痕修 復的效果。經典的劃痕檢測方法有基于劃痕亮度模型的檢測方法，如Brimi模型，可以較為 精確地檢測到垂直劃痕在圖像水平方向上的位置，但是由于沒有考慮到劃痕的形態特性， 因此無法獲得垂直劃痕在垂直方向上的長度和具體位置等細節信息。另一些方法利用了劃 痕的邊緣特性進行檢測，雖然可以獲得劃痕的細節信息，但由于作用于整幅圖像并且缺少 定量的分析，主觀性較大，不可避免地會檢出許多同樣具有邊緣特性的干擾物體，產生誤檢 和漏檢現象。利用劃痕檢測所得到的劃痕掩模可進行劃痕修復。大多數劃痕修復方法都采用基 于一定模型的插值的方法，多項式插值假設圖像缺失部分與其周圍像素滿足多項式模型， 選擇多項式階數進行擬合，從而得到合適的模型系數。多項式插值計算簡單，可有效恢復圖 像低頻信息，但是很難恢復圖像高頻信息，無法保留圖像紋理細節。隨機模型如自回歸(AR) 模型和馬爾科夫隨機(MRF)模型能更好地擬合缺失部分像素，尤其是恢復高頻信息，但是 計算量大，實現復雜。2002年，BaHester和Bertalmio提出了“修補”的概念，用遞歸的方 法對圖像缺失區域從外圍向內部進行修補，直至填滿整個區域，這種方法適用于圖像中含 有較小缺失信息的情況，并不適于劃痕修復。
發明內容
本發明針對現有技術存在的上述不足，提供一種電影劃痕損傷的檢測修復方法， 能夠有效地修復劃痕損傷，相對于傳統的檢測和修復方法有更好的效果和較低的方法復雜 度，有較廣闊的應用前景。本發明是通過以下技術方案實現的，本發明包括劃痕的檢測和劃痕的修復兩個部 分。其中，劃痕的檢測包括劃痕位置定位和劃痕細節獲取兩個模塊，先利用垂直劃痕 的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態學特征獲取這些劃 痕在垂直方向上的細節信息，劃痕位置定位和劃痕細節獲取這兩個模塊之間相輔相成，前者對于劃痕水平位置的預定位縮小了后者的作用范圍從而去除了后者檢出的大量干擾噪 聲，而后者對于前者進行了細化從而提取出了垂直劃痕的長度及垂直方向上的位置信息；劃痕檢測的具體步驟如下1)對圖像A進行垂直投影，計算圖像矩陣每一列的均值，得到一個一維水平向量， 做水平方向上的均值濾波，得到圖像的亮度截面cross (j)，這一步放大了劃痕余弦衰減的 特性；2)選取cross (j)的所有極值點，根據劃痕特性，對得到的極值點進行寬度約束、 亮度約束和韋伯能量約束，從而篩選出符合劃痕特性的極值點；3)根據求出的劃痕水平位置以及劃痕的寬度，獲得劃痕的初級掩模；4)對原始圖像A做直方圖均衡，加強圖像中劃痕與背景圖像的對比度，用canny算 子對圖像進行邊緣檢測，并做形態學膨脹操作，沿水平軸方向增加劃痕特性，提取出圖像的 邊緣骨架，記作D ；5)分別用結構算子By Be, Bh對D進行開操作后記作& (D),(D)^⑷)，將三者 進行OR操作后得M = ζΒ (D) I ζΒκ (D) I ζΒΗ (D)，將D和M相減，獲得包含噪聲在內的劃痕細 節圖；6)將步驟3)中得到的劃痕的初級掩模與步驟5)中得到的劃痕細節圖有效結合， 并做后處理，獲得劃痕的最終掩模。所述的劃痕余弦特性模型用公式表示為
P ‘2ρ ρωρ式中i為圖像χ軸，j為圖像y軸。rs(j)是圖像第j列劃痕的起始位置，(j)為 圖像第j列劃痕的終端位置，bp為劃痕最小亮度，P1代表余弦曲線的極值點位置，kp為劃痕 的衰減系數，ωρ為劃痕寬度的一半，sgn為階躍函數。步驟6)中所述的將劃痕初級掩模和劃痕細節圖有效結合，即對兩圖進行與操作， 利用劃痕的初級掩模約束帶有噪聲的劃痕圖，去除劃痕位置周圍的干擾噪聲，同時利用帶 噪聲的劃痕細節圖提取初級掩模中的劃痕細節信息，得到Maskprevi。us，接著進行后處理，得 到劃痕最終掩模。本發明的劃痕檢測部分的方法與現有方法相比，優點在于精確度高，劃痕位置定 位和劃痕細節獲取這兩個模塊之間相輔相成，前者對于劃痕水平位置的預定位縮小了后者 的作用范圍從而去除了后者檢出的大量干擾噪聲，而后者對于前者進行了細化從而提取出 了垂直劃痕的長度及垂直方向上的位置信息；計算復雜度低，劃痕位置定位的方法復雜度 只有O(N) (N為待檢測圖像列數)，遠小于通過神經網絡預篩選劃痕的方法和小波域進行劃 痕檢測的方法。本發明的劃痕修復部分將現有的誤碼掩蓋方法-基于塊的雙邊濾波(BBF)方法擴 展到時域中，提出了基于時空域的3D-BBF劃痕修復方法，具體步驟為首先判斷劃痕類型，如果劃痕在前后幀同一位置附近重復出現，劃痕類型為I類 劃痕，選擇二維的BBF方法，反之，如果劃痕只在當前幀存在，劃痕類型為II類劃痕，對圖像 序列進行鏡頭邊界分割，再采用時空域3D-BBF方法。
所述的時空域3D-BBF方法將圖像分成許多子塊，若含有劃痕信息的待修復子塊 在當前幀的中心點位置為(X，y)，大小為mXn，則搜索區域在前后幀的中心點位置也均為 (X，y)，大小為ρ X q，(P > m，q > η)，ρ和q的大小根據需要選定，通常為^iX 2η。區域大 意味著方法復雜度的增加，但同時對于前后幀偏移程度的容忍度提高，方法從待修復子塊 與搜索域修補子塊之間的地理距離和像素值之差兩方面進行評估，進而計算出合適的修補 子塊權值，經過3D-BBF方法進行劃痕修復后，劃痕區域的像素值為當前幀及前后幀搜索區 域內所有大小為mXn的子塊的加權平均之和。本發明的劃痕修復部分的方法，與現有方法相比，優點在于修復效果好，3D-BBF 在時空域處理圖像，既利用了圖像在一幀內的自相似性，又利用了圖像幀間的相關性，它在 修復連續幾幀存在的劃痕時，效果比BBF略好，但在修復只在當前幀存在的劃痕時，效果顯 著提高；計算復雜度低，大多數基于時域的修復方法需要用到運動估計和運動補償，大大增 加了方法復雜度，而3D-BBF方法不需要對劃痕進行運動補償。與現有技術相比，本發明的劃痕檢測修復系統的有益效果是修復過程完全自動 化，改善了舊電影劃痕的修復效果，降低了人力成本和時間成本，可以廣泛應用于各種視頻 序列的劃痕修復中。
圖1是本發明示意圖。
圖2是劃痕檢測流程示意圖。
圖3是劃痕修復流程示意圖。
圖4是劃痕修復方法原理示意圖。
圖5是經典的劃痕測試圖。
圖6是圖5修復后的圖像。
圖7是含有細微劃痕的電影圖像幀。
圖8是圖7修復后的圖像。
圖9是含有明顯劃痕的電影圖像幀。
圖10是圖9修復后的圖像。
具體實施例方式下面對本發明的實施例作詳細說明，本實施例在以本發明技術方案為前提下進行 實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護范圍不限于下述的實施 例。實施例如圖1所示，輸入原始圖像序列，經過劃痕檢測得到劃痕掩模，再經過劃痕修復， 得到修復后的圖像序列。如圖2所示，劃痕檢測包括以下步驟1)對圖像A(如圖5所示)進行垂直投影，即計算圖像矩陣每一列的均值，得到 一個一維水平向量sig(j)，對sig(j)做水平方向上的均值濾波，得到圖像的亮度截面 cross (j)(如圖6所示)，這一步放大了劃痕余弦衰減的特性，公式如下
權利要求
1.一種電影劃痕損傷的檢測修復方法，包括劃痕的檢測和劃痕的修復兩個部分，其特 征在于1)劃痕的檢測劃痕的檢測過程分為劃痕位置定位和劃痕細節獲取兩個步驟先利用 垂直劃痕的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態學特征獲 取這些劃痕在垂直方向上的細節信息，劃痕位置定位和劃痕細節獲取這兩個步驟之間相輔 相成，前者對于劃痕水平位置的預定位縮小了后者的作用范圍從而去除了后者檢出的大量 干擾噪聲，而后者對于前者進行了細化從而提取出了垂直劃痕的長度及垂直方向上的位置 fn息；2)劃痕的修復將誤碼掩蓋方法-基于塊的雙邊濾波方法擴展到時域中，并應用于劃 痕修復中，提出了基于時空域的3D-BBF劃痕修復方法，3D-BBF方法在時空域處理圖像，既 利用了圖像在一幀內的自相似性，又利用了圖像幀間的相關性，由于一些劃痕在電影序列 幾幀內連續存在，另一些劃痕只在當前幀存在，3D-BBF方法在修復前者時，效果比BBF略 好，但在修復后者時，效果顯著提高。
2.根據權利要求1所述的電影劃痕損傷的檢測修復方法，其特征在于，對于1)中所述 的劃痕檢測方法，分為以下幾個步驟1)對圖像A進行垂直投影，計算圖像矩陣每一列的均值，得到一個一維水平向量，做 水平方向上的均值濾波，得到圖像的亮度截面cross (j)，這一步放大了劃痕余弦衰減的特 性；2)選取cross(j)的所有極值點，根據劃痕特性，對得到的極值點進行寬度約束、亮度 約束和韋伯能量約束，從而篩選出符合劃痕特性的極值點；3)根據求出的劃痕水平位置以及劃痕的寬度，獲得劃痕的初級掩模；4)對原始圖像A做直方圖均衡，加強圖像中劃痕與背景圖像的對比度，用canny算子對 圖像進行邊緣檢測，并做形態學膨脹操作，沿水平軸方向增加劃痕特性，提取出圖像的邊緣 骨架，記作D ；5)分別用結構算子ByBe, Bh對D進行開操作后記作&t (D),ξΒκ (D),ξ Η⑷)，將三者進行 OR操作后得M = ζΒι (D) I ζΒκ (D) I ζβΗ (D)，將D和M相減，獲得包含噪聲在內的劃痕細節圖；6)將步驟3)中得到的劃痕的初級掩模與步驟5)中得到的劃痕細節圖有效結合，并做 后處理，獲得劃痕的最終掩模。
3.根據權利要求2所述的電影劃痕損傷的檢測修復方法，其特征在于，步驟1)中所述 的劃痕余弦模型，用如下公式表示J>2ρρωρ式中i為圖像χ軸，j為圖像y軸，rs(j)是圖像第j列劃痕的起始位置，re(j)為圖像 第j列劃痕的終端位置，bp為劃痕最小亮度，P1代表余弦曲線的極值點位置，kp為劃痕的衰 減系數，ωρ為劃痕寬度的一半，sgn為階躍函數。
4.根據權利要求2所述的電影劃痕損傷的檢測修復方法，其特征在于，步驟6)中所述 的將劃痕的初級掩模和劃痕細節圖有效結合，即對兩圖進行與操作，利用劃痕的初級掩模 約束帶有噪聲的劃痕圖，去除劃痕位置周圍的干擾噪聲，同時利用帶噪聲的劃痕細節圖提取初級掩模中的劃痕細節信息，得到Maskp-接著進行后處理，具體實現方法為首先進行垂直方向和水平方向上的膨脹操作，再根據圖的大小將圖水平分成N段，對 于劃痕區域，設每一段的縱向起始值為top，終值為bottom，用數組T記錄每一段上的像素 之和，并設定閾值為threshold
5.根據權利要求1所述的電影劃痕損傷的檢測修復方法，其特征在于，2)中所述的 3D-BBF劃痕修復方法，具體包括傳統的BBF方法是一種誤碼掩蓋方法，利用了圖像的自相 似性質，具有較好的效果，考慮到劃痕是圖像中的一部分缺失信息，且有些劃痕在幾幀內連 續存在，有些劃痕只在當前幀存在，因此，將BBF方法擴展到時域中，提出了 3D-BBF方法，構 建了一套完整的劃痕修復系統首先判斷劃痕類型，如果劃痕在前后幀同一位置附近重復 出現，劃痕類型為I類劃痕，選擇二維的BBF方法，反之，如果劃痕只在當前幀存在，劃痕類 型為II類劃痕，對圖像序列進行鏡頭邊界分割，再采用時空域3D-BBF方法。
6.根據權利要求5所述的電影劃痕損傷的檢測修復方法，其特征在于，3D-BBF實現的 具體步驟將圖像分成許多子塊，若含有劃痕信息的待修復子塊在當前幀的中心點位置為(x，y)， 大小為mXn，則搜索區域在前后幀的中心點位置也均為(X，y)，大小為pXq，(ρ > m, q> η)，p和q的大小根據需要選定，通常為anX2n，區域大意味著方法復雜度的增加，但同時對 于前后幀偏移程度的容忍度提高，方法從待修復子塊與搜索域修補子塊之間的地理距離和 像素值之差兩方面進行評估，進而計算出合適的修補子塊權值，經過3D-BBF方法進行劃痕 修復后，劃痕區域的像素值為當前幀及前后幀搜索區域內所有大小為mXn的子塊的加權 平均之和，公式表示如下Bh'=^r Wll^-HHK -β'。Ι)β'。ID^IK-MIMKWi IeN10UNiiUN12Wi = ΣΜ||Α;ο-/ο||)5(||5λο -5φ歷。+c(|、-AlMlh -β^ +4\k2 -φ(\\β,2 -及2|)}leNIQ。Nn。NI2氏/為當前幀被修復的子塊，A。，Bll,及2分別為連續三幀內用于修復的子塊，c(| |k。, !,2-1^,2 I)為I IVu-kul I (子塊距離，即子塊內各點距離絕對值之和)的方差為GdW 高斯函數，s(||~,2 -風.,,IMI5v2 - ^c211 (像素值之差，即子塊內各點像素值之差的絕對值 之和)的方差為σ ^的高斯函數，A^12為像素塊工在當前幀及前后幀的鄰域。
全文摘要
一種圖像處理技術領域的電影劃痕損傷的檢測修復方法，包括劃痕檢測和劃痕修復兩部分。劃痕的檢測過程分為劃痕位置定位和劃痕細節獲取兩個模塊先利用垂直劃痕的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態學特征獲取這些劃痕在垂直方向上的細節信息。劃痕的修復在時空域處理圖像，結合前后幀的信息對圖像缺失部分進行修復，既利用了圖像在一幀內的自相似性，又利用了圖像幀間的相關性。本發明系統修復過程完全自動化，改善了舊電影劃痕的修復效果，降低了人力成本和時間成本，可以廣泛應用于各種視頻序列的劃痕修復中。
文檔編號G06T5/00GK102129670SQ201110046698
公開日2011年7月20日 申請日期2011年2月25日 優先權日2011年2月25日
發明者于沛, 周智圓, 莊曉宇, 楊小康, 陳立 申請人:上海交通大學