一種基于svd相似矩陣的圖像修復方法
【專利摘要】本發明公開了一種基于SVD相似矩陣的圖像修復方法，包括：(1)將待修復圖像進行SVD分解，通過將相應的奇異值置為零的操作，得到待修復圖像的相似矩陣；(2)以待修復區域邊界上的每一像素為中心指定待修復圖像塊，在所述相似矩陣中查找對應的最相似圖像塊；(3)將所述最相似圖像塊的像素值賦給所述待修復圖像塊；(4)更新整個待修復區域，并重復步驟(2)～(3)，直到完成圖像修復。本發明提出的基于SVD相似矩陣的圖像修復方法，通過對圖像進行SVD分解，并通過處理奇異值來得到相似矩陣，能夠一定程度移除待修復區域，使得最終修復的圖像在視覺上更加連續；對于缺失區域較大的場景，也能夠有一定程度的效果提升。
【專利說明】
一種基于SVD相似矩陣的圖像修復方法
技術領域
[0001] 本發明涉及計算機圖像處理領域，深度學習領域，以及矩陣分解、奇異值等相關數 學知識，具體涉及一種基于SVD相似矩陣的圖像修復方法。
【背景技術】
[0002] 圖像修復就是重建一幅圖像中的缺失區域的過程，通常會使用缺失區域周圍的像 素信息。修復的目的，就是構建一幅完整的人眼"可觀察"的正常圖像。
[0003] 圖像修復最早是由Bertalmio等人提出的，常見的一些修復方法都是基于PDE的， 也就是通過解偏微分方程的的方程完成修復。Dallester等人基于變分提出了一種新的偏 微分方程;Levin等人提出了一種基于梯度域的圖像修復方法;Alilou等人提出了一種使用 GRNN神經網絡的方法，但是對于紋理豐富，缺損區域較大的圖像，這些方法都有其局限性。
[0004] 近期，Xu 和Sun(Zongben X，Sun J(2010)Image inpainting by patch propagation using patch sparsity. IEEE Trans Image Process 19(5): 1153-1165)利 用稀疏表達的思想，提出了一種基于實例的修復方法，但是這種方法需要一個先驗，即假設 缺失區域可以用候選的圖像塊的線性組合來表達。
【發明內容】
[0005] 本發明提供了一種基于SVD相似矩陣的圖像修復方法，該方法包括，計算待修復圖 像的相似矩陣，選擇的過程對圖像塊進行了奇異值分解，并依次將奇異值置零以得到相似 矩陣。然后，利用神經網絡、SS頂、MSE等相關方法查找相似patch，進而完成圖像的修復。
[0006] -種基于SVD相似矩陣的圖像修復方法，包括：
[0007] (1)將待修復圖像進行SVD分解，通過將相應的奇異值置為零的操作，得到待修復 圖像的相似矩陣；
[0008] (2)以待修復區域邊界上的每一像素為中心指定待修復圖像塊，在所述相似矩陣 中查找對應的最相似圖像塊；
[0009] (3)將所述最相似圖像塊的像素值賦給所述待修復圖像塊；
[0010] (4)更新整個待修復區域，并重復步驟(2)~(3)，直到完成圖像修復。
[0011] 在步驟(1)中的相似矩陣In，按照以下公式得到：
[0012] In=UxSxV
[0013] 其中，U，V為所述待修復圖像通過奇異值分解得到的左、右奇異矩陣，S~為奇異值 分解得到的對角矩陣中部分對角元素置零后的近似奇異值矩陣。
[0014] 在步驟（1)中利用神經網絡模型計算待修復圖像與相似矩陣的相似性，并與閾值 比較，如果相似性小于等于閾值，則完成相似矩陣的計算；如果相似性大于閾值，則將對角 矩陣中對角元素逐個置零迭代計算，之子獲得最終的相似矩陣。
[0015] 在步驟(1)中奇異值分解得到的對角矩陣為S，
[0018]在步驟(2)中獲取最相似圖像塊時，在相似矩陣中按照間隔2個像素、從左往右、從 上往下的規律，依次掃描得到各個待選圖像塊，再計算和比較各待選圖像塊與待修復圖像 塊的相似性以及關系。
[0019 ]在步驟(2)中各待選圖像塊與待修復圖像塊的相似性為：
[0021]其中，x，y表示待比較的待修復圖像塊和待選圖像塊，μχ，μγ為x，y的均值，〇 x，oy為 X，y的標準差，〇Xy為X，y的協方差，ci、C2為常數。
[0022]在步驟(2)中各待選圖像塊與待修復圖像塊的關系為：
[0024] Px為待修復圖像塊；
[0025] Py為待選圖像塊；
[0026] 其中η表示Px中已經填充的像素的個數；
[0027] 所述最相似圖像塊為的simx,y值最小的待選圖像塊。
[0028] 與現有技術相比，本發明的有益效果為：
[0029] (1)本發明提出一種基于SVD相似矩陣的圖像修復方法，通過采用相似矩陣，能夠 一定程度移除待修復區域，這樣可以使最最終修復的圖像視覺上更加連續。
[0030] (2)本發明提出的基于SVD相似矩陣的圖像修復方法，對于缺失區域較大的場景， 也能夠有一定程度的效果提升。
【具體實施方式】
[0031] 下面將結合具體實施例對本發明進行詳細說明。本發明基于SVD相似矩陣的圖像 修復方法主要步驟如下：
[0032] (1)記輸入的待修復圖像為1(本實施中，I的大小為256X256)，標記待修復區域為 Ω 0
[0033] (2)指定待修復區域的邊界像素點集合為3Ω。如果Ω為空，則處理過程結束。
[0034] (3)對輸入的圖像做如下初步修復操作：
[0035] (3-1)對圖像I做SVD分解：
[0036] [U S V]=SVD(I)
[0037] 其中，SVD表示奇異值分解操作，U，S，V分別表示最終分解得到的左奇異矩陣、對角 矩陣和右奇異矩陣。
[0038] (3-2)記上述分解得到的對角矩陣S的對角元素為811，微，幻3...~ 11，其中11為奇異 值個數(本實施中，n = 256)，且滿足S11彡S22彡S33彡...s?彡0,現進行以下迭代操作：
[0039] (3-2-1)令8"1 = 0，計算/"=￡/\(^廠，其中1]，￥為步驟(3-1)計算得到的左、右奇異 矩陣，g是將S最后奇異值s?改為零后得到的矩陣，符號表示為：
[0041] (3_2_2)參考"Zagoruyko,Sergey,and Nikos Komodakis.Learning to compare image patches via convolutional neural networks(2015)"提出的神經網絡（文中已給 出訓練好的模型），計算I、In之間的相似性s(I，I n):
[0042] 首先，將I、In均分為64 X 64的圖像塊對，具體實施時，共有16對圖像塊;其次，將每 一對圖像塊，分別輸入上述神經網絡，經過一系列的卷積層、ReLU激活層、池化層，最終進入 到一個稱為"decision network"的網絡結構;最后，通過上述網絡結構，經數據處理后輸出 一個相似性度量值，即求得I、^的相似性s(I，I n)。
[0043] 整個數據的處理過程是end-to-end的，中間不需要手動的操作，或是添加額外的 信息。
[0044] (3-2-3)將計算得到的s(I，In)值與一個閾值thr = 0.6比較，如果小于等于閾值， 則迭代停止，進行步驟(4)，此時的"近似"圖像J"=i/x互χΓ，記為T ;如果大于閾值，則令η =η-1，返回（3-2-1)繼續迭代。
[0045] (4)檢查待修復區域Ω，如果不為空，則標明待修復區域Ω中的邊界像素點，其集 合記為T bcmndary;如果為空，則整個處理過程結束。
[0046] (5)對于Tbcmndary中的每個元素X，即待修復區域邊界上的一個像素點，以其為中 心，大小為h(本實施中，h = 11 X 11)的圖像塊兒Px，進行以下處理：
[0047] (5-1)在圖像T中，提取同樣大小為h的圖像塊兒Py(圖像T中的每個元素 y，即圖 像T上的一個像素點，都對應一個圖像塊。具體實施中，按照大小為h、間隔2個像素、從左往 右、從上往下的規律，依次掃描圖像T得到圖像塊兒P y)，然后，按照以下公式，計算兩圖像塊 Px與Py之間的相似性：
[0049] 其中，X，y表示兩個待比較的圖像塊Px、Py，μχ，μγ為X，y的均值(像素值加和后除以 總的像素個數），σ χ，〇y為X，y的標準差，〇Xy為X，y的協方差，C1、C2為較小的常數(具體實施時， ci = 6.5,C2 = 58.5) 〇
[0050] (5-2)將上述計算得到的SSIM(x，y)值從小到大排序，選擇前K個SS頂(x，y)對應的 圖像塊P y，形成的集合記為C，這里K表示被選擇的圖像塊兒的個數，一般取值為
(其中L」表示"向下取整"，比如1Λ9」=4 ;img_width表示輸入 圖像I的寬，img_height表示輸入圖像I的高，具體實施中K = 256)。
[0051] (5-3)對于C中的每一個圖像塊Py，按照以下公式計算與初提取的圖像塊Ρ χ之間的 關系：
[0053] 其中η表示Px中已經填充的像素的個數(未填充的意味著尚待修復），SS頂(x，y)即 為上述所計算的值。
[0054] (5-4)根據計算得到的simx,y找到最小的那個值，該值對應圖像T中的圖像塊為 然后，將Px中位于修復區域Ω中的像素，置為對應的^中相應位置的像素值。
[0055] (6)將邊界像素點集合·從Ω中移除，即更新Ω，返回⑵繼續執行。
【主權項】
1. 一種基于SVD相似矩陣的圖像修復方法，其特征在于，包括： (1) 將待修復圖像進行SVD分解，通過將相應的奇異值置為零的操作，得到待修復圖像 的相似矩陣； (2) W待修復區域邊界上的每一像素為中屯、指定待修復圖像塊，在所述相似矩陣中查 找對應的最相似圖像塊； (3) 將所述最相似圖像塊的像素值賦給所述待修復圖像塊； (4) 更新整個待修復區域，并重復步驟(2)~(3)，直到完成圖像修復。2. 如權利要求1所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(1)中的 相似矩陣In,按照W下公式得到：其中，U，V為所述待修復圖像通過奇異值分解得到的左、右奇異矩陣，容為奇異值分解得 到的對角矩陣中部分對角元素置零后的近似奇異值矩陣。3. 如權利要求2所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(1)中利 用神經網絡模型計算待修復圖像與相似矩陣的相似性，并與闊值比較，如果相似性小于等 于闊值，則完成相似矩陣的計算;如果相似性大于闊值，則將對角矩陣中對角元素逐個置零 迭代計算，之子獲得最終的相似矩陣。4. 如權利要求3所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(1)中奇 異值分解得到的對角矩陣為S，5. 如權利要求4所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(2)中獲 取最相似圖像塊時，在相似矩陣中按照間隔2個像素、從左往右、從上往下的規律，依次掃描 得到各個待選圖像塊，再計算和比較各待選圖像塊與待修復圖像塊的相似性W及關系。6. 如權利要求5所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(2)中各 待選圖像塊與待修復圖像塊的相似性為：其中，x，y表示待比較的待修復圖像塊和待選圖像塊，μχ,μγ為x，y的均值，〇x，〇y為x，y的 標準差，Oxy為X，y的協方差，C1、C2為常數。7. 如權利要求6所述的基于SVD相似矩陣的圖像修復方法，其特征在于，在步驟(2)中各 待選圖像塊與待修復圖像塊的關系為：Ρχ為待修復圖像塊； Py為待選圖像塊； 其中η表示P X中已經填充的像素的個數； 所述最相似圖像塊為的sink,y值最小的待選圖像塊。
【文檔編號】G06T5/00GK106097266SQ201610407120
【公開日】2016年11月9日
【申請日】2016年6月8日
【發明人】葉福軍, 張根源
【申請人】浙江傳媒學院