一種融合高分辨率彩色圖像的深度圖增強方法與流程
本發明屬于圖像處理技術領域，涉及深度圖像增強方法，特指一種融合高分辨率彩色圖像的深度圖增強方法。
背景技術：
深度圖像是一種用來描述三維場景幾何信息的圖像，圖像中的每一個像素點都表示三維場景中某點到成像平面的距離。隨著計算機視覺技術的發展，深度信息估計技術也逐漸發展成為計算機視覺領域的研究熱點之一，被廣泛地應用于導航系統分析、立體視頻生成、虛擬現實等系統中。
目前對深度信息估計的方法主要分為兩類：主動光方法和被動光方法。
主動光方法是一種利用特殊測距設備如TOF攝像頭、微軟的Kinect、三維激光掃描儀等設備直接獲取三維場景深度信息的方法，該方法具有較高的精確性和實時性，但主動光方法存在設備價格昂貴、易受噪聲影響、分辨率低的缺陷。
被動光方法則無需添置額外設備，而是利用現有的圖像采集設備直接獲取彩色圖像或視頻，并從這些圖像或視頻幀中恢復出深度圖，這種方法對視差估計精度要求較高，需要計算各坐標系的變換矩陣和攝像機內外參數，如雙目立體匹配，存在較多的約束條件和高時間復雜度問題。
主動光方法因其獲取深度圖像具有實時性，因此越來越受人們的關注，逐步發展成為深度圖獲取的主流方式之一，并針對主動光設備獲取的深度圖提出了許多后處理方法來提高原深度圖質量，達到降低噪聲影響、提高深度圖分辨率的目的。
深度圖分辨率的提升是根據已知采樣點的低分辨率深度值估計未知采樣點的深度值，從有限離散采樣點的深度圖中恢復出更加連續的深度圖像。經典插值方法是根據低分辨率圖像本身的信息采用加權方法來確定待插值像素的深度值，這類經典的方法僅僅依靠深度圖像本身的冗余信息，插值效果受到限制。
目前對于深度圖像增強方法已有不少的研究，主要分為兩類：基于全局優化的插值方法和基于雙邊的插值方法。基于全局優化的插值方法不僅從整體上考慮了深度圖像的全局代價，而且考慮了局部平滑因素，能獲得高質量的深度圖像，主要代表方法有基于最小二乘優化的插值方法、基于馬爾科夫隨機場的深度圖像插值方法、自回歸優化方法等，但此類方法計算量大，時間復雜度高，耗時較長。基于雙邊濾波的插值方法具有低復雜度的性質，更適用于實時性較強的深度圖像增強方法，但直接基于雙邊濾波插值方法可以有效地實現空洞填補，對深度圖的分辨率增強并無明顯改善，因此研究人員提出了許多改進方法，主要有針對邊緣擴散問題的自適應融合顏色相似項與原始深度相似項的插值方法，基于梯度域的彩色圖像濾波方法對邊緣進行平滑約束等。
技術實現要素：
針對主動光設備獲取的深度圖像存在分辨率低、易受噪聲影響等缺陷，本發明其目的在于提出一種融合高分辨率彩色圖像的深度圖增強方法。
本發明的技術方案是：
一種融合高分辨率彩色圖像的深度圖增強方法，包括以下步驟：
S1對低分辨率的深度圖像利用鄰域差分法求取鄰域內像素點的最大深度差值，設定閾值對深度圖像進行區域劃分，將深度圖像劃分為邊緣區域和非邊緣區域。
首先選定一個5*5的鄰域窗口Ω，以待判定的像素點Pij為鄰域窗口中心像素點，通過取最大值函數max和取最小值函數min求得深度圖像鄰域窗口Ω內所有像素點的最大深度差值(max(Ω)-min(Ω))，設定閾值T，比較該鄰域的最大深度差值與閾值的大小，若最大深度差值大于閾值T，則判斷該鄰域區域為邊緣區域；否則，該鄰域區域為非邊緣區域。
S2對S1中低分辨率深度圖像的非邊緣區域基于局部鄰域方差進行二次劃分，初始化一個4*4的鄰域窗口，以待插值點為中心，計算待插值點的直接相鄰像素點深度值的期望和方差，根據深度方差將非邊緣區域再次劃分為深度值變化平坦區和紋理復雜區；
將S1中所有判定為低分辨率深度圖像的非邊緣區域的像素點標記為S1區域，判定為低分辨率深度圖像的邊緣區域的像素點標記為S2區域；基于局部鄰域方差的立體卷積插值方法對S1區域的像素點進行插值，先在S1區域初始化一個像素點為待插值點，由(1)式計算待插值點在原圖像(即低分辨率深度圖像)中對應的四個直接與之相鄰像素點的平均值E，由(2)式計算待插值點的直接相鄰像素點深度值方差Var。
Var＝(E-D(i-1,j))2+(E-D(i+1,j))2+(E-D(i,j-1))2+(E-D(i,j+1))2 (2)
設定閾值，當待插值點的直接相鄰像素點深度值方差小于設定閾值時，表明該點所處的四鄰域區域比較平坦，深度值變化不大，為深度值變化平坦區；當待插值點的直接相鄰像素點深度值方差大于設定閾值時，表明該點的四鄰域區域紋理細節較豐富，為紋理復雜區。
S3對S2得到的深度值變化平坦區進行插值增強，以四個直接相鄰像素點的深度平均值作為待插值點對應映射點的深度值即D(i+μ,j+υ)＝E，對紋理復雜區利用4*4鄰域的立體卷積插值法求得待插值點對應映射點的深度值；
利用立體卷積插值法既考慮四個直接相鄰像素點的深度值影響，也考慮到4*4鄰域內其他像素點間深度值變化率的影響，通過待插值點鄰域內的16個已知像素點深度值估計映射點深度值。設待插值點(i,j)的深度值為D(i,j)，對應的映射點為(i+μ,j+υ)，映射點的深度值表示為D(i+μ,j+υ)，其中插值基函數S(x)的表達式如式(3)所示，x為自變量。
則利用立體卷積插值法計算映射點的深度值D(i+μ,j+υ)的公式如下：
S4對低分辨率深度圖像的邊緣區域基于聯合雙邊濾波方法進行插值處理，以同一場景下的高分辨率彩色圖像作為參考圖，基于雙邊濾波原理將低分辨率深度圖上采樣到高分辨率圖像，計算邊緣區域內各像素點對應映射點的深度值，并將插值處理完成的深度增強圖像輸出。
設點m、n為同一場景下的高分辨率圖像上的兩個像素點，m'、n'是低分辨率深度圖像上與高分辨率圖像上m、n對應位置的像素點，Im、In表示高分辨率圖像在m、n點處的灰度值，權重函數通常以高斯函數作為核函數，其中δs、δr分別為空域距離核函數和顏色相似核函數的標準差，則空域距離核函數Hs(m',n')和灰度相似核函數Hr(Im,In)的表達式如(5)式所示：
上采樣高分辨圖像與高分辨率彩色圖像具有邊緣一致性，以w為雙邊濾波窗口，將低分辨率深度圖像邊緣區域即S2區域上的所有像素點上采樣到高分辨率計算公式如下：
其中Dn'表示低分辨率深度圖上的像素點n'對應的深度值，Dm表示上采樣高分辨率圖像上各像素點對應的深度值。根據(6)式計算得到原低分辨率深度圖像邊緣區域內各像素點對應映射點的深度值，最后將低分辨率深度圖像插值處理完成之后的深度增強圖像輸出。
本發明提出了一種融合高分辨率彩色圖像的深度圖增強方法，不僅能有效地去除噪聲干擾，縮短深度增強算法的復雜度，而且可以保持圖像邊緣信息的完整性。通過鄰域差分法求取鄰域內像素點的最大深度差值，將低分辨率深度圖像劃分為邊緣區域和非邊緣區域，并利用局部鄰域方差將非邊緣區域進行二次劃分，分別采用均值插值法和立體卷積插值法獲取待插值點對應映射點的深度值，然后以高分辨率彩色圖像為參考圖，基于雙邊濾波原理將低分辨率深度圖上采樣到高分辨率圖像，獲取各像素點對應映射點的深度值，最后將插值處理完成的深度增強圖像輸出。
附圖說明
圖1是本發明一種融合高分辨率彩色圖像的深度圖增強方法的流程圖；
圖2是基于局部方差的插值法流程框圖。
具體實施方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
通過主動光設備獲取的深度圖像分辨率較低且存在大量的噪聲干擾，深度圖像相對于彩色圖像而言，其邊緣結構更加簡單，可以利用插值方法來增加深度圖像的分辨率，實現深度圖像增強。若直接采用經典插值算法對整幅深度圖進行處理，容易造成深度圖像的非邊緣區域出現紋理拷貝和邊緣模糊的現象，同時為了避免深度圖像出現邊緣過平滑的問題。因此，本發明利用鄰域差分法求取鄰域內最大深度差值，設定閾值對深度圖像進行區域劃分，將深度圖像的邊緣區域和非邊緣區域分離。
參照圖1，本發明一種融合高分辨率彩色圖像的深度圖增強方法的流程圖。
首先選定一個5*5的鄰域窗口Ω，以待判定的像素點Pij為鄰域窗口中心像素點，通過取最大值函數max和取最小值函數min求得深度圖像鄰域窗口Ω內所有像素點的最大深度差值(max(Ω)-min(Ω))，設定閾值T，比較該鄰域的最大深度差值與閾值的大小，若最大深度差值大于閾值T，則判斷該鄰域區域為邊緣區域；否則，該鄰域區域為非邊緣區域。
將所有判定為非邊緣區域的像素點標記為S1區域，判定為邊緣區域的像素點標記為S2區域，然后分別對圖像的兩個區域像素點處理，基于局部鄰域方差的立體卷積插值方法對S1區域的像素點進行插值，基于聯合雙邊濾波方法對S2區域的像素點進行插值，達到較少噪聲干擾，增加深度圖像分辨率的目的。
考慮到鄰域點深度值和鄰域內像素點之間深度值變化率的影響，對非邊緣區域S1中的像素點基于局部鄰域方差的立體卷積插值方法進行插值處理。為了避免S1區域內所有像素點進行立體卷積插值處理，減少計算量，將待插值點的四鄰域像素點深度值方差(即由公式(2)計算得到的待插值點的直接相鄰像素點深度值方差Var)與設定閾值進行比較，當方差值小于閾值時，表明該點所處的四鄰域區域比較平坦，深度值變化不大，則取相鄰像素點的深度平均值作為待插值點對應映射點的深度值；當方差值大于閾值Var時，表明該點的四鄰域區域紋理細節較豐富，則利用立體卷積插值法計算待插值點的深度值，提高算法精度，直到S1區域內的所有像素點計算完成。具體過程如圖2所示：先在S1區域初始化一個像素點為待插值點，由(1)式計算待插值點在原圖像中對應的四個直接相鄰像素點的平均值E，由(2)式計算待插值點的直接相鄰像素點深度值方差Var。
Var＝(E-D(i-1,j))2+(E-D(i+1,j))2+(E-D(i,j-1))2+(E-D(i,j+1))2 (2)
根據實驗經驗值取閾值為20時，既能保證圖像質量又能有效地降低運算量。當Var＜20時，取相鄰像素點的深度平均值作為待插值點對應映射點的深度值，即D(i+μ,j+υ)＝E；當Var≥20時，利用立體卷積插值法既考慮四個直接相鄰點的深度值影響，也考慮到4*4鄰域內其他像素點間深度值變化率的影響，通過待插值點鄰域內的16個已知像素點深度值估計映射點深度值，設待插值點(i,j)的深度值為D(i,j)，對應的映射點為(i+μ,j+υ)，映射點的深度值表示為D(i+μ,j+υ)，其中插值基函數S(x)的表達式如式(3)所示，x為自變量。
則利用立體卷積插值法計算映射點的深度值D(i+μ,j+υ)的公式如下：
至此，基于局部鄰域方差的立體卷積插值方法完成對S1區域的所有像素點進行插值處理，降低計算量的同時保證非邊緣區域的紋理細節信息被增強。由于彩色圖像與深度圖像之間存在著很強的結構相似性，因此通過高分辨率的彩色圖像與低分辨率深度圖像融合，基于聯合雙邊濾波方法對深度圖像的邊緣S2區域進行插值來濾出噪聲干擾，并提高深度圖像的分辨率，實現深度圖增強。
將同一場景下的高分辨率彩色圖像作為參考圖，基于雙邊濾波原理將低分辨率深度圖像上采樣到高分辨率圖像，雙邊濾波結合了空域距離核函數和灰度相似核函數，雙邊濾波系數由空域鄰近系數和灰度相似系數的非線性組合，空域鄰近系數隨著像素點坐標距離的增大而減小，灰度相似系數隨著像素灰度之差的增大而減小。在圖像變化平滑的區域，雙邊濾波轉化為高斯低通濾波；在圖像變化劇烈的區域，雙邊濾波轉化為高斯高通濾波。因此，基于雙邊濾波的插值方法可以去噪的同時保留圖像邊緣細節信息。
設點m、n為高分辨率圖像上的兩個像素點，m'、n'是低分辨率深度圖像上與高分辨率圖像上m、n對應位置的像素點，Im、In表示高分辨率圖像在m、n點處的灰度值，權重函數通常以高斯函數作為核函數，其中δs、δr分別為空域距離核函數和顏色相似核函數的標準差，則空域距離核函數Hs(m',n')和灰度相似核函數Hr(Im,In)的表達式如(5)式所示：
上采樣高分辨圖像與高分辨率彩色圖像具有邊緣一致性，以w為雙邊濾波窗口，將低分辨率深度圖像邊緣區域S2上的所有像素點上采樣到高分辨率計算公式如下：
其中Dn'表示低分辨率深度圖上的像素點n'對應的深度值，Dm表示上采樣高分辨率圖像上各像素點對應的深度值。根據(6)式計算得到原低分辨率深度圖像邊緣區域S2內各像素點對應映射點的深度值，最后將低分辨率深度圖像插值處理完成之后的深度增強圖像輸出。
以上包含了本發明優選實施例的說明，這是為了詳細說明本發明的技術特征，并不是想要將發明內容限制在實施例所描述的具體形式中，依據本發明內容主旨進行的其他修改和變型也受本專利保護。本發明內容的主旨是由權利要求書所界定，而非由實施例的具體描述所界定。
- 還沒有人留言評論。精彩留言會獲得點贊！