一種深度圖像缺失數據的插值方法
【技術領域】
[0001] 本發明涉及圖像處理方法，尤其是涉及一種針對深度圖像采集過程中的缺失數 據，進行估值和插補的方法。
【背景技術】
[0002] 隨著科學技術的進步，深度圖像傳感器在人機交互、機器人導航、物體識別、3D建 模等領域得到了廣泛應用。深度圖像傳感器主要采用了基于"Iight-coding"的立體視覺 圖像實時獲取技術，可以實時獲取目標區域內的RGB-D圖像（即同時包含彩色RGB信息與 深度信息的圖像），其主要產品以微軟公司的Kinect為代表，還有華碩公司的Xtion-Pro等 類似產品。
[0003] "light-coding"是PrimeSense公司開發的深度測量技術。基于"light-coding" 技術的深度圖像傳感器主要包括紅外激光散斑發射裝置、紅外攝像頭、彩色攝像頭以及運 算處理器等裝置，其通過紅外激光散斑發射裝置向目標區域發射激光光斑，并利用紅外攝 像頭抓取激光光斑圖像，由于不同距離、方位的物體其反射的光斑大小和分布各不相同，由 此就可實現待測空間范圍內的實時深度圖像獲取；再結合另一彩色攝像頭同步拍到的彩色 圖像，通過校正與匹配，從而實現RGB-D圖像的實時獲取。
[0004] 但是，由于這類深度圖像傳感器主要依賴發射、反射激光散斑來測量距離，其獲取 的深度圖像中，經常由于視差、鏡面反射、物體吸光、物體過遠等原因，產生大量沒有深度值 的空洞（即像素的深度值為0)，這會給深度圖像的后續處理帶來很大困難。為解決這一問 題，本領域技術人員研究開發了針對深度圖像缺失數據的修復技術（即重新確定深度值為 〇的像素的深度值），如中國發明專利"深度圖像后處理的方法"（申請號201110460155.X)， 其針對立體匹配算法產生的深度圖像，可以修復深度圖像中遮擋區域、低紋理區域的不可 信點，從而獲取精確平滑的深度圖像，但其只能處理少量的數據缺失，對于較大面積的數據 缺失情況不能很好地處理。又如學術論文"Kinect深度圖像快速修復算法"（王奎等2012年 10月發表于上海大學學報），公開了一種深度圖缺失數據的修復方法，但是該方法只適用 于修復因遮擋產生的數據缺失，而對于由鏡面反射產生的大面積數據缺失情況難以處理。
【發明內容】
[0005]本發明的目的是提供一種深度圖像缺失數據的插值方法，具有估算準確度高、實 時運行能力強的優點。
[0006] 為解決現有技術中深度圖像傳感器采集的深度圖像存在大量數據缺失，常用圖像 處理方法又不能很好修復的技術問題，本發明一種深度圖像缺失數據的插值方法，包括以 下步驟：
[0007] -、針對深度圖像中缺失數據的像素，提取包含缺失數據像素的所有深度子圖 像；
[0008] 二、根據每個深度子圖像中缺失數據的像素所占總像素的比例，將所有深度子圖 像劃分為兩類；
[0009] 三、針對兩類深度子圖像，分別采用基于時間和空間鄰域信息聚類分析的估算方 法與基于局部鄰域最大值的估算方法，對缺失數據進行估算；
[0010] 四、針對深度圖像，將其中的缺失數據相應地替代為根據第三步獲得的估算值，獲 得修復好的深度圖像；
[0011] 其中所述缺失數據是指深度圖像中的像素深度值為0的狀態，也指像素缺失深度 值。
[0012] 進一步地，本發明一種深度圖像缺失數據的插值方法，其中在上述步驟一中，所述 提取包含缺失數據像素的所有深度子圖像，按以下方式實現：
[0013] ( -）以深度圖像中其個缺失深度值的像素為中心，提取邊長為10~20像素的正 方形區域，作為一個深度子圖像；
[0014] (二）以步驟（一）的方式，遍歷深度圖像中所有缺失深度值的像素，提取所有深 度子圖像；
[0015] 其中，在步驟（二）的遍歷過程中，如果某個缺失深度值的像素已經包含在一個深 度子圖像中，就不再以其作為中心來提取深度子圖像。
[0016] 進一步地，本發明一種深度圖像缺失數據的插值方法，其中在上述步驟二中，所述 將所有深度子圖像劃分為兩類，按以下方式實現：
[0017] ( -）針對某個深度子圖像，統計其中包含的像素總數，記為L;并統計其中包含的 缺失深度值的像素數，記為N;
[0018] (二）計算缺失深度值的像素數N和像素總數L的比值，記為V=N/L;
[0019] (三）當V>T時，將該深度子圖像歸于第一類；當VfT時，將該深度子圖像歸 于第二類；
[0020] 其中T為預設閾值，T的取值范圍為（0,1]。
[0021] 進一步地，本發明一種深度圖像缺失數據的插值方法，其中在上述步驟三中，按以 下方式對缺失數據進行估算：
[0022] ( -）當深度子圖像屬于第一類時，采用基于時間和空間鄰域信息聚類分析的估 算方法對缺失深度值的像素進行深度值估算，即：
[0023]
[0024] (二）當深度子圖像屬于第二類時，采用基于局部鄰域最大值的估算方法對缺失 深度值的像素進行深度值估算，即：
[0025] D(x,f,t) =max{DH (x,y,t)} [2]
[0026] 在公式[1]和[2]中，D(x,y,t)表示t時刻（x，y)坐標位置的深度估算值， D(x,y,t-idt)表示t-idt時刻（X，y)坐標位置的深度值，dt表示幀間隔時間；k表示在連 續的m幀中（x，y)坐標位置的有效深度值個數；a表示系數，其取值范圍為[0，1]，a與k/ m的大小相關；D' (x，y，t)表示對（x，y)坐標位置的時間鄰域和空間鄰域進行聚類分析之 后對0^，7,0位置的深度值進行的估算；1^1{%〇^， 7,〇}表示在以〇^7)坐標位置為中心 的局部范圍內的最大有效深度值。
[0027] 進一步地，本發明一種深度圖像缺失數據的插值方法，其中D' (x，y，t)按以下方 式獲得：
[0028] ( -）針對缺失深度值的（x，y，t)位置，提取空間域Rxy和時間域Tt內所有的像素 點，組成像素點集合Pxyt;其中空間域Rxy為以（x，y)為中心、邊長為10個像素的正方形區 域；時間域1\為t時刻之前連續10幀的總時間；
[0029](二）針對像素點集合Pxyt，利用彩色圖像的R、G、B分量數值作為特征向量 [r，g，b]，以（x，y，t)位置的彩色分量值作為初始值，運用K-mean聚類算法將像素點集合 Pxyt分成3~4類；
[0030](三）根據像素點集合Pxyt的分類，確定（x，y，t)位置的所屬分類，并計算所屬分 類中有效深度值的均值，作為D' (x，y，t);如果（x，y，t)位置所屬分類中所有點的深度值 均無效，則取像素點集合Pxyt的分類中具備有效深度值最多的分類，并計算該分類中有效深 度值的均值作為D' (x，y，t)。
[0031] 本發明一種深度圖像缺失數據的插值方法與現有技術相比，具有以下優點：本發 明針對深度圖像采集過程中的缺失數據，提供的缺失數據的估值和插補方法，同時兼顧了 時間域歷史信息和空間域彩色相關信息，不但估值準確度高，而且具備較強的實時運行效 率，能滿足深度圖像中大面積缺失數據的估值和插補要求。
[0032] 下面結合附圖所示實施例對本發明一種深度圖像缺失數據的插值方法作進一步 詳細說明：
【附圖說明】
[0033] 圖1為本發明一種深度圖像缺失數據的插值方法的流程圖；
[0034] 圖2為本發明一種深度圖像缺失數據的插值方法中，屬于A類的深度子圖像缺失 深度值的估算方法的流程圖。
【具體實施方式】
[0035] 首先需要說明的，本【具體實施方式】所處理的深度圖像來源于Kinect深度圖像傳 感器，數據包括深度圖像和彩色圖像：
[0036] (1)深度圖像：t時刻拍攝范圍內的實時深度圖像以D(x，y，t)表示，圖像大小為 640*480,像素深度值（即深度圖像中的像素值）的范圍為[0-8096]，表示空間中該點到攝 像頭平面的距離，其中深度值為0的像素表示數據缺失的像素，也就是需要本發明對該像 素的深度值進行重新估算與插值的像素。
[0037] (2)彩色圖像：t時刻與深度圖像對應的拍攝范圍內的實時彩色圖像以I(x，y，t) 表示，圖像大小為640*480,彩色圖像包括R、G、B三通道，每個通道中像素值的范圍為 [0-255]〇
[0038] 深度圖像傳感器在工作過程中，會同步采集、記錄深度圖像和彩色圖像的數據，即 創建內存空間，并在其中按時間順序記錄K幀的深度圖像數據和彩色圖像數據，作為歷史 數據，K可取值10~20。
[0039] 深度圖像的歷史數據可表示為：D(x，y，t-K)，D(x，y，t-K+1)，…D(x，y，t)
[0040] 彩色圖像的歷史數據可表示為：I(x，y，t-K)，I(x，y，t-K+1)，…I(x，y，t)
[0041] 其中，t時刻的深度圖像D(x，y，t)，為需要對其中的缺失數據進行處理的圖像，即 利用本發明對其中的深度值為〇的像素進行重新估算深度值并進行插補的圖像。如圖1所 示的流程圖，本發明【具體實施方式】的步驟如下：
[0042] 步驟一，針對t時刻的深度圖像中缺失數據的像素，提取包含缺失數據像素的所 有深度子圖像。提取深度子圖像的