深度圖像增強方法
【技術領域】
[0001] 本發明總體上涉及圖像處理的領域，具體而言，涉及在對應強度的圖像可用時使 深度圖像增強的領域。
【背景技術】
[0002] 基于3D成像（三維成像）的計算機視覺應用近年來已經獲得科學界的越來越多 關注。這至少部分是由于在工業中對能夠感測場景中的物體的形狀和位置的自主系統的越 來越大的需求。
[0003] 近年來，基于飛行時間（ToF)原理的3D相機已經能夠在市場上買到。與2D相機 相比，它們為每個像素測量場景中的點到相機的徑向距離，而2D相機僅提供場景的灰色或 彩色圖像（以下被稱為"強度圖像"）。其它3D成像器基于三角測量。無源三角測量（場 景沒有有源照明）被稱為立體觀測或立體視覺。有源系統采用激光或結構光技術。三角測 量方法通常計算強度更大，因為必須要為每個像素計算深度值。對于立體成像而言，這涉及 求解所謂的對應問題（識別兩個半圖像中的對應物體）。在使用結構光技術時，通常要處理 幾種照明圖案。雖然如此，基于立體視法或結構光的實時提供高分辨率深度圖的3D成像器 已經同時變得可用。Microsoft的Kinect?是使用結構光技術的3D成像器的當前最常見 的示例。
[0004] 無論使用哪種已知深度感測技術，都可以通過將深度圖像與來自2D相機的強度 圖像組合來獲得益處。當今的ToF相機比普通的2D相機分辨率低得多，并且深度測量受到 噪聲的影響。2D和3D ToF相機數據的融合可以用于克服3D相機的所述局限性。立體成 像器通常為深度圖像提供可接受的分辨率，但它們具有另一個缺點，因為它們不能為僅被 相機的其中之一看到的像素可靠地分配深度值。此外，在對比度差的區域中，深度值的確定 較不可靠。兩種效果都可能導致深度圖像包含無深度值或深度值被認為不可靠的區域。結 構光成像器存在類似問題。為使它們能夠感測任何深度，照明單元和相機必須由基線分開。 這將不可避免地導致閉塞或遮蔽效應。如從相機看到的，被照明單元遮蔽的區域不能被直 接歸于任何深度值。
[0005] 本發明提出了解決這些問題的方法。通過將深度圖像與強度圖像融合增強了深度 圖像（也被稱為"距離圖像"）的準確度和分辨率。出于本文獻的目的，如有必要，假設已經 進行了像素匹配。換言之，對于深度圖像的每個像素，在強度圖像中存在一個對應的像素， 反之亦然，其中如果像素涉及場景的同一部分（對其成像），則像素被認為是對應的。
[0006] 本文中呈現的方法基于如下文章中呈現的方法的進一步發展：由F. Garcia、 D. Aouada、B. Mirbach、T. Solignac、B. Ottersten 于 2011 年在與先進的基于視頻和信號 的監測有關的第8屆IEEE國際會議的進程中發表的"A New Multi-Lateral Filter for Real-Time Depth Enhancement"。該文章中提出的方法涉及利用ToF相機采集的深度圖像 的增強并且改善了聯合雙邊上采樣（JBU)濾波器，其由下式限定：
[0007]
【主權項】
1. 一種增強場景的深度圖像的方法，包括： 提供所述場景的所述深度圖像和強度圖像，所述深度圖像的每個像素在所述強度圖像 中具有對應像素； 通過向所述深度圖像應用第一濾波器來計算第一濾波深度圖像，所述第一濾波器包括 交叉雙邊濾波器，其對所述深度圖像的像素進行平均，同時由所述強度圖像中的對應像素 的相似性對進行平均的像素的貢獻進行加權； 通過向所述深度圖像應用第二濾波器來計算第二濾波深度圖像，所述第二濾波器包括 雙邊濾波器，其對所述深度圖像的像素進行平均，同時由所述強度圖像中的對應像素的相 似性對進行平均的像素的貢獻進行加權； 通過混合所述第一濾波深度圖像與所述第二濾波深度圖像來計算增強深度圖像，所述 混合是通過應用混合圖來實現的，所述混合圖為所述增強深度圖像的每個像素限定所述第 一濾波深度圖像的對應像素對所述每個像素的貢獻以及所述第二濾波深度圖像的對應像 素對所述每個像素的貢獻； 其特征在于 對于所述深度圖像中的不包含深度值或包含無效深度值的像素，所述混合圖限定了所 述第二濾波深度圖像的對應像素的零貢獻以及所述第一濾波圖像的對應像素的100%貢 獻。
2. 根據權利要求1所述的方法，其中，所述第一濾波器被配置為排除不包含深度值或 包含無效深度值的像素的貢獻。
3. 根據權利要求1或2所述的方法，其中，所述第二濾波器被配置為排除不包含深度值 或包含無效深度值的像素的貢獻。
4. 根據權利要求1到3中的任一項所述的方法，其中，對于所述深度圖像中的包含有效 深度值的像素，所述混合圖限定了所述第一濾波深度圖像的對應像素的貢獻和所述第二濾 波深度圖像的對應像素的貢獻，所述貢獻取決于對所述強度圖像中的對應像素處的強度的 均勻性的測量。
5. 根據權利要求4所述的方法，隨著強度的均勻性增大，所述第一濾波深度圖像的對 應像素的貢獻減小并且所述第二濾波深度圖像的對應像素的貢獻增大。
6. -種增強場景的深度圖像的方法，包括： 提供所述場景的所述深度圖像和強度圖像，所述深度圖像的每個像素在所述強度圖像 中具有對應像素； 通過向所述深度圖像應用濾波器來計算濾波深度圖像，所述濾波器包括交叉雙邊濾波 器，其對所述深度圖像的像素進行平均，同時由所述強度圖像中的對應像素的相似性對進 行平均的像素的貢獻進行加權； 通過混合所述濾波深度圖像與所述深度圖像來計算增強深度圖像，所述混合是通過 應用混合圖來實現的，所述混合圖為所述增強深度圖像的每個像素限定了所述濾波深度圖 像的對應像素對所述每個像素的貢獻以及所述深度圖像的對應像素對所述每個像素的貢 獻； 其特征在于 對于所述深度圖像中的不包含深度值或包含無效深度值的像素，所述混合圖限定了所 述深度圖像的對應像素的零貢獻以及所述濾波圖像的對應像素的100%貢獻。
7. 根據權利要求6所述的方法，其中，所述濾波器被配置為排除不包含深度值或包含 無效深度值的像素的貢獻。
8. 根據權利要求6或7所述的方法，其中，對于所述深度圖像中的包含有效深度值的像 素，所述混合圖限定了所述濾波深度圖像的對應像素的貢獻和所述深度圖像的對應像素的 貢獻，所述貢獻取決于對所述強度圖像中的對應像素處的強度的均勻性的測量。
9. 根據權利要求8所述的方法，隨著強度的均勻性增大，所述濾波深度圖像的對應像 素的貢獻減小并且所述深度圖像的對應像素的貢獻增大。
10. 根據權利要求1到9中的任一項所述的方法，其中，通過內插法將所述增強深度圖 像上采樣到較高圖像分辨率。
11. 一種包括計算機可實施的指令的計算機程序，所述指令在被計算機執行時使所述 計算機執行根據權利要求1到10中的任一項所述的方法。
12. -種包括存儲器和處理器的數據處理設施，所述存儲器包含能夠由所述處理器實 施的指令，所述指令在被所述處理器執行時使所述處理器執行根據權利要求1到10中的任 一項所述的方法。
【專利摘要】一種用于增強場景的深度圖像的方法，包括：通過混合第一濾波深度圖像與第二濾波深度圖像或原始深度圖像來計算增強深度圖像。所述混合是通過應用混合圖來實現的，所述混合圖為每個像素限定所述第一濾波深度圖像的對應像素和所述第二濾波深度圖像或所述原始深度圖像的對應像素對所述增強深度圖像的貢獻。對于所述深度圖像中的不包含深度值或包含無效深度值的像素，所述混合圖限定了所述第二濾波深度圖像的對應像素的零貢獻以及所述第一濾波圖像的對應像素的100％貢獻。
【IPC分類】H04N13-00, G06T5-00
【公開號】CN104756490
【申請號】CN201380054638
【發明人】B·米爾巴赫, T·索利尼亞克, F·加西亞貝切羅, D·奧達
【申請人】Iee國際電子工程股份公司
【公開日】2015年7月1日
【申請日】2013年9月9日
【公告號】DE112013004534T5, US20150235351, WO2014044569A1