一種深度圖像中基于多叉樹的局部凸出對象提取方法
【技術領域】
[0001] 本發明涉及計算機視覺技術領域中的的物體檢測技術，特別是涉及一種深度圖像 中基于多叉樹的局部凸出對象提取方法。
【背景技術】
[0002] 隨著深度傳感器（比如微軟的Kinect等）的普及以及雙目立體視覺（比如英特 爾的RealSen Se3D攝像頭等）的發展，立體視覺在最近十年逐漸成為熱門領域，相比傳統二 維平面圖像，深度圖像增加了三維深度信息。深度信息的潛在應用前景是巨大的，而其中一 個重要的應用場景就是物體檢測。
[0003] 物體檢測是計算機視覺領域的一個重要問題，同時也是一個難點問題，獲得盡可 能少且與物體類別無關的對象區域是物體檢測的重中之重。傳統的方法多基于矩形框， 也就是用一系列矩形框盡可能緊致的框出圖像中的對象（比如Pascal Visual Object Classes Challenge等），這類方法在傳統二維圖像領域被廣泛應用，在兼顧速度的同時取 得了較好的檢測精度，但是這種方法亦然存在著生成備選框較多，備選框緊致度低，框內存 在大量無用信息等問題。另一種方法是基于區域分割，也就是分割出圖像中具有特定現實 意義的對象區域，即語義對象，這類方法的精度一般較高，但是算法復雜度高，速度一般較 慢。傳統的物體檢測多采用灰度信息，而很少涉及深度信息，針對現實中的應用需求，亟需 一種兼顧速度和精度的深度圖像中局部凸出對象提取方法。
【發明內容】
[0004] 本發明所要解決的技術問題是提供一種深度圖像中基于多叉樹的局部凸出對象 提取方法，能夠快速、準確的提取出多個凸出對象區域，提升深度圖像中凸出物體檢測的準 確度，使得檢測結果既能滿足人眼視覺要求又能夠較好滿足現實應用中對速度與精度的需 求。
[0005] 本發明解決其技術問題所采用的技術方案是：提供一種深度圖像中基于多叉樹的 局部凸出對象提取方法，包括以下步驟：
[0006] (1)對輸入深度圖像進行逐像素鄰域差分，建立基于多叉樹數據結構的深度樹模 型以及深度樹節點與圖像像素的映射圖；
[0007] (2)對深度樹的葉子節點進行局部優化，去除噪聲；
[0008] (3)遍歷深度樹的葉子節點得到深度圖像的局部極值區域，利用判決函數確定葉 子節點的子樹根節點位置，從而提取出局部凸出對象區域。
[0009] 所述步驟（1)具體包括以下子步驟：
[0010] (11)創建并初始化深度樹根節點和映射圖，根節點的深度值設為最小值，將該節 點位置保存到映射圖中；
[0011] (12)對輸入深度圖像進行逐像素鄰域差分，判斷當前像素深度值是否是鄰域內極 值點；
[0012] (13)如果當前像素是極值點，則創建新的節點；
[0013] (14)如果當前像素不是極值點，則插入鄰域內某一像素的節點中；
[0014] (15)將該節點位置保存在映射圖中，并重復步驟（12)。
[0015] 所述步驟（12)中對輸入深度圖像進行逐像素鄰域差分時，若該像素是深度圖像 原點且深度值為最小值，則直接存儲入根節點，并執行步驟（15)，否則判斷為鄰域內極值 點；若該像素是深度圖像的上邊緣點，則與左像素點差分，判斷是否是鄰域內極值點；若該 像素是深度圖像的左邊緣點，則與上像素點差分，判斷是否是鄰域內極值點；若該像素是深 度圖像的其他點，則分別與上像素點和左像素點差分，判斷是否是鄰域內極值點。
[0016] 所述步驟（13)包括以下子步驟：對鄰域內其他兩像素點所在子樹進行合并；將鄰 域內深度值較大的像素所在節點確認為待插入節點的父節點，創建新葉子節點，調整父節 點、兄弟節點和孩子節點，并保存像素位置值，返回該節點位置。
[0017] 所述步驟（14)包括以下子步驟：
[0018] 對鄰域內其他兩像素點所在子樹進行合并；
[0019] 若該像素深度值與鄰域內某一像素深度值相同，則將該像素的節點確認為待插入 節點，保存像素位置值，返回該節點位置；
[0020] 若該像素深度值與鄰域內某一像素的父輩節點深度值相等，則將該父節點確認為 待插入節點，保存像素位置值，返回該節點位置；
[0021] 若該像素深度值介于鄰域內某一像素的父輩節點及其子節點之間，則將該父節點 確認為待插入節點的父節點，創建新子節點，調整父節點、兄弟節點和孩子節點，并保存像 素位置值，返回該節點位置。
[0022] 所述對鄰域內其他兩像素點所在子樹進行合并的步驟具體包括：
[0023] 若兩像素點所在節點是同一節點，則合并完成；
[0024] 若兩像素點所在節點不是同一節點但兩像素深度值相同，則合并兩像素所在節點 的點集，調整兩像素所在節點的父節點、兄弟節點和子節點，調整映射圖，刪除廢棄節點，則 合并完成；
[0025] 若兩像素點所在節點不是同一節點且兩像素深度值不同，且深度值較大節點的父 節點的深度值仍大于或等于另一深度值較小節點，則對深度值較大節點的父輩節點及較小 節點執行合并步驟；
[0026] 若兩像素點所在節點不是同一節點且兩像素深度值不同，且深度值較大節點的父 節點的深度值小于另一深度值較小節點，則調整兩節點的父節點、兄弟節點和孩子節點，則 合并完成。
[0027] 所述步驟（2)具體包括以下子步驟：
[0028] (21)遍歷深度樹；
[0029] (22)若當前節點不是葉子節點，則繼續遍歷；
[0030] (23)若當前節點是葉子節點，則計算點集數，求得該節點面積，判斷是否小于閾 值；
[0031] (24)若當前節點面積大于等于閾值，則繼續遍歷；
[0032] (25)若當前節點面積小于閾值，則將該葉子節點的點集合并入父節點中，并調整 父節點、兄弟節點，調整映射圖，刪除該節點，繼續遍歷，從而完成對深度樹的葉子節點的局 部優化去除噪聲。
[0033] 所述步驟（3)具體包括以下子步驟：
[0034] (31)遍歷深度樹；
[0035] (32)若當前節點不是葉子節點，則繼續遍歷；
[0036] (33)若當前節點是葉子節點，則求解判決函數的最優解，求得的解即為子樹根節 點位置，而子樹內所有節點點集的并集，即為局部凸出對象的區域；其中，解判決函數為：
式中，M是松弛因子，隊是子樹根節點， Ntl是葉子節點，F(Ni)是對節點隊的點集區域提取特征，Av,是節點Ni的深度值，a JP β i 為權重參數，判決函數的最大值即為節點Ntl的根節點位置。
[0037] 有益效果
[0038] 由于采用了上述的技術方案，本發明與現有技術相比，具有以下的優點和積極效 果：本發明將多叉樹模型運用到深度圖像中局部凸出對象提取，提出了一種全新的基于區 域的圖像分割方法，為深度圖像中快速物體檢測提供了新的解決方案；方法對深度圖像的 質量要求較低，從而降低了雙目立體視覺中對立體匹配的精度要求，適應性與應用前景更 廣；方法中的樹型結構完好的利用和保存了場景中凸出對象的結構信息，每棵子樹就代表 一個獨立的對象，通過先定位局部極值區域再提取出凸出對象完整區域，能夠高效快速的 提取出多個凸出對象區域，提升了深度圖像中局部凸出對象提取效果，使其既能滿足人眼 視覺要求又能夠較好滿足現實應用中對速度與精度的需求。
【附圖說明】
[0039] 圖1是本發明的流程圖；
[0040] 圖2是本發明中建立基于多叉樹數據結構的深度樹模型以及深度樹節點與圖像 像素的映射圖的流程圖；
[0041] 圖3是本發明的建立基于多叉樹數據結構的深度樹模型以及深度樹節點與圖像 像素的映射圖中創建節點的流程圖；
[0042] 圖4是本發明的建立基于多叉樹數據結構的深度樹模型以及深度樹節點與圖像 像素的映射圖中插入節點流程圖；
[0043] 圖5是本發明的對鄰域內其他兩像素點所在子樹進行合并的流程圖；
[0044] 圖6是本發明的遍歷深度樹的葉子節點進行局部優化的流程圖；
[0045] 圖7是本發明的遍歷深度樹的葉子節點，利用判決函數確定葉子節點的子樹根節 點位置，從而提取出局部凸出對象區域的流程圖；
[0046] 圖8和圖9均為本發明的實驗結果示意圖，其中，（a)是原始圖像，（b)是凸出對 象，（c)是提取的對象區域輪廓。
【具體實施方式】
[0047] 下面結合具體實施例，進一步闡述本發明。應理解，這些實施例僅用于說明本發明 而不用于限制本發明的范圍。此外應理解，在閱讀了本發明講授的內容之后，本領域技術人 員可以對本發明作各種改動或修改，這些等價形式同樣落于本申請所附權利要求書所限定 的范圍。
[0048] 本發明的實施方式涉及一種深度圖像中基于多叉樹的局部凸出對象提取方法，如 圖1所示，包括以下步驟：
[0049] (1)對輸入深度圖像進行逐像素鄰域差分，建立基于多叉樹數據結構的深度樹模 型以及深度樹節點與圖像像素的映射圖。
[0050] (2)遍歷深度樹的葉子節點進行局部優化，去除噪聲。
[0051] (3)遍歷深度樹的葉子節點得到深度圖像的局部極值區域，利用判決函數確定葉 子節點的子樹根節點位置，從而提取出局部凸出對象區域。
[0052] 如圖2所示，所述步驟（1)還包括以下子步驟：
[0053] (21)創建并初始化深度樹根節點和映射圖，根節點的深度值設為最小值，將該節 點位置保存到映射圖中；
[0054] (22)對輸入深度圖像進行逐像素鄰域差分，判斷當前像素深度值是否是鄰域內極 值點；
[0055] (23)若當前像素是極值點，則創建新的節點
[0056] (24)若當前像素不是極值點，則插入鄰域內某一像素的節點中；
[0057] (25)將該節點位置保存在映射圖中，并重復步驟（22)。
[0058] 其中，所述步驟（22)還包括以下子步驟：