三維面部檢測的方法和裝置的制造方法
【專利摘要】本發明實施例提供一種三維面部檢測的方法和裝置。所述方法包括：獲取待檢測的三維人體點云數據，其中，所述三維人體點云數據至少包括人的面部點云數據；根據預定的局部結構提取方法和預定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所在的位置；以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截取出三維人臉點云數據。本發明實施例，通過采用三維點云數據的方式進行人臉檢測，可以避免三維物體的信息丟失，且三維點云數據不易受到尺度變化、視點變化以及光照變化等因素影響，從而提高面部檢測的準確度。
【專利說明】
三維面部檢測的方法和裝置
技術領域
[0001]本發明涉及計算機視覺技術，尤其涉及一種三維面部檢測的方法和裝置。
【背景技術】
[0002] 隨著計算機視覺技術的不斷發展，照相機或攝像機等會設置有人臉檢測等功能， 從而為照相或攝像帶來方便。
[0003] 目前，人臉檢測主要是基于二維圖像的方式進行。具體地，在拍攝某區域的圖像 時，照相機或攝像機會將上述區域的三維空間數據通過映射的方式映射到二維圖像空間 中，從而形成相應的二維圖像，通過對該二維圖像中的光照信息和視點信息等進行人臉的 檢測。
[0004] 然而，由于二維圖像的成像過程涉及從三維物理空間到二維圖像空間的映射，因 此會導致三維物體部分信息的丟失，從而使得二維圖像難以實現對三維物體的精確表示， 而且，二維圖像容易受到尺度變化、視點變化以及光照變化等因素影響，從而降低了面部檢 測的準確度。
【發明內容】
[0005] 本發明的目的在于，提供一種用于人臉檢測的三維面部檢測的方法，以及實現該 方法的裝置，通過采用三維點云數據的方式進行人臉檢測，從而提高面部檢測的準確度。
[0006] 根據本發明的一方面，提供一種三維面部檢測的方法。所述方法包括，獲取待檢測 的三維人體點云數據，其中，所述三維人體點云數據至少包括人的面部點云數據;根據預定 的局部結構提取方法和預定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉 鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所在的位置；以所述三維人 臉鼻尖所在的位置為中心從所述三維人體點云數據截取出三維人臉點云數據。
[0007] 優選地，所述獲取待檢測的三維人體點云的處理包括:獲取預定背景下人體的三 維點云數據;根據所述預定背景下人體的三維點云數據和所述預定背景的三維點云數據， 確定待檢測的三維人體點云數據。
[0008] 優選地，所述根據所述預定背景下人體的三維點云數據和所述預定背景的三維點 云數據，確定待檢測的三維人體點云數據的處理包括:對所述預定背景下人體的三維點云 數據和所述預定背景的三維點云數據進行背景差分，得到差分的三維點云數據作為待檢測 的三維人體點云數據。
[0009] 優選地，所述以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截 取出三維人臉點云數據的處理包括：以所述三維人臉鼻尖所在的位置為中心從所述三維人 體點云數據截取出三維人臉基礎點云數據;根據預定的三維面部虛警濾除模型對所述三維 人臉基礎點云數據進行虛警濾除，得到三維人臉點云數據;其中，所述預定的三維面部虛警 濾除模型基于機器學習的方式構建。
[0010] 優選地，所述預定的局部結構提取方法為超體素分割方法，所述根據預定的局部 結構提取方法和預定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉鼻尖位 置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所在的位置的處理包括:根據超體 素分割方法對所述三維人體點云數據進行過分割，得到多個超體素；以每個超體素為中心， 基于其鄰域屬性特征提取三維局部結構;基于提取的三維局部結構、上一幀三維人體點云 數據的三維人臉鼻尖所在的位置和預定的三維鼻尖檢測模型對所述三維人體點云數據進 行三維人臉鼻尖位置檢測，得到待檢測的三維人體點云數據中的三維人臉鼻尖所在的位 置。
[0011]根據本發明的另一方面，提供一種三維面部檢測的裝置。所述裝置包括:人體點云 獲取模塊，用于獲取待檢測的三維人體點云數據，其中，所述三維人體點云數據至少包括人 的面部點云數據;鼻尖位置確定模塊，用于根據預定的局部結構提取方法和預定的三維鼻 尖檢測模型對所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云 數據中的三維人臉鼻尖所在的位置;人臉點云截取模塊，用于以所述三維人臉鼻尖所在的 位置為中心從所述三維人體點云數據截取出三維人臉點云數據。
[0012] 優選地，所述人體點云獲取模塊包括:三維點云獲取單元，用于獲取預定背景下人 體的三維點云數據;人體點云確定單元，用于根據所述預定背景下人體的三維點云數據和 所述預定背景的三維點云數據，確定待檢測的三維人體點云數據。
[0013] 優選地，所述人體點云確定單元，用于對所述預定背景下人體的三維點云數據和 所述預定背景的三維點云數據進行背景差分，得到差分的三維點云數據作為待檢測的三維 人體點云數據。
[0014] 優選地，所述人臉點云截取模塊包括:基礎點云確定單元，用于以所述三維人臉鼻 尖所在的位置為中心從所述三維人體點云數據截取出三維人臉基礎點云數據;虛警濾除單 元，用于根據預定的三維面部虛警濾除模型對所述三維人臉基礎點云數據進行虛警濾除， 得到三維人臉點云數據;其中，所述預定的三維面部虛警濾除模型基于機器學習的方式構 建。
[0015] 優選地，所述預定的局部結構提取方法為超體素分割方法，所述鼻尖位置確定模 塊包括:超體素獲取單元，用于根據超體素分割方法對所述三維人體點云數據進行過分割， 得到多個超體素;局部結構提取單元，用于以每個超體素為中心，基于其鄰域屬性特征提取 三維局部結構;鼻尖位置確定單元，用于基于提取的三維局部結構、上一幀三維人體點云數 據的三維人臉鼻尖所在的位置和預定的三維鼻尖檢測模型對所述三維人體點云數據進行 三維人臉鼻尖位置檢測，得到待檢測的三維人體點云數據中的三維人臉鼻尖所在的位置。
[0016] 根據本發明實施例提供的三維面部檢測的方法和裝置，通過獲取的至少包括人的 面部點云數據的待檢測的三維人體點云數據，并使用預定的局部結構提取方法和預定的三 維鼻尖檢測模型進行三維人臉鼻尖位置檢測，得到三維人體點云數據中的鼻尖所在的位 置，以該鼻尖所在的位置為中心從三維人體點云數據中截取出三維人臉點云數據，這樣，通 過采用三維點云數據的方式進行人臉檢測，可以避免三維物體的信息丟失，且三維點云數 據不易受到尺度變化、視點變化以及光照變化等因素影響，從而提高面部檢測的準確度。
【附圖說明】
[0017] 圖1是示出根據本發明實施例一的三維面部檢測的方法的流程圖；
[0018] 圖2是示出根據本發明實施例二的三維面部檢測的方法的流程圖；
[0019] 圖3是示出根據本發明實施例三的三維面部檢測的裝置的一種邏輯框圖；
[0020]圖4是示出根據本發明實施例三的三維面部檢測的裝置的另一種邏輯框圖；
[0021]圖5是示出根據本發明實施例三的三維面部檢測的裝置的又一種邏輯框圖；
[0022]圖6是示出根據本發明實施例三的三維面部檢測的裝置的又一種邏輯框圖。
【具體實施方式】
[0023]本方案的發明構思是，通過獲取的至少包括人的面部點云數據的待檢測的三維人 體點云數據，并使用預定的局部結構提取方法和預定的三維鼻尖檢測模型進行三維人臉鼻 尖位置檢測，得到三維人體點云數據中的鼻尖所在的位置，以該鼻尖所在的位置為中心從 三維人體點云數據中截取出三維人臉點云數據，這樣，通過采用三維點云數據的方式進行 人臉檢測，可以避免三維物體的信息丟失，且三維點云數據不易受到尺度變化、視點變化以 及光照變化等因素影響，從而提高面部檢測的準確度。
[0024]下面結合附圖詳細描述本發明的示例性實施例。
[0025] 實施例一
[0026]圖1是示出根據本發明實施例一的三維面部檢測的方法的流程圖。通過包括如圖3 所示的裝置執行所述方法。
[0027]參照圖1，在步驟S110,獲取待檢測的三維人體點云數據，其中，所述三維人體點云 數據至少包括人的面部點云數據。
[0028]其中，三維人體點云數據為以點的形式記錄人體結構的數據，每一個點包含有三 維坐標，并且其中的每一個點還可以包含有灰度等其他信息。三維人體點云數據中包含有 人體的幾何結構信息。面部點云數據為以點的形式記錄人的面部特征的數據。
[0029] 在實施中，可以通過多種方式獲取某人體的三維人體點云數據，例如，可以通過深 度攝像機、深度照相機、深度傳感器或激光雷達等獲取該人體的各個部位的深度信息，并可 以基于得到的深度信息得到該人體的三維人體點云數據。本發明實施例中，具體可以使用 深度傳感器的方式獲取三維人體點云數據，其中，深度傳感器可以具體包括如Kinect深度 傳感器和Real Sense深度傳感器等。
[0030] 可以將深度攝像機或深度傳感器等安裝在指定的位置(如房間的屋頂角落中，或 者，在街角彎路處等），通過安裝的深度攝像機或深度傳感器可以采集其當前正對區域內的 二維深度圖像，然后，可以從采集的二維深度圖像中獲取人體三維點云數據。
[0031] 在步驟S120,根據預定的局部結構提取方法和預定的三維鼻尖檢測模型對所述三 維人體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻 尖所在的位置。
[0032] 其中，局部結構提取方法可以包括多種，例如超體素分割方法或基于八叉樹的局 部結構提取方法等，超體素分割方法可以是將待分割的數據根據預定的規律分割成多個相 對較大的分塊的方法。預定的三維鼻尖檢測模型可以包括多種，例如，基于曲率分析方法的 模型、基于特征向量法的模型或者基于投影法的模型等。
[0033] 在實施中，預定的局部結構提取方法以超體素分割方法為例，對于基于八叉樹的 局部結構提取方法可以根據其現已提供的方法步驟執行，在此不再贅述。可以通過超體素 分割方法將所述三維人體點云數據進行分割，將所述三維人體點云數據分割為多個部分， 然后，分析每一個超體素部分所屬的人體局部結構，可以將得到的多個部分的超體素點云 數據輸入到預定的三維鼻尖檢測模型中進行計算，得到輸出的數據，即為所述三維人體點 云數據中的三維人臉鼻尖所在的位置。
[0034] 在步驟S130,以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截 取出三維人臉點云數據。
[0035] 在實施中，由于鼻尖所在的位置通常是人臉的中間位置，通過人臉的中間位置可 以更加方便的確定人臉所在的區域，因此，可以所述三維人臉鼻尖所在的位置為中心，并以 預定長度為半徑得到相應的球體區域，可以將所述球體區域與所述三維人體點云數據所對 應的坐標區域相重合的區域作為人臉點云數據所在的區域，此時，可以獲取所述重合的區 域中位于所述人體點云數據中人體正面的點云數據，得到的點云數據即為所述三維人體點 云數據中的三維人臉點云數據。
[0036]本發明實施例提供的三維面部檢測的方法，通過獲取的至少包括人的面部點云數 據的待檢測的三維人體點云數據，并使用預定的局部結構提取方法和預定的三維鼻尖檢測 模型進行三維人臉鼻尖位置檢測，得到三維人體點云數據中的鼻尖所在的位置，以該鼻尖 所在的位置為中心從三維人體點云數據中截取出三維人臉點云數據，這樣，通過采用三維 點云數據的方式進行人臉檢測，可以避免三維物體的信息丟失，且三維點云數據不易受到 尺度變化、視點變化以及光照變化等因素影響，從而提高面部檢測的準確度。
[0037] 實施例二
[0038]圖2是示出根據本發明實施例二的三維面部檢測的方法的流程圖，所述實施例可 視為圖1的又一種具體的實現方案。
[0039]參照圖2,在步驟S210,獲取預定背景下人體的三維點云數據。
[0040] 其中，預定背景可以是任意背景，例如純白色背景或純藍色背景等，還可以是某公 共場合中的指定位置處(具體如車輛的出入口等）。
[0041] 在實施中，隨著小型、廉價的實時深度傳感器的推出（如Kinect深度傳感器和 RealSense深度傳感器等），基于三維點云的面部實時檢測將替代二維圖像的面部檢測成為 主要的面部檢測方法。為此，本發明提供一種基于三維點云的面部實時檢測方法，具體地， 在進行三維面部檢測前，需要對深度傳感器當前感應范圍內的場景（即拍攝人體圖像時，人 體所在的背景)進行初始化，即首先利用Kinect等深度傳感器獲取上述場景（即預定背景） 的深度圖像，然后，根據得到的深度圖像與當前預定背景的實際三維空間的幾何映射關系， 確定所述預定背景的三維點云數據。
[0042] 在進行三維面部檢測時，可以開啟Kinect等深度傳感器，該深度傳感器可以實時 采集所述預定背景下的深度圖像。當人體進入所述深度傳感器的感應范圍內時，所述深度 傳感器可以獲取包括所述人體相關數據的所述預定背景下的深度圖像，可以對上述深度圖 像進行分析計算得到預定背景下人體的三維點云數據。
[0043]在步驟S220,根據所述預定背景下人體的三維點云數據和所述預定背景的三維點 云數據，確定待檢測的三維人體點云數據。
[0044]在實施中，可以對所述預定背景下人體的三維點云數據和所述預定背景的三維點 云數據進行分析，確定所述預定背景的三維點云數據與所述預定背景下人體的三維點云數 據中相同的數據以及不同的數據，并可以將得到的相同的數據從所述預定背景下人體的三 維點云數據中刪除，最終，可以得到人體的三維點云數據，即可作為待檢測的三維人體點云 數據。
[0045]此外，上述步驟S220的處理除了可以通過上述方式確定待檢測的三維人體點云數 據外，還可以通過其它多種方式確定待檢測的三維人體圖像，以下提供一種可選的處理方 式，具體可以包括以下內容：對所述預定背景下人體的三維點云數據和所述預定背景的三 維點云數據進行背景差分，得到差分的三維點云數據作為待檢測的三維人體點云數據。 [0046]在實施中，為了加快從所述預定背景下人體的三維點云數據中提取出三維人體點 云數據，可以采用相應的計算方法實現上述過程。可以通過Kinect等深度傳感器采集當前 預定背景下的深度圖像，根據所述深度圖像中包含的與所述深度傳感器之間的距離信息， 將所述深度圖像轉換為三維點云數據，從而得到預定背景下人體的三維點云數據。然后，可 以通過所述預定背景的三維點云數據對所述預定背景下人體的三維點云數據進行差分計 算，以將所述預定背景下人體的三維點云數據中包含的所述預定背景的三維點云數據刪 除，得到差分計算后的三維點云數據即作為待檢測的三維人體點云數據。
[0047]需要說明的是，在理想情況下，如果實時獲取到的三維點云數據與預定背景的三 維點云數據相同，則通過上述差分計算后得到的三維點云數據非常少或者沒有數據，此時， 可以確定實時獲取到的三維點云數據中不包含三維人體點云數據。
[0048]另外，由于受到深度傳感器中相關參數擾動等因素的影響，當沒有人體進入所述 預定背景內時，通過上述差分計算后仍然可以得到相應的點云數據，因此，需要在進行上述 差分計算之前對上述實時獲取的三維點云數據進行分析判斷，去除深度傳感器中相關參數 擾動等因素的影響。本發明實施例中，可以采用但不限于與深度傳感器之間的距離、實時獲 取的三維點云數據的長寬高等幾何屬性的方式來濾除上述參數擾動對差分計算的影響。 [0049]在步驟S230,根據超體素分割方法對所述三維人體點云數據進行過分割，得到多 個超體素。
[0050]其中，超體素可以是二維圖像中的超像素在三維圖像中的拓展，能夠高效的將三 維無規則的點云數據過分割為有意義的三維局部結構。每個超體素中的三維數據點相互連 通，且具有一定的相似的幾何特征。
[0051 ] 在實施中，超體素分割方法可以是VCCS(Voxel Cloud Connectivity Segmentation)分割方法等，以VCCS分割算法為例，首先，可以根據所述三維人體點云數據 對應的空間的分辨率，可以使用八叉樹算法從所述三維人體點云數據中構建超體素空間， 可以基于構建的超體素空間確定所述三維人體點云數據對應的超體素鄰域圖。
[0052]在步驟S240,以每個超體素為中心，基于其鄰域屬性特征提取三維局部結構。
[0053]在實施中，基于上述步驟S240中的相關內容，在得到的超體素鄰域圖中以其一階 鄰域提取三維局部結構，并將超體素的中心作為三維局部結構的中心。對每個三維局部結 構的描述可以包含四個組成成分:特征描述向量、局部參考框架、類別標記和局部結構相對 于鼻尖位置的空間偏移量。
[0054]其中，上述四個組成成分的獲取與構成可以根據現有的技術方案執行，在此不再 贅述。
[0055]需要說明的是，除了可以采用一階鄰域的方式提取三維局部結構外，也可以采用 二階鄰域甚至更高階鄰域的方式來提取三維局部結構。
[0056]在步驟S250,基于提取的三維局部結構和預定的三維鼻尖檢測模型對所述三維人 體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所 在的位置。
[0057]其中，所述三維鼻尖檢測模型可以包括基于多種計算方法的鼻尖檢測模型，本發 明實施例中三維鼻尖檢測模型具體可以為基于霍夫森林的三維鼻尖檢測模型。
[0058]在實施中，可以先通過訓練樣本對基于霍夫森林的三維鼻尖檢測模型進行訓練， 可以通過上述步驟S210~步驟S240的處理得到多個三維局部結構，可以將多個三維局部結 構作為訓練樣本輸入到基于霍夫森林的三維鼻尖檢測模型進行訓練。在訓練基于霍夫森林 的三維鼻尖檢測模型時，可采用如下式所示的二元測試函數：
[0060] 其中，v表示三維局部結構，ae{l，2，...C}表示選取的特征通道，C表示三維局部 結構的特征維數，τ表示選取的特征通道對應的閾值。公式（1)所示的二元測試函數將三維 局部結構視作整體來定義基于霍夫森林的三維鼻尖檢測模型中隨機樹枝節點的分裂函數 (不考慮三維局部結構內數據點的特征相對關系）。利用公式（1)所示的二元測試函數，交替 的最小化類別不確定性（如公式（2))和偏移量不確定性（如公式（3))，得到最優參數對 {a j} 〇
[0061 ]類別不確定性定義如下：
[0063]其中，|A|是局部圖像塊集A中元素的個數，p(l|A)是A中類別為1的元素所占的比 例。
[0064]偏移量不確定性定義如下：
[0066]其中，cU為葉子節點處第i個三維局部結構相對于三維人臉鼻尖所在的位置的三 維空間偏移量，dA是集合A中所有正樣本的平均偏移量。交替的最小化類別不確定性和偏移 量不確定性保證了到達葉子節點的樣本同時具有最小的類別不確定性和偏移量不確定性。 因此，在廣義霍夫投票階段基于霍夫森林的三維鼻尖檢測模型能夠以較小的不確定性對三 維人臉鼻尖所在的位置進行投票。
[0067] 所有到達枝節點的訓練樣本根據所選特征通道的值與最優閾值的相對關系被劃 分到左右子節點中。重復執行上述過程直到基于霍夫森林的三維鼻尖檢測模型中決策樹的 深度達到了最大值或到達枝節點的樣本數量小于給定閾值。每個枝節點存儲所選擇的特征 通道2和對應的閾值f，每個葉子節點存儲所有到達該葉子節點的正樣本的偏移向量、局部 參考框架以及正樣本數量在到達該節點的所有樣本數量中的比例，從而得到預定的三維鼻 尖檢測模型。
[0068] 在檢測鼻尖所在的位置時，每提取一個三維局部結構，就將其輸入到所述預定的 三維鼻尖檢測模型中進行特征匹配。根據每棵決策樹枝節點中存儲的特征通道及其對應閾 值，三維局部結構將與每棵決策樹中的某個葉子節點匹配。根據該葉子節點上存儲的偏移 量，三維局部結構就會對鼻尖位置進行投票，投票值為該葉子節點上存儲的正樣本的比例。 由于葉子節點上偏移量的多樣性以及隨機森林通常包含多棵決策樹，因此每個三維局部結 構會對多個位置進行投票。所有三維局部結構投票值的累積構成了三維霍夫投票空間。霍 夫空間中某處投票值的大小表示該處為鼻尖的置信度。可以通過非極大值抑制或均值漂移 方法在三維霍夫投票空間中檢測極值來估計鼻尖所在的位置。
[0069] 考慮到人臉姿態的變化會對三維人體點云數據產生不同，為此，可以利用基于局 部參考框架的旋轉矩陣估計方法進行處理。具體地，如果得到的三維局部結構為非對稱局 部結構，則基于局部參考框架來估計檢測樣本和訓練樣本之間的旋轉變換矩陣，然后根據 估計的旋轉矩陣來矯正目標中心的霍夫投票。具體方法如下：如果中心位置為Ps的三維局 部結構Vs及其對應的局部參考框架Fs，將Vs作為基于霍夫森林的三維鼻尖檢測模型的輸入 進行特征匹配。假設Vs與基于霍夫森林的三維鼻尖檢測模型中的某個葉子節點相匹配，該 葉子節點包含三維局部結構Vm，對應的局部參考框架為Fm，相對于目標中心的空間偏移量為 dm。那么，測試樣本三維局部結構Vs與訓練樣本三維局部結構Vm之間的旋轉變換矩陣R為：
[0070] R = F! F;.......................（4)
[0071] 利用旋轉矩陣R來矯正訓練樣本局部結構的偏移量dm的霍夫投票，則三維局部結 構Vs相對于其目標中心的偏移量ds為：
[0072] ds = dmR........................(5)
[0073] 測試樣本的目標中心〇為：
[0074] 〇=ps --dm(d:)……⑷
[0075] 所有三維局部結構投票完成后得到三維霍夫投票空間，在該三維霍夫投票空間內 可通過檢測局部極值的方法來估計鼻尖中心所在的位置。
[0076] 考慮到在未給定鼻尖所在的初始位置時，均值漂移算法需要在整個霍夫投票空間 中檢測相應的極值，如果給定了鼻尖所在的初始位置，則可以在所述初始位置附近來確定 相應的極值，因此，為了加快鼻尖所在的位置的檢測效率，可以給定鼻尖所在的初始位置， 本發明實施例中，可以將上一幀圖像中鼻尖所在的位置的估計結果作為下一幀圖像中鼻尖 所在的位置的初始位置，相應的處理可以包括以下內容:基于提取的三維局部結構、上一幀 三維人體點云數據的三維人臉鼻尖所在的位置和預定的三維鼻尖檢測模型對所述三維人 體點云數據進行三維人臉鼻尖位置檢測，得到待檢測的三維人體點云數據中的三維人臉鼻 尖所在的位置。
[0077]上述內容的具體處理方法可以參見上述相關內容，在此不再贅述。
[0078]在步驟S260,以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截 取出三維人臉基礎點云數據。
[0079]在實施中，可以基于所述三維人體點云數據建立三維坐標系，所述三維坐標系可 以所述三維人臉鼻尖所在的位置為坐標原點建立，其中，三維坐標系的X軸和y軸確定的平 面與人臉平行。可以分別設定X方向的閾值(或者門限值）、y方向的閾值和z方向的閾值，基 于設定的上述閾值，從三維人體點云數據中截取相應的點云數據即為三維人臉基礎點云數 據。
[0080]其中，X方向的閾值、y方向的閾值和z方向的閾值可以根據實際情況確定，也可以 是預先設定的固定值。本發明實施例中，X方向的閾值和y方向的閾值可以相同，例如，X方向 的閾值和y方向的閾值都為80毫米，z方向的閾值可以為50毫米等。
[0081]在步驟S270,根據預定的三維面部虛警濾除模型對所述三維人臉基礎點云數據進 行虛警濾除，得到三維人臉點云數據。
[0082]在實施中，通過上述方式確定人臉鼻尖所在的位置后，可以其為中心從三維點云 數據中截取人臉點云數據。又由于通過上述方式獲取的鼻尖所在的位置可能存在虛警，因 此可以通過對截取的所述三維人臉基礎點云數據做進一步虛警濾除。
[0083]其中，所述預定的三維面部虛警濾除模型基于機器學習的方式構建。基于機器學 習的方式構建所述三維面部虛警濾除模型，可分為離線訓練和在線濾除兩階段。在離線訓 練階段，可將數據集中的三維人臉基礎點云數據作為正訓練樣本，除所述正訓練樣本外的 點云數據作為負訓練樣本，基于上述正訓練樣本和負訓練樣本可以訓練人臉分類的二類分 類器，從而得到三維面部虛警濾除模型。在線濾除階段，可將所述三維人臉基礎點云數據送 入訓練出的三維面部虛警濾除模型中，得到分類器判定結果。如果判定結果為所述三維人 臉基礎點云數據是非人臉點云數據，則濾除所述三維人臉基礎點云數據。如果判定結果為 所述三維人臉基礎點云數據是人臉點云數據，則可將所述三維人臉基礎點云數據作為三維 人臉點云數據輸出。同時，還可以將所述三維人臉點云數據對應的鼻尖所在的位置送入到 預定的三維鼻尖檢測模型中，以加快預定的三維鼻尖檢測模型的計算效率。
[0084]本發明實施例提供的三維面部檢測的方法，通過獲取的至少包括人的面部點云數 據的待檢測的三維人體點云數據，并使用超體素分割方法和預定的三維鼻尖檢測模型進行 三維人臉鼻尖位置檢測，得到三維人體點云數據中的鼻尖所在的位置，以該鼻尖所在的位 置為中心從三維人體點云數據中截取出三維人臉點云數據，這樣，通過采用三維點云數據 的方式進行人臉檢測，可以避免三維物體的信息丟失，且三維點云數據不易受到尺度變化、 視點變化以及光照變化等因素影響，從而提高面部檢測的準確度。
[0085] 實施例三
[0086]基于相同的技術構思，圖3是示出根據本發明實施例三的三維面部檢測的裝置的 邏輯框圖。參照圖3,所述裝置包括人體點云獲取模塊310、鼻尖位置確定模塊320和人臉點 云截取模塊330。其中，人體點云獲取模塊310與鼻尖位置確定模塊320相連接，鼻尖位置確 定模塊320與人臉點云截取模塊330相連接。
[0087]人體點云獲取模塊310用于獲取待檢測的三維人體點云數據，其中，所述三維人體 點云數據至少包括人的面部點云數據。
[0088]鼻尖位置確定模塊320用于根據預定的局部結構提取方法和預定的三維鼻尖檢測 模型對所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中 的三維人臉鼻尖所在的位置。
[0089]人臉點云截取模塊330用于以所述三維人臉鼻尖所在的位置為中心從所述三維人 體點云數據截取出三維人臉點云數據。
[0090]進一步地，在圖3所示的實施例的基礎上，如圖4所述的人體點云獲取模塊310包 括:三維點云獲取單元311，用于獲取預定背景下人體的三維點云數據;人體點云確定單元 312,用于根據所述預定背景下人體的三維點云數據和所述預定背景的三維點云數據，確定 待檢測的三維人體點云數據。
[0091]此外，人體點云確定單元312,用于對所述預定背景下人體的三維點云數據和所述 預定背景的三維點云數據進行背景差分，得到差分的三維點云數據作為待檢測的三維人體 點云數據。
[0092]進一步地，在如圖4所示實施例的基礎上，在如圖5所示的人臉點云截取模塊330包 括:基礎點云確定單元331，用于以所述三維人臉鼻尖所在的位置為中心從所述三維人體點 云數據截取出三維人臉基礎點云數據;虛警濾除單元332,用于根據預定的三維面部虛警濾 除模型對所述三維人臉基礎點云數據進行虛警濾除，得到三維人臉點云數據;其中，所述預 定的三維面部虛警濾除模型基于機器學習的方式構建。
[0093]進一步地，所述預定的局部結構提取方法為超體素分割方法，在如圖5所示實施例 的基礎上，在如圖6所示的鼻尖位置確定模塊320包括:超體素獲取單元321，用于根據超體 素分割方法對所述三維人體點云數據進行過分割，得到多個超體素；局部結構提取單元 322,用于以每個超體素為中心，基于其鄰域屬性特征提取三維局部結構;鼻尖位置確定單 元323,用于基于提取的三維局部結構、上一幀三維人體點云數據的三維人臉鼻尖所在的位 置和預定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到 待檢測的三維人體點云數據中的三維人臉鼻尖所在的位置。
[0094]本發明實施例提供的三維面部檢測的裝置，通過獲取的至少包括人的面部點云數 據的待檢測的三維人體點云數據，并使用預定的局部結構提取方法和預定的三維鼻尖檢測 模型進行三維人臉鼻尖位置檢測，得到三維人體點云數據中的鼻尖所在的位置，以該鼻尖 所在的位置為中心從三維人體點云數據中截取出三維人臉點云數據，這樣，通過采用三維 點云數據的方式進行人臉檢測，可以避免三維物體的信息丟失，且三維點云數據不易受到 尺度變化、視點變化以及光照變化等因素影響，從而提高面部檢測的準確度。
[0095] 需要指出，根據實施的需要，可將本申請中描述的各個步驟/部件拆分為更多步 驟/部件，也可將兩個或多個步驟/部件或者步驟/部件的部分操作組合成新的步驟/部件， 以實現本發明的目的。
[0096] 上述根據本發明的方法可在硬件、固件中實現，或者被實現為可存儲在記錄介質 (諸如CD R0M、RAM、軟盤、硬盤或磁光盤)中的軟件或計算機代碼，或者被實現通過網絡下載 的原始存儲在遠程記錄介質或非暫時機器可讀介質中并將被存儲在本地記錄介質中的計 算機代碼，從而在此描述的方法可被存儲在使用通用計算機、專用處理器或者可編程或專 用硬件(諸如ASIC或FPGA)的記錄介質上的這樣的軟件處理。可以理解，計算機、處理器、微 處理器控制器或可編程硬件包括可存儲或接收軟件或計算機代碼的存儲組件(例如，RAM、 ROM、閃存等），當所述軟件或計算機代碼被計算機、處理器或硬件訪問且執行時，實現在此 描述的處理方法。此外，當通用計算機訪問用于實現在此示出的處理的代碼時，代碼的執行 將通用計算機轉換為用于執行在此示出的處理的專用計算機。
[0097]以上所述，僅為本發明的【具體實施方式】，但本發明的保護范圍并不局限于此，任何 熟悉本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到變化或替換，都應涵 蓋在本發明的保護范圍之內。因此，本發明的保護范圍應以所述權利要求的保護范圍為準。
【主權項】
1. 一種三維面部檢測的方法，其特征在于，所述方法包括： 獲取待檢測的三維人體點云數據，其中，所述三維人體點云數據至少包括人的面部點 云數據； 根據預定的局部結構提取方法和預定的三維鼻尖檢測模型對所述三維人體點云數據 進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所在的位置； 以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截取出三維人臉點 云數據。2. 根據權利要求1所述的方法，其特征在于，所述獲取待檢測的三維人體點云的處理包 括： 獲取預定背景下人體的三維點云數據； 根據所述預定背景下人體的三維點云數據和所述預定背景的三維點云數據，確定待檢 測的三維人體點云數據。3. 根據權利要求2所述的方法，其特征在于，所述根據所述預定背景下人體的三維點云 數據和所述預定背景的三維點云數據，確定待檢測的三維人體點云數據的處理包括： 對所述預定背景下人體的三維點云數據和所述預定背景的三維點云數據進行背景差 分，得到差分的三維點云數據作為待檢測的三維人體點云數據。4. 根據權利要求1所述的方法，其特征在于，所述以所述三維人臉鼻尖所在的位置為中 心從所述三維人體點云數據截取出三維人臉點云數據的處理包括： 以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云數據截取出三維人臉基 礎點云數據； 根據預定的三維面部虛警濾除模型對所述三維人臉基礎點云數據進行虛警濾除，得到 三維人臉點云數據； 其中，所述預定的三維面部虛警濾除模型基于機器學習的方式構建。5. 根據權利要求1所述的方法，其特征在于，所述預定的局部結構提取方法為超體素分 割方法， 所述根據預定的局部結構提取方法和預定的三維鼻尖檢測模型對所述三維人體點云 數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維人臉鼻尖所在的位 置的處理包括： 根據超體素分割方法對所述三維人體點云數據進行過分割，得到多個超體素； 以每個超體素為中心，基于其鄰域屬性特征提取三維局部結構； 基于提取的三維局部結構、上一幀三維人體點云數據的三維人臉鼻尖所在的位置和預 定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到待檢測 的三維人體點云數據中的三維人臉鼻尖所在的位置。6. -種三維面部檢測的裝置，其特征在于，所述裝置包括： 人體點云獲取模塊，用于獲取待檢測的三維人體點云數據，其中，所述三維人體點云數 據至少包括人的面部點云數據； 鼻尖位置確定模塊，用于根據預定的局部結構提取方法和預定的三維鼻尖檢測模型對 所述三維人體點云數據進行三維人臉鼻尖位置檢測，得到所述三維人體點云數據中的三維 人臉鼻尖所在的位置； 人臉點云截取模塊，用于以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云 數據截取出三維人臉點云數據。7. 根據權利要求6所述的裝置，其特征在于，所述人體點云獲取模塊包括： 三維點云獲取單元，用于獲取預定背景下人體的三維點云數據； 人體點云確定單元，用于根據所述預定背景下人體的三維點云數據和所述預定背景的 三維點云數據，確定待檢測的三維人體點云數據。8. 根據權利要求7所述的裝置，其特征在于，所述人體點云確定單元，用于對所述預定 背景下人體的三維點云數據和所述預定背景的三維點云數據進行背景差分，得到差分的三 維點云數據作為待檢測的三維人體點云數據。9. 根據權利要求6所述的裝置，其特征在于，所述人臉點云截取模塊包括： 基礎點云確定單元，用于以所述三維人臉鼻尖所在的位置為中心從所述三維人體點云 數據截取出三維人臉基礎點云數據； 虛警濾除單元，用于根據預定的三維面部虛警濾除模型對所述三維人臉基礎點云數據 進行虛警濾除，得到三維人臉點云數據； 其中，所述預定的三維面部虛警濾除模型基于機器學習的方式構建。10. 根據權利要求6所述的裝置，其特征在于，所述預定的局部結構提取方法為超體素 分割方法，所述鼻尖位置確定模塊包括： 超體素獲取單元，用于根據超體素分割方法對所述三維人體點云數據進行過分割，得 到多個超體素； 局部結構提取單元，用于以每個超體素為中心，基于其鄰域屬性特征提取三維局部結 構； 鼻尖位置確定單元，用于基于提取的三維局部結構、上一幀三維人體點云數據的三維 人臉鼻尖所在的位置和預定的三維鼻尖檢測模型對所述三維人體點云數據進行三維人臉 鼻尖位置檢測，得到待檢測的三維人體點云數據中的三維人臉鼻尖所在的位置。
【文檔編號】G06K9/00GK106096555SQ201610422078
【公開日】2016年11月9日
【申請日】2016年6月15日 公開號201610422078.1, CN 106096555 A, CN 106096555A, CN 201610422078, CN-A-106096555, CN106096555 A, CN106096555A, CN201610422078, CN201610422078.1
【發明人】汪漢云, 郭裕蘭, 李洪
【申請人】湖南拓視覺信息技術有限公司