一種指甲圖像的提取方法及系統與流程
本發明涉及圖像處理技術領域，特別涉及一種指甲圖像的提取方法及系統。
背景技術：
圖像分割技術在當下的商業活動中應用領域極廣，包括醫學CT圖像分析、手機拍照背景虛化等。由于圖像千變萬化，每一個領域中的圖像特征不同，因而不同領域就需要相應的圖像分割技術進行處理。
在醫療領域，醫生可通過提取出的指甲圖像進行疾病的預防，例如，指甲半月痕相比往常變小則說明當前新陳代謝出現問題、灰色指甲表示人有真菌引起的傳染病等。利用圖像分割技術自動提取出指甲區域并對歷史指甲的狀態進行追蹤，將會對疾病起到一定預警作用，符合未來互聯網醫療趨勢。另一方面，利用提取出的指甲區域圖像進行制作自動美甲機將會對美甲行業產生變革性影響。
目前利用圖像分割提取指甲區域的研究成果較少，Kumuda,N.S.,and M.S.Dinesh["Human fingernail segmentation."Emerging Research in Electronics,Computer Science and Technology(ICERECT),2015 International Conference on.IEEE,2015.]提出的方法主要實現了基于顏色的指甲提取，以及指甲各個區域的分割，該方法只使用顏色信息，其局限性較大，且不適用于膚色較淺的人種。Sun,Yu,et.al.["Estimation of fingertip force direction with computer vision."IEEE Transactions on Robotics 25.6(2009):1356-1369.]所用到的指甲區域提取方法只使用了指甲的邊緣信息，魯棒性不高，而且該方法需要提前對每一個使用者的指甲圖像進行相對應的圖像標定采集，實用性較差。
因而現有技術還有待改進和提高。
技術實現要素：
本發明要解決的技術問題在于，針對現有技術的不足，提供一種指甲圖像的提取方法及系統，其根據人類皮膚和指甲在顏色特征以及特定姿勢下的輪廓特征信息提取指甲圖像，使得精確度和魯棒性均得到提高。
為了解決上述技術問題，本發明所采用的技術方案如下：
一種指甲圖像的提取方法，其包括：
通過機器視覺設備對待分析的手或腳進行拍攝，獲取指定姿勢的手或腳的圖像；
根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域；
根據所述指定姿勢提取所述手或腳圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像。
所述指甲圖像的提取方法，其中，所述識別所述圖像的背景顏色信息，并根據所述背景顏色以及人類皮膚顏色信息建立圖像的背景與手或腳分類模型具體包括：
將所述圖像的顏色空間轉換到YCbCr空間，并獲取每個像素在Cb通道的值以及Cr通道的值；
根據所述人類皮膚顏色在Cb通道的值以及Cr通道的值確定用于區分圖像的背景與手或腳的分類條件；
根據所述分類條件在所述圖像中提取所述手或腳的圖像區域。
所述指甲圖像的提取方法，其中，所述分類條件為：
其中，Pb為像素P在Cb通道的值，Pr為像素P在Cr通道的值，b0，r0，θ，a和b為常數。
所述指甲圖像的提取方法，其中，所述根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域具體包括：
獲取所述指定姿勢對應的標準手或腳的圖像區域的標準輪廓以及預設的人類皮膚顏色信息；
根據所述皮膚顏色以及所述標準輪廓建立所述圖像的背景與手或腳的分類模型；
根據所述分類模型在所述圖像中提取所述手或腳的圖像區域。
所述指甲圖像的提取方法，其中，所述根據所述皮膚顏色信息以及所述標準輪廓建立所述圖像的背景與手或腳的分類模型具體包括：
識別所述圖像的背景顏色信息，并根據所述背景顏色信息以及皮膚顏色信息對所述圖像的顏色進行聚類；
采用比較輪廓法計算聚類得到的所有分類組合所形成圖像區域的當前輪廓與所述指定姿勢對應的標準輪廓的相似分數；獲取所述相似分數最高的分類，并將分類組合形成的圖像區域設置為所述圖像中手或腳的圖像區域并提取。
所述指甲圖像的提取方法，其中，所述根據所述指定姿勢提取所述圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像具體包括：
對所述圖像區域進行修正以使得所述圖像區域與預設的所述指定姿勢對應的標準手或腳的圖像區域對齊；
根據所述標準手或腳的圖像區域設定的指甲區域確定所述圖像區域的第一指甲區域，其中，所述第一指甲區域包括若干第一指甲子區域；
采用圖像分割方法在每個第一指甲子區域內提取指甲子區域，所述若干子區域構成所述指甲圖像。
所述指甲圖像的提取方法，其中，所述圖像分割方法為基于指甲顏色與皮膚顏色差異的圖像分割算法、基于圖像邊緣信息的曲線擬合方法、基于指甲顏色信息、圖像邊緣信息和指定姿勢下標準輪廓信息的能量最小化方法中一種。
一種指甲圖像的提取系統，其包括：
拍攝模塊，用于通過機器視覺設備對待分析的手或腳進行拍攝，獲取指定姿勢的手或腳的圖像；
第一提取模塊，用于根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域；
第二提取模塊，用于根據所述指定姿勢提取所述手或腳圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像。
所述指甲圖像的提取系統，其中，所述第一提取模塊具體包括：
獲取單元，用于獲取所述指定姿勢對應的標準手或腳的圖像區域的標準輪廓以及預設的人類皮膚顏色信息；
建立單元，用于根據所述皮膚顏色以及所述標準輪廓建立所述圖像的背景與手或腳的分類模型；
第一提取單元，用于根據所述分類模型在所述圖像中提取所述手或腳的圖像區域。
所述指甲圖像的提取系統，其中，所述第二提取模塊具體包括：
修正單元，用于對所述圖像區域進行修正以使得所述圖像區域與預設的所述指定姿勢對應的標準手或腳的圖像區域對齊；
確定單元，用于根據所述標準手或腳的圖像區域設定的指甲區域確定所述圖像區域的第一指甲區域，其中，所述第一指甲區域包括若干第一指甲子區域；
第二提取單元，用于采用圖像分割方法在每個第一指甲子區域內提取指甲子區域，所述若干子區域構成所述指甲圖像。
一種指甲圖像的提取裝置，其包括如上任一所述的指甲圖像的提取系統。
所述指甲圖像的提取裝置，其還包括載放裝置，所述載放裝置包括具有容納腔的殼體，所述容納腔的底部設置有放置平面，所述殼體與所述放置平面相對的一面設置有用于外部設備拍攝圖像的第一開口，所述殼體設置有用于手掌伸入的第二開口，所述第一開口所處平面與所述第二開口所處平面相交。
所述指甲圖像的提取裝置，其中，所述殼體內設置有用于補光的LED燈。
有益效果：與現有技術相比，本發明提供了一種應用自啟動的控制方法及系統，所述方法包括：通過機器視覺設備對待分析的手或腳進行拍攝，獲取指定姿勢的手或腳的圖像；根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域；根據所述指定姿勢提取所述圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像。本發明根據人類皮膚和指甲在顏色特征以及特定姿勢下的輪廓特征信息對指甲圖像進行提取，使得精確度和魯棒性均得到了較大提高。
附圖說明
圖1為本發明提供的指甲圖像的提取方法較佳實施的流程圖。
圖2為本發明提供的指甲圖像的提取方法中指定手勢的示意圖。
圖3為本發明提供的指甲圖像的提取方法中拍攝的手部區域圖像。
圖4為本發明提供的指甲圖像的提取方法中提取的感興趣區域的示意圖。
圖5為本發明提供的指甲圖像的提取方法中提取的指甲圖像的示意圖。
圖6為本發明提供的指甲圖像的提取方法的實施例一中使用曲線擬合從感興趣區域中提取第一指甲區域的示意圖。
圖7為本發明提供的指甲圖像的提取控制系統的結構原理圖。
圖8為本發明提供的載放裝置的結構視圖。
圖9為本發明提供的載放裝置的使用狀態圖。
具體實施方式
本發明提供一種指甲圖像的提取方法及系統，為使本發明的目的、技術方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。
本發明中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發明的說明，其本身并沒有特定的意義。因此，模塊”、“部件”或“單元”可以混合地使用。
終端設備可以以各種形式來實施。例如，本發明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數字廣播接收器、PDA(個人數字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字TV、臺式計算機等等的固定終端。然而，本領域技術人員將理解的是，除了特別用于移動目的的元件之外，根據本發明的實施方式的構造也能夠應用于固定類型的終端。
下面結合附圖，通過對實施例的描述，對發明內容作進一步說明。
請參照圖1，圖1為本發明提供的指甲圖像的提取方法的較佳實施例的流程圖。所述方法包括：
S100、通過機器視覺設備對待分析的手或腳進行拍攝，獲取指定姿勢的手或腳的圖像。
具體地，所述的機器視覺設備可以是手機的攝像頭、平板電腦的攝像頭或者是筆記本電腦的攝像頭等。只要能對指甲進行拍照并獲取指甲圖像的設備均可作為機器視覺設備。所述指定姿勢為預先設置在獲取手或腳的圖像時，手和腳所處的姿勢。這里以手為例對所述指定姿勢加以說明，如圖2所示，所述指定姿勢可以為手背向上手掌平放于一個平面上，并且五指張開。當然，在本實施例的變形實施例中，所述指定姿勢也可以為用戶手心面向攝像頭，五指握向掌心但是互不遮擋。當然，所述指定姿勢還可以是其他姿勢，這里就不一一列舉。
S200、根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域。
具體地，所述人類皮膚顏色預先設置的，其可以通過大量的實驗統計獲取的人類皮膚顏色標準值。其也可以是用戶根據自身皮膚顏色而自行設置的。在實際應用中，可以預設存儲多個人類皮膚顏色，并將所述人類皮膚顏色與人種相對應，不同的人種對應不同的人類皮膚顏色，這樣可以避免由于黑人和白人之間的皮膚差異過大而產生的分類不準確的問題。
在本實施例中，所述根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域具體可以包括：
S201、識別所述圖像的背景顏色信息，并根據所述背景顏色以及人類皮膚顏色信息建立圖像的背景與手或腳分類模型；
S202、根據所述分類模型在所述圖像中提取手或腳的圖像區域。
具體地，所述根據皮膚顏色建立圖像背景與手或腳的分類模型可以根據橢圓模型建立基于顏色的分類模型。所述分類模型的建立過程具體可以為：首先將所述圖像的顏色空間轉換到YCbCr空間，設所述圖像中某像素P在Cb通道的值為Pb，Cr通道的值為Pr，若P滿足下述條件，則判定P屬于手或腳區域，否則則為背景區域。
所述條件為根據人類皮膚顏色信息值從顏色轉換到YCbCr空間時，在Cb通道的值和在Cr通道的值滿足的關系。從而可以根據所述關系是來判斷所述圖像對應的顏色空間中屬于手或腳圖像區域的像素，進而將背景顏色與手或腳的顏色分類，以實現提取手或腳的圖像區域。在本實施例中，所述條件可以表示為：
其中，所述b0，r0，θ，a和b為常數。
在本發明的另一個實施例中，所述采用圖像分割法在所述圖像中提取所述手或腳的圖像區域具體可以包括：
S201a、獲取所述指定姿勢對應的標準手或腳的圖像區域的標準輪廓以及預設的人類皮膚顏色信息；
S202a、根據所述皮膚顏色以及所述標準輪廓建立所述圖像的背景與手或腳的分類模型；
S203a、根據所述分類模塊在所述圖像中提取所述手或腳的圖像區域。
具體地，所述標準手或腳的圖像區域是預設為所述指定姿勢拍攝的包含手或腳的圖像設定，并且所述標準手或腳的圖像區域與所述指定姿勢對應存儲，以使得當用戶以所述姿勢拍攝圖像時，可以根據所述指定姿勢查找到所述標準手或腳的圖像區域。在實際應用中，可以預設建立一個數據庫，用于存儲指定姿勢和標準手或腳的圖像區域，并且所述指定姿勢和所述標準手或腳的圖像區域相互綁定。同時，所述數據庫內還可以存儲所述指定姿勢對應的標準指甲區域，所述標準指甲區域也有其對應的指定姿勢綁定存儲，以便于根據所述指定姿勢查詢到所述標準指甲區域。
所述根據圖像背景與手或腳分類模型采用顏色聚類和比較輪廓的方法建立手或腳分類模型。所述建立過程具體可以包括：首先采用Expectation Maximization(EM)算法對所述圖像中的所有像素進行k-means聚類得到若干個分類。然后采用比較輪廓的方法確定所有分類組合所形成圖像區域的輪廓中與所述指定姿勢對應的標準圖像中手或腳構成的圖像區域的標準輪廓相似分數最高的分類組合，并將該分類組合形成的圖像區域設置為所述圖像中手或腳的圖像區域并提取。
在本實施例中，所述比較輪廓的方法可以是采用所述分類形成圖像區域的周長/面積比為對比因子來確定輪廓相似分數。也就是說，首先計算所述某一類別組合形成的圖像區域的周長與面積的比例，將其與指定姿勢對應的標準圖像的手和腳構成的圖像區域的周長與面積的比例進行比較，根據所述比較結果確定輪廓相似分數。
在本實施例的變形實施例中，所述比較輪廓的方法可以為procrustes analysis的方法。所述采用procrustes analysis(普氏分析)方法確定相似分數的具體過程可以為：在所述每個分類組合所形成的圖像區域的輪廓中抽樣選出點集P，對所述指定姿勢對應的標準圖像中手或腳構成的圖像區域的標準輪廓抽樣選出點集P0，并且所述點集P和點集P0的點數量相同。然后，根據點集P以及點集P0計算一個線性變換(例如，平移、旋轉、鏡面反射、縮放)以使得點集P點集P0對齊，再計算變換后的點集P與點集P0的方差，所述方差為點集P與點集P0的差異度。最后，對所述方差取倒數即得到點集P與點集P0的相似分數。
S300、根據所述指定姿勢提取所述手或腳圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像。
具體地，所述根據所述姿勢提取所述手或腳圖像區域內的第一指甲區域指的是在所述手或腳的圖像區域中粗略提取第一指甲區域。所述采用圖像分割方法在所述第一指甲區域內提取指甲圖像指的是在所述第一指甲區域內精細的提取包含指甲的圖像得到指甲圖像。
示例性的，所述根據所述指定姿勢提取所述手或腳圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像具體可以包括：
S301、對所述手或腳圖像區域進行修正以使得所述手或腳圖像區域與預設的所述指定姿勢對應的標準手或腳的圖像區域對齊。
具體地，所述對所述手或腳圖像區域進行修正指的是將所述手或腳圖像區域進行旋轉、縮放等對齊操作使得所述手或腳圖像區域的位置與所述指定姿勢對應的標準手或腳的圖像區域對齊。所述標準手或腳的圖像區域為預先設置的所有指定姿勢中手或腳所占用的圖像區域。在實際應用中，所述標準手或腳的圖像區域是根據大量人類手或腳在所述指定姿勢下的圖像學習到的手或腳的所占的平均圖像區域。
S302、根據所述標準手或腳的圖像區域的指甲區域確定所述手或腳圖像區域的第一指甲區域，其中，所述第一指甲區域包括若干第一指甲子區域。
具體地，將所述標準手或腳的圖像區域中包含指甲的區域作為當前手或腳圖像區域中包含指甲的感興趣區域以確定所述圖像區域的第一指甲區域，所述第一指甲區域包括若干第一指甲子區域。所述第一指甲子區域為手或腳每個指甲的區域。在實際應用中，在根據所述標準圖像確定第一指甲區域后，還可以結合指甲的顏色信息進一步優化感興趣區域，例如基于顏色的分類模型去除指甲區域的邊緣以優化感興趣區域，即第一指甲區域。
S303、采用圖像分割方法在每個第一指甲子區域內提取指甲子區域，所述若干指甲子區域構成所述指甲圖像。
具體地，所述圖像分割方法可以為基于指甲顏色與皮膚顏色差異的圖像分割算法，或基于圖像邊緣信息的曲線擬合方法，或基于指甲顏色信息、圖像邊緣信息和指定姿勢下標準輪廓信息的能量最小化方法。
在本實施例中，所述圖像分割方法為基于指甲顏色與皮膚顏色差異的圖像分割算法。所述基于指甲顏色與皮膚顏色差異的圖像分割算法獲取指甲子區域的過程可以為：對每個第一指甲子區域進行主成分分析建立指甲顏色模型，所述指甲顏色模型是計算第二和第三主成分的加權和，并采用閾值法提取所述指甲顏色值高于預設閾值的區域為指甲區域。在本實施例中，所述主成分分析(PCA)為將圖像所有像素RGB值進行正交變換到若干線性不相關的變量，即所述若干線性不相關的變量為主成分。并且，所述變換后的圖像像素的第一主成分滿足方差最大，第二主成分在正交于第一主成分的前提下滿足方差最大，第三主成分在正交于第一和第二主成分的前提下滿足方差最大。
在本發明的另一個實施例中，所述圖像分割算法為對圖像邊緣信息進行曲線擬合的方法。所述對圖像邊緣信息進行曲線擬合獲取指甲子區域的過程可以為：對每個第一指甲子區域使用邊緣檢測算子(如，canny算子)獲取其對應的邊緣信息；再對所述邊緣信息進行曲線擬合求得指甲的邊緣曲線，例如，使用三次樣條函數曲線對提取的邊緣信息進行擬合，再求解出方差最小的三次樣條函數曲線作為最終的指甲區域的邊緣。
在本發明的再一個實施例中，所述圖像分割算法是為能量最小化方法，如圖割法(graph-cut)或水平集法(level set)等。所述能量最小化方法中的能量項可以包括指甲顏色信息、梯度信息、和指定姿勢下標準輪廓模型。優選的，所述指甲顏色模型可以是人手或腳區域圖像的第二和第三主成分加權值；所述梯度信息可以通過sobel、prewitt、Laplace of Gaussian等算子計算；所述已知輪廓模型可以是當前指甲圖像輪廓與所述指定姿勢的標準輪廓的差異。
為了進一步說明本發明提供的指甲圖像的提取方法，下面以手為例對所述指甲圖像的提取方法做進一步說明。為了便于說明，設手部圖像的區域為Ω，所需要提取的手部圖像區域為ΩH，所需要提取的指甲區域為ΩN，這些定義適用于后續全文。
實施例一
本實施例提供了一種指甲圖像的提取方法，其包括：
S10、當用戶將手掌按照指定姿勢放置于載放裝置時，獲取所述手部圖像。
具體地，用戶將手掌按照指定姿勢放置于載放裝置指的用戶根據提示按照指定姿勢將手掌伸入到所述載放裝置內，其中，所述指定姿勢為手背向上，五指張開，手心貼緊載放裝置的放置平面。在用戶將手掌放置好后，通過智能手機拍攝手掌圖像。
所述載放裝置為用于放置手掌以便于智能手機拍攝手部圖像的裝置。所述載放裝置包括具有容納腔的殼體，所述容納腔的底部設置有放置平面，所述殼體與所述放置平面相對的一面設置有用于外部設備拍攝圖像的第一開口，所述殼體設置有用于手掌伸入的第二開口，所述第一開口所處平面與所述第二開口所處平面相交。所述殼體的內壁上還可以設置有用于為拍攝補光的LED燈。在實際應用中，所述載放裝置還可以設置有攝像頭以及通訊裝置，使得通過所述載放裝置可以直接獲取手部圖像，并將所述手部圖像發送至外部設備。
S20、根據所述載放裝置的內部顏色和所述人類皮膚顏色建立分類模型，根據所述分類模型提取所述手部圖像內的手部圖像區域。
具體地，所述載放裝置的內部顏色根據對載放裝置內部的顏色進行測量而獲取的背景顏色B(lb,ab,bb)。所述人類皮膚顏色可以通過大量統計獲取的人類皮膚顏色的均值H(lh,ah,bh)。在實際應用中，所述內部顏色優選為與人臉皮膚顏色差異大的顏色，如，綠色、藍色等，這樣使得載放裝置的內部顏色和手部皮膚顏色有很大的反差，就可以根據顏色將手部圖像的所有像素進行歸類，將手部圖像的背景與手掌分離，得到手部區域圖像，如圖3所示。
所述根據所述載放裝置的內部顏色和所述人類皮膚顏色建立分類模型具體可以為：首先將手部圖像轉換到CIE LAB顏色空間中，所述顏色空間顏色與真實顏色之間在視覺感受上的差距為一致(uniform)的。然后，對圖像中每個像素p(l,a,b)計算其與背景顏色B(lb,ab,bb)和人類膚色均值H(lh,ah,bh)的距離比r(p)，當距離比r(p)大于1時，所述像素屬于手掌區域，即p∈ΩH；當距離比r(p)小于等于1時，所述像素屬于背景區域。所述r(p)的具體公式為：
S30、根據所述指定姿勢在所述手部圖像區域中提取包含指甲的感興趣區域。
具體地，所述根據所述指定姿勢在所述手部圖像區域中提取包含指甲的感興趣區域具體為將所述手部圖像區域修正至與所述指定姿勢對應的標準手部圖像區域相對應，之后根據所述標準手部圖像區域內包含指甲的感興趣區域來確定所述手部圖像區域中包含指甲的感興趣區域，以實現在所述手部圖像區域中提取包含指甲的感興趣區域，如圖4所示。
在本實施例中，所述根據所述指定姿勢在所述手部圖像區域中提取包含指甲的感興趣區域具體包括：
S31、對所述手部圖像區進行修正，以使得所述手部圖像區域與所述指定姿勢對應的標準手部圖像區域一致；
S32、根據所述標準手部區域確定所述手部圖像區域中保護指甲的感興趣區域并提取。
具體的來說，在所述步驟S31中，所述對手部圖像區域進行修正指的是對所述手部圖像區域進行旋轉、縮放等對齊操作，使得所述手部圖像區域與標準手部圖像區域可以重合，即兩者大小和形狀相同。在實際應用中，所述修正過程可以為：對手部圖像區域坐標計算主成分，提取出坐標方差變化最大的向量，然后對圖像旋轉使得所述向量經旋轉后與標準手部圖像Y軸平，最后將圖像縮放使其與標準圖像的大小一致。
所述標準手部圖像區域是對大量所述指定姿勢的手部圖像進行分析學習得到。所述學習過程具體可以為：首先獲取大量用戶以所述指定姿勢拍攝的手部圖像，然后將所有手部圖像調整至統一尺寸，在對調整后所有手部圖像進行學習得到所述標準手部圖像。在實際應用中，可以通過圖像取均值的方法得到所述標準手部圖像。
在所述步驟S32中，可以將所述標準手部區域對應的感興趣區域確定為所述手部圖像區域對應的感興趣區域。也就是說，獲取所述標準手部根據我們可以直接使用標準圖像的感興趣區域作為當前手或腳圖像的感興趣區域，也可進一步計算當前圖像手或腳圖像的凸包頂點，選出Y值最小的五個頂點，該五個頂點附近區域的圖像區域即為包含指甲的感興趣區域。
S40、采用圖像分割法在所述感興趣區域中提取指甲圖像，如圖5所示。
具體地，所述圖像分割法為基于邊緣信息的擬合方法，即對邊緣進行檢測并使用三次樣條曲線擬合的方法。如圖6所示，所述提取圖像的過程具體可以為：S41、首先對感興趣區域圖像進行邊緣提取。在本實施例中，采用canny算子對感興趣區域圖像進行邊緣提取。Canny算子首先對圖像進行高斯模糊并使用sobel算子計算圖像梯度信息，之后對梯度計算結果進行非最大值去除，最后設立高閾值篩以選取所述感興趣區域圖像的強邊緣，設立低閾值將弱邊緣中與強邊緣有鄰域關系的邊緣提取出來，將提取的弱邊緣與強邊緣作為所述感興趣區域圖像的邊緣，如圖8.c為所述感興趣區域圖像經過canny邊緣提取之后的圖像。
進一步，由于經過邊緣提取后的圖像可能會夾雜不屬于真正指甲邊緣的邊緣信息，如，皮膚褶皺、指甲的豎紋、皮膚或指甲的過曝區域或皮膚與背景的邊緣等。因此，需要對經過canny邊緣提取之后的圖像進行過濾篩選出以得到準確的指甲邊緣信息，圖8.d為展示過濾后的邊緣信息。在實際應用中，可以根據邊緣性質對所述邊緣進行篩選。例如，可以根據每條邊緣的鄰域信息去除皮膚褶皺和指甲豎紋，即計算每條邊緣的鄰域信息均方差，若該邊緣鄰域圖像的方差大于預設閾值，則該邊緣屬于真正的指甲邊緣；若該邊緣鄰域圖像的方差小于等于預設閾值，則該邊緣屬于皮膚褶皺或指甲豎紋。比如針對過曝區域，我們設定像素灰度高于一定閾值(比如220)時則判定為過曝，若一條邊緣鄰域過曝像素高過一定比例，則判斷該邊緣為過曝邊緣。
最后，在獲取到指甲邊緣信息后，采用曲線擬合的方法對篩選后的邊緣進行擬合。在本實施例中，采用自然三次樣條函數對邊緣進行擬合，所述自然三次樣條函數為一個分段函數，每一段函數都是一個三次多項式函數，每一個段函數與其鄰域段函數在臨界節點的值和一階導數值連續且二階導數為0。所述擬合過程具體為首先在所有邊緣點中選取若干初始控制點，根據所述若干初始控制點插值出初始自然三次樣條函數，計算剩余邊緣點與該函數的距離，若平均距離大于某一閾值，則添加距離函數最遠的邊緣點重新計算一個自然三次樣條函數，重復該過程直至所有邊緣點與函數的距離小于某一閾值，得到指甲圖像的邊緣，所述邊緣包圍的圖像區域即為指甲圖像。在本實施例中，所述初始控制點的選取過程可以為首先確定邊緣點的重心，在以所述重心為起始向周圍發射n條(比如n＝36條)射線，每對相鄰射線之間的角度為360/n度，每條射線與邊緣點的交點即為初始控制點。所述閾值的可根據樣條函數周長L來確定，比如可以是L/(2π*10)。
實施例二
本實施提供的指甲圖像提取方法中，直接使用智能終端對人手的指甲進行提取，所述方法具體包括：。
H10、通過智能終端對待分析的手或腳進行拍攝，獲取指定姿勢的手部圖像。
具體地，當用戶安裝指定姿勢將手放置于一個平面上時，在所述智能設備上顯示所述指定姿勢對應的指導圖，并根據所述指導圖提示用戶調整手部的位置，以使得所述用戶的手在智能設備上的成像至于所述指導圖中，這樣可以降低圖像分割的難度。
H20、根據所述指定姿勢的輪廓信息以及人類皮膚信息建立手部圖像的背景與手部的分類模型，并根據所述分類模型提取手掌圖像區域。
具體地，所述指定姿勢的輪廓信息以及人臉皮膚信息為預先設置，在建立分類模型時可以先讀取預先存儲的指定姿勢的輪廓信息以及人臉皮膚信息，所述指定姿勢的輪廓信息以及人臉皮膚信息可存儲于智能設備中，可以存儲在后臺服務器等。
所述根據所述指定姿勢的輪廓信息以及人類皮膚信息建立手部圖像的背景與手部的分類模型具體可以為：將所述指導圖形區域中所有像素按顏色距離進行聚類使得所有像素分成k(k>＝2)個類別。在本實施例中，采用Expectation Maximization算法進行聚類，其具體過程可以為首先初始化k個類別的均值，然后計算每個像素與每個類別均值的距離并將所述像素歸類到距離最近的類別中，依次循環直至所有像素完成歸類，再對每個類別更新均值，并重復上述歸類和均值更新的過程直至完成收斂。
在根據按照顏色對像素分成k個類別后，將所述k個類別劃分為兩個類別，分別為背景和手部。所述劃分過程具體可以為：根據所述k個類別的均值選出可能屬于皮膚區域的部分，然后對所述選出的類別進行組合，并對這些組合形成的區域的輪廓進行判斷，尋找出與所述姿勢輪廓相似分數最高的組合作為最終的手部類別。例如，設k＝4，即將所述指導圖形中的所有像素按照顏色聚集成4個類別。再分別計算每個類別均值與人類皮膚平均顏色之間的距離，并設定閾值選出可能屬于皮膚的類別。例如，當將像素p轉換到hsv通道，并對h和s兩個通道縮放到[0,1]區間時，所述閾值可以是0.1。也就是說，每個通道的值與人類皮膚平均顏色在該通道的值之間的差距都必須小于0.1時，才能判斷該像素p屬于人類皮膚顏色。
進一步，這里假設類別{1,2,4}的均值與人類皮膚平均顏色接近。然后，獲取{1,2,4}的所有子集，分別為包括{1},{1,2},{1,2,4}…等7個組合，計算每個組合的當前輪廓與所述指定姿勢對應的標準手部圖像區域的標準輪廓的相似分數。所述相似分數的計算方法可以采用輪廓的周長/面積比確定當前輪廓與標準輪廓的相似分數，即根據輪廓周長與輪廓內包含的面積之間的比例確定當前輪廓與標準輪廓的相似分數。其也可以選用procrustes analysis(普氏分析)方法，即對標準輪廓進行抽樣以選出點集P0，并對當前輪廓進行抽樣以選出點集P，其中，所述點集P和P0的點數量相同，根據點集P和點集P0計算一個出一個線性變換(如，平移、旋轉、鏡面反射、縮放)以使得所述點集P和點集P0對齊，在計算使經過變換后的P與P0的方差最小，所述方差即為P與P0的差異度，對所述方差取倒數即可得到P與P0的相似分數。需要注意的是，在進行procrustes analysis(普氏分析)法前需要將當前輪廓與標準輪廓對齊，用于增強P與P0每個點的對應關系，對齊操作可以是分別計算當前輪廓和當前輪廓的指北向量并對當前輪廓進行旋轉使其指北向量與標準輪廓的指北向量平行。這里指北向量是起點為輪廓所含區域重心，終點為輪廓上Y值最小的點的向量。
進一步，在建立手部圖像的背景和手部的分類模型后，根據所述分類模型提取手部圖像區域。在本實施例中，提取手部圖像區域采用圖割法(graph-cut)提取手掌圖像。所述提取過程具體可以為首先對圖像建立能量代價函數，將圖像分割問題轉換為該能量函數最小化問題，并使用圖割(graph-cut)方法實現能量最小化過程。所述能量最小化的能量函數包括兩項，分別為區域項和邊界項，所述能量函數的表示式為：
其中，Ep(Lp)為區域項，Lp,Lq∈{ΩH,Ω/ΩH}、Ep(Lp,Lq)為邊界項，p、q代表相鄰兩個像素；λ是邊界項的系數。
在本實施例中，所述區域項可以根據上述分類結果確定。例如，假設像素p被歸類為手部區域，那么Ep(Lp∈ΩH)＝0，Ep(Lp∈Ω/ΩH)＝1。所述邊界項可以根據像素p的梯度信息定義，其可以表示為其中，為像素p與q的梯度值，k為一常量，β＝1或2。
值得說明的，若所述前輪廓與標準輪廓相似分數較高(例如，高于90分)，則可以直接選用分類結果作為圖像分割的結果。
H30、根據所述指定姿勢在所述手部圖像區域中提取包含指甲的感興趣區域。
所述提取感興趣區域的方法與實施例一的方法相同，這里就不再贅述。
H40、采用圖像分割法在所述感興趣區域中提取指甲圖像。
具體地，所述圖像分割法為level set(水平集)方法，所述方法也是將圖像分割問題轉換為能量最小化問題，其具體過程可以為首先初始化一個圓形封閉的輪廓C0，并將所述圓中心設為感興趣區域中心，將所述圓設為感興趣區域寬的四分之一。然后，依次迭代所述輪廓使得預定的能量逐漸減少直至達到極值，每次迭代時輪廓上每個點按照其法線方向向外擴展，其中，所述擴展的速度與能量泛函有關。每一次迭代時的輪廓C(t)都被看作為函數的零水平集，即，每次輪廓迭代的過程就是函數隨時間演化的過程。
所述能量泛函為基于邊緣信息的能量泛函，其表達式為:
E(C)＝∫g(C(s))ds
其中，g為邊緣指示函數，所述g可以表示為其中，為像素x的梯度向量，σ為一常數。
在本實施例中，可以采用梯度下降法對E(C)求極值，得到每一次迭代的演化方程為：
其中，為的梯度向量，Div(v)為向量v的散度，t為時間
在實際應用中，可以從初始的開始，定義每次迭代的時間段Δt，則每次迭代均可計算出當前的函數直至收斂，最終的輪廓即為最終函數的零水平集。值得說明的，所述能量泛函還可對其進行調整加入區域信息和特定姿勢下的先驗輪廓信息，這里就不一一說明。
本發明還提供了一種指甲圖像的提取系統，如圖7所示，其包括：
拍攝模塊，用于通過機器視覺對待分析的手或腳進行拍攝，獲取指定姿勢的手或腳的圖像；
第一提取模塊，用于根據預設的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型，并根據所述分類模型在所述圖像中提取所述手或腳的圖像區域；
第二提取模塊，用于根據所述指定姿勢提取所述手或腳圖像區域內的第一指甲區域，并采用圖像分割方法在所述第一指甲區域內提取指甲圖像。
所述指甲圖像的提取系統，其中，所述第一提取模塊具體包括：
獲取單元，用于獲取所述指定姿勢對應的標準手或腳的圖像的標準輪廓以及預設的人類皮膚顏色信息；
建立單元，用于根據所述皮膚顏色以及所述標準輪廓建立所述圖像的背景與手或腳的分類模型；
第一提取單元，用于根據所述分類模型在所述圖像中提取所述手或腳的圖像區域。
所述指甲圖像的提取系統，其中，所述第二提取模塊具體包括：
修正單元，用于對所述圖像區域進行修正以使得所述圖像區域與預設的所述指定姿勢對應的標準手或腳的圖像區域對齊；
確定單元，用于根據所述標準圖像區域設定的指甲區域確定所述圖像區域的第一指甲區域，其中，所述第一指甲區域包括若干第一指甲子區域；
第二提取單元，用于采用圖像分割方法在每個第一指甲子區域內提取指甲子區域，所述若干子區域構成所述指甲圖像。
本發明還提供了一種指甲圖像的提取裝置，其包括如上任一所述的指甲圖像的提取系統。
所述指甲圖像的提取裝置，其還包括載放裝置和外部拍攝裝置。如圖8和圖9所示，所述載放裝置包括具有容納腔11的殼體1，所述容納腔11的底部設置有放置平面12，所述殼體1與所述放置平面12相對的一面設置有用于外部設備拍攝圖像的第一開口2，所述殼體1設置有用于手掌伸入的第二開口3，所述第一開口1所處平面與所述第二開口3所處平面相交。
所述指甲圖像的提取裝置，其中，所述殼體內設置有用于補光的LED燈。
上述指甲圖像的提取系統以及裝置的各個模塊在上述方法中已經詳細說明，在這里就不再一一陳述。
在本發明所提供的實施例中，應該理解到，所揭露的系統和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特征可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現，也可以采用硬件加軟件功能單元的形式實現。
上述以軟件功能單元的形式實現的集成的單元，可以存儲在一個計算機可讀取存儲介質中。上述軟件功能單元存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)或處理器(processor)執行本發明各個實施例所述方法的部分步驟。而前述的存儲介質包括：U盤、移動硬盤、只讀存儲器(Read-Only Memory，ROM)、隨機存取存儲器(Random Access Memory，RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質。
最后應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；盡管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！