本發明涉及成像技術，特別涉及一種基于景深的圖像飽和度的處理方法、處理裝置和電子裝置。
背景技術：
圖像飽和度通常只能進行整體調節，當圖像中帶有人像時，造成人像部分的飽和度處理不當，效果較差。
技術實現要素：
本發明的實施方式提供一種基于景深的圖像飽和度的處理方法、處理裝置和電子裝置。
本發明實施方式的基于景深的圖像飽和度的處理方法，用于處理成像裝置采集的場景數據，所述場景數據包括場景主圖像，所述處理方法包括以下步驟：
處理所述場景數據以判斷場景是否存在人像；
在存在所述人像時處理所述場景數據以識別人像區域；和
處理所述場景主圖像以降低所述人像區域的飽和度。
本發明實施方式的基于景深的圖像飽和度的處理裝置，用于處理成像裝置采集的場景數據，所述場景數據包括場景主圖像，所述處理裝置包括：
第一處理模塊，用于處理所述場景數據以判斷場景是否存在人像；
第一識別模塊，用于在存在所述人像時處理所述場景數據以識別人像區域；和
第二處理模塊，用于處理所述場景主圖像以降低所述人像區域的飽和度。
本發明實施方式的電子裝置，包括成像裝置；和所述的處理裝置，所述圖像處理裝置和所述成像裝置電連接。
本發明基于景深的圖像飽和度的處理方法、處理裝置和電子裝置，在被攝場景中存在人像區域時識別該人像區域，降低人像區域的飽和度，從而將人像區域單獨進行飽和度處理，降低人像區域的飽和度，有利于對人像區域的色彩表現，使得圖像效果更佳。
本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
附圖說明
本發明的上述和/或附加的方面和優點從結合下面附圖對實施方式的描述中將變得明顯和容易理解，其中：
圖1是本發明實施方式的處理方法的流程示意圖。
圖2是本發明實施方式的處理裝置的功能模塊示意圖。
圖3是本發明某些實施方式的處理方法的流程示意圖。
圖4是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖5是本發明某些實施方式的處理方法的流程示意圖。
圖6是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖7是本發明某些實施方式的處理方法的流程示意圖。
圖8是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖9是本發明某些實施方式的處理方法的流程示意圖。
圖10是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖11是本發明某些實施方式的處理方法的流程示意圖。
圖12是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖13是本發明某些實施方式的處理方法的流程示意圖。
圖14是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖15是本發明某些實施方式的處理方法的流程示意圖。
圖16是本發明某些實施方式的處理裝置的功能模塊示意圖。
圖17是本發明實施方式的電子裝置的功能模塊示意圖。
具體實施方式
下面詳細描述本發明的實施方式，所述實施方式的實施方式在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發明，而不能理解為對本發明的限制。
請參閱圖1，本發明實施方式的基于景深的圖像飽和度的處理方法，用于處理成像裝置采集的場景數據。場景數據包括場景主圖像。處理方法包括以下步驟：
s10：處理場景數據以判斷場景是否存在人像；
s20：在存在人像時處理場景數據以識別人像區域；和
s30：處理場景主圖像以降低人像區域的飽和度。
請參閱圖2，本發明實施方式的處理裝置100包括第一處理模塊10、第一識別模塊20和第二處理模塊30。作為例子，本發明實施方式的圖像飽和度的處理方法可以由本發明實施方式的處理裝置100實現。
其中，本發明實施方式的處理方法的步驟s10可以由有第一處理模塊10實現，步驟s20可以由第一識別模塊20實現，步驟s30可以由第二確定模塊30實現。
也即是說，第一處理模塊10用于處理場景數據以判斷場景是否存在人像。第一識別模塊20用于在存在人像時處理場景數據以識別人像區域。第二處理模塊30用于處理場景主圖像以降低人像區域的飽和度。
本發明實施方式的處理裝置100可應用于本發明實施方式的電子裝置1000，也即是說，本發明實施方式的電子裝置1000包括本發明實施方式的處理裝置100。當然，本發明實施方式的電子裝置1000還包括成像裝置200。其中，處理裝置100和成像裝置200電連接。成像裝置200可以是電子裝置1000的前置或后置攝像頭。
一般地，在圖像拍攝后往往需要對圖像進行色彩處理，例如進行飽和度調整，從而使得圖像的視覺感受更佳，通常，圖像的飽和度越高，色彩越鮮明。然而，當圖像中存在人像時，飽和度過高將會導致人物的膚色偏黃，視覺效果欠佳。然而，人像區域往往是用戶更興趣的主題。
本發明實施方式的基于景深的圖像飽和度的處理方法，識別被攝場景中是否存在人像，在存在人像時，將人像區域識別出來進而單獨進行飽和度處理，具體的，降低人像區域的飽和度，以保護人像區域的人物膚色，防止對圖像整體進行飽和度調高而使得膚色偏黃，也即是說，對人像區域進行識別并單獨進行飽和度處理。
本發明實施方式的圖像飽和度的處理方法、處理裝置100和電子裝置1000，在被攝場景中存在人像區域時識別該人像區域，降低人像區域的飽和度，從而將人像區域單獨進行飽和度處理，降低人像區域的飽和度，有利于對人像區域的色彩表現，使得圖像效果更佳。
在某些實施方式中，電子裝置1000包括手機、平板電腦、智能手環、智能頭盔、智能眼鏡等，在此不作限制。在本發明的具體實施例中，電子裝置1000為手機。
可以理解，手機常用于拍攝圖像，采用本發明實施方式的圖像飽和度的處理方法進行飽和度處理可以使得圖像具有較好的視覺效果，提升用戶體驗。
請參閱圖3，在某些實施方式中，步驟s10包括以下步驟：
s12：處理場景主圖像以判斷是否存在人臉；和
s14：在存在人臉時確定場景存在人像。
請參閱圖4，在某些實施方式中，第一處理模塊10包括：第一處理單元12和第一確定單元14。步驟s12可以由第一處理單元12實現，步驟s14可以由第一確定單元14實現。或者說，第一處理單元12用于處理場景主圖像以判斷是否存在人臉。第一確定單元14用于在存在人臉時確定場景存在人像。
具體地，對人臉檢測可以基于預置的人臉模板、顏色等進行檢測，在識別場景中存在人臉時，可繼續確定與人臉連接的部分為人像區域，具體實現方式在此不做限制，例如還可以通過與人像模板進行匹配進行人像的確定。如此，可通過判斷人臉是否存在進而確定人像，進而對人像區域進行單獨的飽和度處理。
請參閱圖5，在某些實施方式中，步驟s20包括以下步驟：
s22：處理場景主圖像以得到人臉區域；
s24：處理場景數據以獲取人臉區域的深度信息；和
s26：根據人臉區域和深度信息確定人像區域。
請參閱圖6，在某些實施方式中，第一識別模塊20包括第二處理單元22、第三處理單元24和第二確定單元26。步驟s22可以由第二處理單元22實現，步驟s24可以由第三處理單元24實現，步驟s26可以由第二確定單元26實現。或者說，第二處理單元22用于處理場景主圖像以得到人臉區域，第三處理單元24用于處理場景數據以獲取人臉區域的深度信息，第二確定單元用于根據人臉區域和深度信息確定人像區域。
可以理解，通過成像裝置200采集場景數據，其中場景數據包括被攝場景的深度信息。在檢測到人臉后，對場景主圖像中的人臉區域進行獲取。由于人像區域包含人臉區域，也即是說，人像區域的深度信息與人臉區域對應的深度信息同處于一個深度范圍內，如此，可以根據人臉區域及人臉區域的深度信息即可確定人像區域。由于深度信息的獲取不易受光照、場景中色彩分布等因素的影響，因此，基于深度信息獲取到的人像區域較為準確。
請參閱圖7，在某些實施方式中，場景數據包括與場景主圖像對應的深度圖像，步驟s24包括以下步驟：
s241：處理深度圖像以獲取人臉區域的深度數據；和
s242：處理深度數據以得到深度信息。
請參閱圖8，在某些實施方式中，場景數據包括與場景主圖像對應的深度圖像，第三處理單元24包括第一處理子單元241和第二處理子單元242。步驟s241可以由第一處理子單241實現，步驟s242可以由第二處理子單元242實現。或者說，第一處理子單元241用于處理深度圖像以獲取人臉區域的深度數據。第二處理子單元242用于處理深度數據以得到深度信息。
場景內各個人、物相對于成像裝置200的距離可以用深度圖像來表征，深度圖像中的每個像素值也即是深度數據表示場景中某一點與成像裝置的200的距離，根據組成場景中的人或物的點的深度數據即可獲知相應的人或物的深度信息。深度信息通常可以反映場景內的人或物的空間位置信息。
可以理解，場景主圖像為rgb彩色圖像，深度圖像包含場景中各個人或物體的深度信息。由于場景主圖像的色彩信息與深度圖像的深度信息是一一對應的關系，因此，在場景主圖像中檢測到人臉區域時，即可在對應的深度圖像中獲取人臉的深度信息。
需要說明的是，在場景主圖像中，人臉區域表現為二維圖像，但由于人臉包括鼻子、眼睛、耳朵等特征，因此，在深度圖像中，人臉區域中鼻子、眼睛、耳朵等特征在深度圖像中所對應的深度數據是不同的，如當人臉正對成像裝置200時，拍攝得的深度圖像中，鼻子對應的深度數據可能較小，而耳朵對應的深度數據可能較大。因此，在本發明的具體實施例中，處理人臉區域的深度數據得到的人臉區域的深度信息可能為一個數值或一個數值范圍。其中，當人臉區域為一個數值時，該數值可通過對人臉區域的深度數據取平均得到，或者對人臉區域的深度數據取中值得到。
在某些實施方式中，與場景主圖像對應的深度圖像的獲取方式包括采用結構光深度測距獲取深度圖像及采用飛行時間(timeofflight,tof)深度攝像頭獲取深度圖像兩種方式。
采用結構光深度測距獲取深度圖像時，成像裝置200包括攝像頭和投射器。
可以理解，結構光深度測距是利用投射器將一定模式的光結構投射于物體表面，在表面形成由被測物體形狀所調制的光條三維圖像。光條三維圖像由攝像頭探測從而獲得光條二維畸變圖像。光條的畸變程度取決于投射器與攝像頭之間的相對位置和物體表面形廓或高度。沿光條顯示出的位移與物體表面的高度成比例，扭結表示了平面的變化，不連續顯示表面的物理間隙。當投射器與攝像頭之間的相對位置一定時，由畸變的二維光條圖像坐標便可重現物體表面的三維輪廓，從而可以獲取深度信息。結構光深度測距具有較高的分辨率和測量精度。
采用tof深度攝像頭獲取深度圖像時，成像裝置200包括tof深度攝像頭。
可以理解，tof深度攝像頭通過傳感器記錄從發光單元發出的調制紅外光發射到物體，再從物體反射回來的相位變化，在一個波長的范圍內根據光速，可以實時的獲取整個場景深度距離。tof深度攝像頭計算深度信息時不受被攝物表面的灰度和特征的影響，且可以快速地計算深度信息，具有很高的實時性。
請參閱圖9，在某些實施方式中，場景數據包括與場景主圖像對應的場景副圖像，步驟s24包括以下步驟：
s243：處理場景主圖像和場景副圖像以得到人臉區域的深度數據；和
s244：處理深度數據以得到深度信息。
請參閱圖10，在某些實施方式中，場景數據包括與場景主圖像對應的場景副圖像，第三處理單元24包括第三處理子單元243和第四處理子單元244。步驟s243可以由第三處理子單元243實現，步驟s244可以由第四處理子單元244實現。或者說，第三處理子單元243用于處理場景主圖像和場景副圖像以得到人臉區域的深度數據。第四處理子單元244用于處理深度數據以得到深度信息。
在某些實施方式中，成像裝置200包括主攝像頭和副攝像頭。
可以理解，深度信息可以通過雙目立體視覺測距方法進行獲取，此時場景數據包括場景主圖像和場景副圖像。其中，場景主圖像由主攝像頭拍攝得到，場景副圖像由副攝像頭拍攝得到。雙目立體視覺測距是運用兩個相同的攝像頭對同一被攝物從不同的位置成像以獲得被攝物的立體圖像對，再通過算法匹配出立體圖像對的相應像點，從而計算出視差，最后采用基于三角測量的方法恢復深度信息。如此，通過場景主圖像和場景副圖像這一立體圖像對進行匹配便可獲得人臉區域的深度數據，隨后，對人臉區域的深度數據進行處理獲得人臉區域的深度信息。由于人臉區域中包含有多個特征，各個特征對應的深度數據可能不一樣，因此，可對深度數據進行求平均值處理以得到人臉區域的深度信息，或取深度數據的中值以獲得人臉區域的深度信息。此外，人臉區域的深度信息也可以是一個數值范圍。
請參閱圖11，在某些實施方式中，步驟s26包括以下步驟：
s261：根據人臉區域確定預估人像區域；
s262：根據人臉區域的深度信息確定人像區域的深度范圍；
s263：根據人像區域的深度范圍確定與人臉區域連接且落入深度范圍的計算人像區域；
s264：判斷計算人像區域與預估人像區域是否匹配；和
s265：在計算人像區域與預估人像區域匹配時確定計算人像區域為人像區域。
請參閱圖12，在某些實施方式中，第二確定單元26包括第一確定子單元261、第二確定子單元262、第三確定子單元263、判斷子單元264和第四確定子單元265。步驟s261可以由第一確定子單元261實現，步驟s262可以由第二確定子單元262實現，步驟s263可以由第三確定子單元263實現，步驟s264可以由判斷子單元264實現，步驟s265可以由第四確定子單元265實現。或者說，第一確定子單元261用于根據人臉區域確定預估人像區域。第二確定子單元262用于根據人臉區域的深度信息確定人像區域的深度范圍。第三確定子單元263用于根據人像區域的深度范圍確定與人臉區域連接且落入深度范圍的計算人像區域。判斷子單元264用于判斷計算人像區域與預估人像區域是否匹配。第四確定子單元265用于在計算人像區域與預估人像區域匹配時確定計算人像區域為人像區域。
具體地，由于拍攝的人像存在有多種行為姿勢，如站立、蹲坐、直面鏡頭或測對鏡頭等，因此，確定人臉區域后，首先根據人臉區域的當前狀態確定預估人像區域。其中，預估人像區域為人像區域的匹配樣本庫，樣本庫中包含多種人像的行為姿勢的信息。由于人像區域包含人臉區域，也即是說，人像區域與人臉區域同處于某一個深度范圍內，因此，確定人臉區域的深度信息后，可以根據人臉區域的深度信息設定人像區域的深度范圍，并根據人像區域的深度范圍提取深度范圍內的與人臉區域相連接的計算人像區域。由于拍攝人像時人像所處的場景可能較為復雜，也即是說，與人像所處位置相鄰的位置上可能存在有其他物體，這些物體處于人像區域的深度范圍內，因此，在確定計算人像區域后，需將計算人像區域與預估人像區域進行匹配，匹配成功則可將計算人像區域確定為人像區域。
在另一些實施方式中，步驟s20還包括以下步驟：
處理場景主圖像以得到彩色邊緣圖；和
利用彩色邊緣圖修正人像區域的邊緣。
具體地，采用邊緣檢測算法對場景主圖像進行處理。通過對場景主圖像對應的圖像數據求微分以獲得具有階躍變化或屋頂變化的像素點的集合。常用的邊緣檢測算法包括roberts算子、sobel算子、prewitt算子、canny算子、laplacian算子、log算子等。在本發明的具體實施例中，可以采用上述的任一種邊緣檢測算法進行計算以獲得彩色邊緣圖，在此不做任何限制。
請參閱圖13，在某些實施方式中，處理方法還包括以下步驟：
s40：根據人像區域確定肢體區域；
步驟s30包括步驟：
s32：處理場景主圖像以降低人臉區域和/或肢體區域的飽和度。
請參閱圖14，在某些實施方式中，處理裝置100還包括第一確定模塊40。步驟s40可以由第一確定模塊40實現。步驟s32可以由第二處理模塊30實現。或者說，第一確定模塊40用于根據人像區域確定肢體區域，第二處理模塊30用于處理場景主圖像以降低人臉區域和/或肢體區域的飽和度。
在這樣的實施方式中，肢體區域包括頸部、手部臂部、腿部和/或腳部，其中，肢體區域與人臉區域顏色相近。
可以理解，由于人像區域還包括其他肢體區域，當肢體區域呈裸露狀態時，在飽和度處理上應當與人臉區域相近似，也即是降低飽和度，以使得人體膚色保持統一。具體的，可根據人像區域及人臉區域預估人體的骨骼分布，例如四肢的分布，從而確定肢體區域，較佳地，由于拍攝過程中，被攝人物的衣著及姿態不確定，僅根據骨骼分布確定肢體區域可能存在誤差，因此可結合人臉區域的顏色尋找及確定人像中的肢體區域。從而進一步對確定的肢體區域進行與人臉區域相同的飽和度處理，從而實現對肢體區域進行膚色保護。
請參閱圖15，在某些實施方式中，處理方法還包括步驟：
s50：確定場景主圖像除人像區域外的背景部分；和
s60：處理場景主圖像以提高背景部分的飽和度。
請參閱圖16，在某些實施方式中，處理裝置100還包括第二確定模塊50和第三處理模塊60。步驟s50可以由第二確定模塊50實現，步驟s60可以由第三處理模塊60實現。或者說，第二確定模塊50用于確定場景主圖像除人像區域外的背景部分，第三處理模塊60用于處理場景主圖像以提高背景部分的飽和度。
具體地，在確定人像區域后，可將剩余部分作為背景部分，此處的背景部分應當做廣義理解，也即是除人像區域外的全部區域，而并非僅是深度信息大于人像區域的區域。可以理解，提高背景部分的飽和度，可以使得圖像背景部分的顏色更加鮮艷明亮，并且由于降低了人像區域的飽和度，將使得人像區域，特別是人物皮膚的色彩更加自然。
請參閱圖17，本發明實施方式的電子裝置1000包括殼體300、處理器400、存儲器500、電路板600和電源電路700。其中，電路板600安置在殼體300圍成的空間內部，處理器400和存儲器500設置在電路板上；電源電路700用于為電子裝置1000的各個電路或器件供電；存儲器500用于存儲可執行程序代碼；處理器400通過讀取存儲器500中存儲的可執行程序代碼來運行與可執行程序代碼對應的程序以實現上述的本發明任一實施方式的圖像飽和度的處理方法。在對場景主圖像進行處理的過程中，處理器400用于執行以下步驟：
處理所述場景數據以判斷場景是否存在人像；
在存在所述人像時處理所述場景數據以識別人像區域；和
處理所述場景主圖像以降低所述人像區域的飽和度。
需要說明的是，前述對處理方法和處理裝置100的解釋說明也適用于本發明實施方式的電子裝置1000，此處不再贅述。
本發明實施方式的計算機可讀存儲介質，具有存儲于其中的指令，當電子裝置1000的處理器400執行指令時，電子裝置1000執行本發明實施方式的處理方法，前述對圖像飽和度的處理方法和處理裝置100的解釋說明也適用于本發明實施方式的計算機可讀存儲介質，此處不再贅述。
綜上所述，本發明實施方式的電子裝置1000和計算機可讀存儲介質，在被攝場景中存在人像區域時識別該人像區域，降低人像區域的飽和度，從而將人像區域單獨進行飽和度處理，降低人像區域的飽和度，有利于對人像區域的色彩表現，使得圖像效果更佳。
在本發明的實施方式的描述中，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特征的數量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個或者更多個所述特征。在本發明的實施方式的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。
在本發明的實施方式的描述中，需要說明的是，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接或可以相互通訊；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關系。對于本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明的實施方式中的具體含義。
在本說明書的描述中，參考術語“一個實施方式”、“一些實施方式”、“示意性實施方式”、“示例”、“具體示例”或“一些示例”等的描述意指結合所述實施方式或示例描述的具體特征、結構、材料或者特點包含于本發明的至少一個實施方式或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施方式或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施方式或示例中以合適的方式結合。
流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現特定邏輯功能或過程的步驟的可執行指令的代碼的模塊、片段或部分，并且本發明的優選實施方式的范圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本發明的實施例所屬技術領域的技術人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現邏輯功能的可執行指令的定序列表，可以具體實現在任何計算機可讀介質中，以供指令執行系統、裝置或設備(如基于計算機的系統、包括處理模塊的系統或其他可以從指令執行系統、裝置或設備取指令并執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"計算機可讀介質"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。計算機可讀介質的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(cdrom)。另外，計算機可讀介質甚至可以是可在其上打印所述程序的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。
應當理解，本發明的實施方式的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執行系統執行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現場可編程門陣列(fpga)等。
本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質中，該程序在執行時，包括方法實施例的步驟之一或其組合。
此外，在本發明的各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。所述集成的模塊如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。
上述提到的存儲介質可以是只讀存儲器，磁盤或光盤等。
盡管上面已經示出和描述了本發明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的范圍內可以對上述實施方式進行變化、修改、替換和變型。