專利名稱：：利用視覺特性偵測新聞片段中播報員畫面的方法
技術領域：
：本發明有關一種偵測新聞片段中播報員畫面的方法，尤指一種利用視覺特性偵測播報員出現的片段，以作為新聞切割成不同分類的依據。
背景技術：
：目前在一影像中，為了找出人臉所在位置，最常使用的方法是以局部特征(localfeatures)來進行辨識，而人臉所采用的局部特征不外乎為眼睛、鼻尖、嘴唇或臉頰、額頭等部位，可將這些局部特征與影像中所偵測到的畫面進行比對，以確定辨識結果。因此上述部位位置的確定便成為人臉辨識過程中的關鍵步驟。習用技術對于從人臉影像中找出眼、鼻、唇等臉部特征的方法大致可分為兩類。一類為使用影像處理法(imageprocessing)，例如過濾(filtering)、影l象型態運算(morphologicaloperation)、或臨界值運算(thresholdingoperation)等方法，來找出可能是臉部特征的候選部位，再進一步從這些候選部位中確認出特征部位；另一類系使用圖像比對法(graphmatching),亦即將人臉模型以特征的關聯圖(graph)表示，特征位置為節點(nodes)，節點間的聯機(edges)表示特征間的相對位置，其中每一節點是由影像處理方法算出附屬的特征值，再將模型在影像中的游走透過圖像比對方式以定出人臉特征位置。在影像處理法中，例如美國專利USP5,805,475號案，首先必須確定臨界(threshold)值，確定臨界值得方法可以用經驗值或藉由累積經驗值用統計的方法計算出一較佳值，而臨界值往往是造成辨識效果的關鍵。在此美國專利案中，影像型態運算以及臨界值運算均涉及好幾個臨界值的決定。這種采用經驗觀察(heuristic)法以決定臨界值的方法，必須常常隨著所觀察影像的表現而有所修正，大大增加了實際施行的困難度，無法迅速有效的辨別出影像中人臉特征。在圖像比對法中，例如美國專利USP6,222，939號案，每一個節點均附屬有一組特征值，為了與一圖像模型(graphmodel)作比對，則必須要在待測影像中計算這些特征值，縱使不用計算每個像素點，也必須擷取相當密集的點位置計算。此美國專利案的重點在于直接在影像的二維空間上作搜尋，且用來描述參考人臉影像所用的特征值較為繁復(如需計算二為頻語等)，因此每當要比對一待測影像的人臉特征時，都必須再經過多次繁復的計算與比對后，才可辨識出影像中的人臉特征，將對系統造成龐大負荷，無法提高使用效率。因此，前述在影像中將人臉特征定位的方法，仍存在有諸多缺失，而有予以改進的必要。
發明內容本發明利用視覺特性偵測新聞片段中播報員畫面的方法，是利用視覺特性來偵測新聞片段中播報員畫面，將新聞作不同分類的切割，其包含有下列步驟先提供新聞影像，利用色彩空間(YUV、NCC、HSL)對原始影像作膚色分析偵測，并配合膚色偵測影像中的物體是否移動，再利用影像型態學(Morphology)中的斷開運算包含(Dilation、Erosion),把人臉影像周圍的噪聲去除，以及運用連接元區域標定程序(ComponentConnectedLabeling),才巴IH象中屬于同一只十象的相連影像找出，以便獲得物體面積、高度和寬度等信息，進而獲得播報員人臉范，再偵測播報員可能出現片段，最后再作一次播報員偵測，以正確得知播報員出現的片段。圖1為本發明中整體架構的流程示意圖；圖2為本發明中位置像素P于矩陣排列的示意圖；圖3為本發明中標定出影像對象的流程示意圖；圖4為本發明中連接元區域標定的示意圖；圖5為本發明中偵測播報員是否移動的流程示意圖；圖6為本發明中偵測播報員可能出現片段的流程示意；圖7為本發明中在非膚色區域之中計算直方圖的差距(Histogramdifferencebasedonnon-Skincolorregion)的流程示意圖；圖8為本發明中從主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)的流程示意圖。具體實施例方式為能使貴審查員清楚本發明的組成，以及實施方式，茲配合圖式說明如下本發明利用視覺特性偵測新聞片段中播報員畫面的方法，如圖l所示為本發明的流程示意圖，其包含下列步驟a、提供新聞影像；b、進行膚色分析(Skincolordetection);c、酉己合月夫色的秀多動物體偵觀寸(Shotchangedetectionbasedonskincolor);d、偵測#番才艮員可能出現片段(Probableanchorpersonsegmentdetection);e、最后再由播報員可能出現的片段再作一次播報員偵測(Anchorpersondetection),最后可正確得知4番才艮員出現的片段，進而依據播報員出現的片段可將新聞作不同分類的切割，以達到新聞分類的目的。今針對每一步驟說明如下其中，步驟b:膚色分析(Skincolordetection)要找出膚色的區域就必須定義膚色的顏色為何，由于膚色與一般環境的色彩有顯著的差異，但在RGBspace里定義的影像顏色會因光源強弱的關系而有深淺的變化，所以直接在RGBspace上作顏色的分割會有很大的誤差，因此可采用對光線強弱較不敏感的色彩空間(colorspace),例如YUV、NCC、HSL等，以下為針對各色彩空間與R、G、B之間的關系以及其臨界值說明如下。1、YUV其與R、G、B屬于線性關系，公式如下、、r0.2990.5870.114—Ru-0.147-0.2890.437G、vj、0.615-0.515-0.100B、乂而其膚色的臨界值為60<Y<255-25<U<010<V<452、NCC其與R、G、B的關系，公式如下r=R/(R+G+B)g=G/(R+G+B)而其膚色的臨界值為Upperbound:(-1.376)x(rxr)+1.0743xr+0.1452Lowerbound:(畫0.766)x(rxr)+0.5601xr+0.1766w=(r-0.33)x(r-0.33)+(g-0.33)x(g-0.33)3、HSL其與R、G、B的關系，公式如下<formula>formulaseeoriginaldocumentpage8</formula>而其膚色的臨界值為0.028^0.724步驟c:酉己合膚色的移動物體偵測(Shotchangedetectionbasedonskincolor)包含有膚色調整步驟(StableSkincolorSegmentDetection)以及連接元區域標定步驟(ComponentConnectedLabeling),可標定出影像中各個獨立的對象，進而獲得播報員人臉范圍，并利用該播報員人臉范圍中的膚色分析形成一膚色臨界值，再于固定時間間距擷取復數影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。其中，膚色調整步驟(StableSkincolorSegmentDetection)系利用影像型態學(Morphology)中的斷開運算(openingoperation)包含膨脹(Dilation)以及侵蝕(Erosion)，其膨脹(Dilation)系對影像作膨脹來擴張區域，而侵蝕(Erosion)則對影像作侵蝕來縮小區域，可依據影像而選擇先進行膨脹(Dilation)再侵蝕(Erosion)(即Closing)，或先進行侵蝕(Erosion)再膨脹(Dilation)(即Opening)。經過上述程序之后可將人臉影像周圍的噪聲去除，而不論膨脹或是侵蝕，都是用屏蔽(Mask，及一個NxN的矩陣，在本系統中使用的大小為3x3)，并對膚色分析后的二值影像作屏蔽運算，并將運算結果標示于新的影像上。其中，膨脹(Dilation)判斷所在位置像素P在新影像中是否為l,若符合的話，判斷其周圍8點是否有值為1，若有則P為1反之為0，如圖2所示，亦即P=Pl門P2門P3門P4門P5門P6門P7門P8n:代表AND運算而侵蝕(Erosion)與膨脹類似，判斷所在位置像素P在新影像中是否為l，若符合的話，判斷其周圍8點是否所有值皆為1，若有則P為1反之為0，亦即P=PIUP2UP3UP4UP5UP6UP7UP8U:代表OR運算當完成上述斷開運算處理后，再運用連接元區域標定程序(ComponentConnectedLabeling)把影像中屬于同一對象的相連影像找出，如圖3所示，以便獲得物體面積、高度和寬度等信息，并藉此標定出影像中各個獨立的對象。其作法為從上方其中一角落處開始掃描待標記的二值影像，當遇到像素值為l時，則依次檢查其上、下、左、右是否有同樣為l的點，若有則將其坐標紀錄下來，并把其值設為l,之后依序遞歸的去檢查剛剛所紀錄點的下、左、右、上是否也有l的點存在，若有也將其坐標紀錄下來，并把其值設為l，如圖4所示；持續整個遞歸的檢查，直到所有紀錄點的周圍都不再有l的點出現為止，即可停止遞歸檢查的動作，如此一來便可以找出第一個群組的對象。依此類推，當整張影像都掃描遞歸完，即可統計出在影像中所有對象的面積、高度和寬度等信息。故先利用色彩空間(YUV、NCC、HSL)對原始影像作膚色分析偵測，并將偵測出來的膚色結果轉成二值影像(BinaryImage),再利用影^象型態學(Morphology)中的斷開運算包含膨脹(Dilation)、侵蝕(Erosion)，把人臉影像周圍的噪聲去除，以及運用連元區域標定程序(ComponentConnectedLabeling),把影像中屬于同一對象的相連影像找出，以便獲得物體面積、高度和寬度等信息，進而獲得播報員人臉范圍，并利用該播報員人臉范圍中的膚色分析形成一膚色臨界值，如圖5所示，再于固定時間間距擷取復數影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。步驟d:偵測播報員可能出現片段(Probableanchorpersonsegmentdetection)若要區別播報員以及非播報員的影像，則利用上述找出播報員以及非播報員的人臉范圍后，并分析于各個人臉范圍中屬于膚色以及非膚色區域(通常為衣服的顏色)，并將兩種區域作成長條圖(histogram)。若所得人臉范圍的寬度大于高度時(因通常人臉范圍寬度小于高度)，則再利用修改程序(Modification)方式對該人臉范圍再作一次定位后，取得正確的人臉范圍再取膚色以及非膚色區域作成長條圖，如圖6所示。經由播報員以及非播報員的人臉范圍非膚色區域的長條圖(non-Skincolorregionhistogram),比4交其差異(因為月夫色區域的差異可能不大，故取非膚色區域為兩者衣服的差異作比較)，即可找出播報員可能出現的片段。步驟e:才番才艮員偵測(Anchorpersondetection)包含有在非膚色區域之中計算直方圖的差距(Histogramdifferencebasedonnon-Skincolorregion)以及穩態物體處理(找出穩定片段中的特性)[Staticobjectprocess(Findfeaturesofstablesegment)]，其中，在非膚色區域之中計算直方圖的差距的方式同上所述，于新聞畫面中取得連續影像，再由各影像中的人臉范圍中取得非膚色區域的長條圖，再比較各長條圖的差異，如圖7所示，若大于臨界值則判定是為播報員出現的片段，反之，則判定是為新聞報導的片段。而穩、態物體處理包含類似于標志偵觀'J(SimilartoLogodetection)以及從主播片段中找出主播的特性(FindAnchorpersonfeaturesfromAnchorpersonsegment)，其似于標志偵測就是將一段影片中一直存在的物體找出來。在電視節目或電^f見新聞中該臺的Logo通常都會一直存在于畫面中，我們可以利用一直存在這個特性來偵測Logo的位置，只要使用連續影像相減法，就可以完成。兩張影像相減之后，只將顏色相近的位置保留下來，處理一段時間后即可將Logo的位置偵測出來。而從主播片段中找出主播的特性是先于播報員出現的片段中取得連續影像，并利用機率的方式計算相連性(Correlation)及照度值(luminance)的平均值(mean)以及標準差(standarddeviation)以做為臨界值，如圖8所示，若影片的相連性(Correlation)及照度值(luminance)大于臨界值則判定視為播報員出現的片段，反之，則判定是為新聞報導的片段。經由上述各步驟后，最后可正確得知播報員出現的片段，進而將新聞作不同分類的切割，而達到將新聞分類的目的。如上所述，本發明提供一利用視覺特性偵測新聞片段中播報員畫面的方法，于是依法提呈發明專利的申請；然而，以上的實施說明及圖式所示，是本發明較佳實施例者，并非以此局限本發明，是以，舉凡與本發明的構造、裝置、特征等近似、雷同的，均應屬本發明的創設目的及申請專利范圍之內。權利要求1、一種利用視覺特性偵測新聞片段中播報員畫面的方法，包含下列步驟a、提供新聞影像；b、進行膚色分析；c、配合膚色的移動物體偵測；d、偵測播報員可能出現片段；e、最后再由播報員可能出現的片段再作一次播報員偵測，最后可正確得知播報員出現的片段。2、如權利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該膚色分析是利用一般所使用的色彩空間對顏色作分割。3、如權利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中移動物體偵測系配合膚色作判斷，先將播報員的膚色分析形成一膚色臨界值，再于固定位置于固定時間間距擷取復數影像，將各影像的膚色與膚色臨界值相比較，若大于該臨界值則判定出播報員有移動。4、如權利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中配合膚色的移動物體偵測可包含有膚色調整步驟以及連接元區域標定步驟。5、如權利要求4所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該膚色調整步驟系利用影像型態學中的斷開運算。6、如權利要求5所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中斷開運算包含膨脹以及侵蝕。7、如權利要求6所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中膚色調整步驟完成后，可再運用連接元區域標定步驟把影像中屬于同一對象的相連影像找出，以便獲得物體面積、高度和寬度等信息，并藉此標定出影像中各個獨立的對象。8、如權利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該偵測播報員可能出現片段的步驟，系針對新聞片段中播報員以及非播報員的人臉范圍非膚色區域，形成復數個長條圖，比較其差異，即可找出播報員可能出現的片段。9、如權利要求1所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該播報員偵測可包含有在非膚色區域之中計算直方圖的差距以及穩態物體處理。10、如權利要求9所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中該在非膚色區域之中計算直方圖的差距是于新聞畫面中取得連續影像，再由各影像中的人臉范圍中取得非膚色區域的長條圖，再比較各長條圖的差異，若大于臨界值則判定視為播報員出現的片段。11、如權利要求9所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中穩態物體處理包含類似于標志偵測以及從主播片段中找出主播的特性。12、如權利要求11所述利用視覺特性偵測新聞片段中播報員畫面的方法，其中類似于標志偵測是將一段影片中一直存在的物體找出來，藉由連續影像相減法，將兩張影像相減之后，只將顏色相近的位置保留下來，處理一段時間后即可將Logo的位置偵測出來。13、如權利要求11所述利用視覺特性偵測新聞片段中播報員畫面的方法，其從主播片段中找出主播的特性是于播報員出現的片段中取得連續影像，并利用機率的方式計算相連性及照度值的平均值以及標準差，以當做一臨界值，若影片的相連性及照度值大于臨界值則判定視為播報員出現的片段。全文摘要本發明利用視覺特性來偵測新聞片段中播報員畫面，將新聞作不同分類的切割，其包含有下列步驟先提供新聞影像，并利用色彩空間對影像作膚色分析偵測，并配合膚色偵測影像中的物體是否移動，再利用影像型態學，把人臉影像周圍的噪聲去除，并獲得播報員人臉范圍，再偵測播報員可能出現片段，最后再作一次播報員偵測。文檔編號G06K9/00GK101114334SQ20061009926公開日2008年1月30日申請日期2006年7月25日優先權日2006年7月25日發明者葉家宏,呂科諺,張敏寬,施宣輝申請人:智輝研發股份有限公司