專利名稱：基于圖像分割和語義提取實現人員行為識別的系統及方法
技術領域：
本發明涉及圖像信息處理技術領域，特別涉及圖像信息智能識別技術領域，具體是指一種基于圖像分割和語義提取實現人員行為識別的系統及方法。
背景技術：
隨著計算機技術和多媒體技術的快速發 展，圖像的數量也極大地增長，如何從海量的圖像庫中快速、準確的檢測到所需求的圖像成為了當今多媒體技術中研究的熱點問題。傳統的基于文本的圖像檢索技術需要管理員手工對圖像進行標注，不僅消耗了大量的人力，而且人工標注圖像的主觀性很大，對于不同的管理員，標注的結果可能不同。基于內容的圖像檢索方法(Content-Based Image Retrieval,CBIR)應運而生，特別是基于圖像內容的圖像語義特征成為新的研究熱點。圖像語義按照復雜程度分為三個層次第一層是特征語義層。通過圖像的底層視覺特征如顏色、紋理及形狀等及其組合來提取相關語義描述；第二層是對象語義層。通過識別和推理找出圖像中的具體目標對象及其相互之間的關系，然后給出語義表達；第三層是抽象語義層。通過圖像包含的對象、場景的含義和目標進行高層推理，得到相關的語義描述。這個層次的語義主要涉及圖像的場景語義、行為語義和情感語義。基于內容的圖像檢索技術是依靠圖像的低層視覺特征(顏色、紋理、形狀等)來進行檢索的，但是人對圖像的認識是一個利用自己的先驗知識推理圖像語義的過程，這樣導致了圖像的底層視覺特征和圖像語義之間的“語義鴻溝”，由此造成圖像語義與圖像實際表達含義之間存在距離，識別準確率低，進而造成基于內容的圖像檢索方法效率較低。
發明內容
本發明的目的是克服了上述現有技術中的缺點，提供一種將圖像的高層語義和底層視覺特征相結合，通過支持向量機(SVM)將圖像的底層特征映射為高層語義，在圖像及圖像描述之間建立映射關系，從而使計算機能夠通過數字圖像處理和分析來理解畫面中的內容，在不需要人為干預的情況下，實現對場景中人員行為的智能檢測，減小“語義鴻溝”，從而利用視頻監控圖像處理技術從大量的視頻數據中提取用戶需要少量視頻信息，大幅提高圖像中人員行為識別的準確性，且實現方式簡便，應用成本低廉，應用范圍也較為廣泛的基于圖像分割和語義特征提取實現人員行為識別檢測的系統及方法。為了實現上述的目的，本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統具有如下構成該系統包括圖像采集單元、人員行為檢測上位機、用戶查詢單元和輸出接口單元。其中，圖像采集單元用以采集圖像數據；人員行為檢測上位機連接于所述的圖像采集單元，用以對于所述的圖像數據中的人員行為進行識別，并通過圖像分割和圖像語義特征提取產生對應的人員行為表述信息；用戶查詢單元連接于所述的人員行為檢測上位機，用以提供用戶進行對于所述的人員行為表述信息的查詢；輸出接口單元用以向外部連接設備或網絡提供所述的人員行為表述信息。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的人員行為檢測上位機包括圖像分割單元和語義特征提取單元。其中圖像分割單元連接于所述的圖像采集單元，用以將所述的圖像數據分割為子圖像數據；語義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元，用以對所述的子圖像數據中的人員行為進行識別和描述，產生所述的人員行為表述信息。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的圖像分割單元包括數據幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元。其中，數據幀采樣子單元連接所述的圖像采集單元，對所采集的圖像數據進行數據幀采樣；平滑處理子單元連接所述的數據幀采樣子單元，對采樣獲得的數據幀圖像進行平滑處理；小波變換子單元連接所述的平滑處理子單元，對經過平滑處理的圖像進行小波變換處理；閾值分割子單元連接所述的小波變換子單元和所述的語義特征提取單元，對經過小波變換處
理的圖像進行閾值分割，產生所述的子圖像數據。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的圖像分割單元還包括底層視覺特征提取子單元，該底層視覺特征提取子單元連接于所述的閾值分割子單元與所述的語義特征提取單元之間，用以提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的語義特征提取單元包括標準圖像語義知識庫、高層語義特征映射子單元和行為描述子單元。其中標準圖像語義知識庫用以存儲行為模板圖像與對應的語義信息；高層語義特征映射子單元連接于所述的圖像分割單元，用以根據所述的子圖像數據映射產生支持向量機的高層語義特征；行為描述子單元分別連接所述的高層語義特征映射子單元和所述的標準圖像語義知識庫，根據所述的高層語義特征與所述的標準圖像語義知識庫內的行為模板圖像進行匹配，獲取對應的語義信息，產生所述的人員行為表述信息。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的標準圖像語義知識庫包括行為模板庫和語義知識庫；其中，行為模板庫用以存儲行為模板信息；語義知識庫用以存儲與所述的行為模板信息對應的語義知識信息；所述的行為描述子單元包括行為識別功能單元和行為語義提取功能單元，其中行為識別功能單元，分別連接所述的高層語義特征映射子單元和所述的行為模板庫，用以根據所述的高層語義特征與所述的行為模板庫內的行為模板信息匹配，產生基于樹形向量機分類的圖像語義特征；行為語義提取功能單元則分別連接所述的行為識別功能單元和所述的語義知識庫，用以根據所述的基于樹形向量機分類的圖像語義特征，從所述的語義知識庫獲取對應的語義知識信息，產生基于Web本體語言結構化的圖像描述高級語義數據作為所述的人員行為表述信息。該基于圖像分割和語義特征提取實現人員行為識別檢測的系統中，所述的輸出接口單元為USB接口。本發明還提供一種利用所述的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法，該方法包括以下步驟(I)所述的圖像采集單元采集圖像數據；(2)所述的人員行為檢測上位機通過圖像分割和圖像語義特征提取對所述的圖像數據中的人員行為進行識別，并產生對應的人員行為表述信息；(3)用戶通過所述的用戶查詢單元對于所述的人員行為表述信息進行查詢；(4)系統通過所述的輸出接口單元向外部連接設備或網絡提供所述的人員行為表述信息。該基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的人員行為檢測上位機包括圖像分割單元和語義特征提取單元；所述的圖像分割單元連接于所述的圖像采集單元；所述的語義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元；所述的步驟(2)具體包括以下步驟(21)所述的圖像分割單元將所述的圖像數據分割為子圖像數據；(22)所述的語義特征提取單元對所述的子圖像數據中的人員行為進行識別和描
述，產生所述的人員行為表述信息。該基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的圖像分割單元包括數據幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元，所述的步驟(21)具體包括以下步驟(21-1)所述的數據幀采樣子單元對所采集的圖像數據進行數據幀采樣；(21-2)所述的平滑處理子單元對采樣獲得的數據幀圖像進行平滑處理；(21-3)所述的小波變換子單元對經過平滑處理的圖像進行小波變換處理；(21-4)所述的閾值分割子單元對經過小波變換處理的圖像進行閾值分割，產生所述的子圖像數據。該基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的圖像分割單元還包括連接于所述的閾值分割子單元與所述的語義特征提取單元之間的底層視覺特征提取子單元，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。該基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的語義特征提取單元包括標準圖像語義知識庫、高層語義特征映射子單元和行為描述子單元，所述的步驟(22)具體包括以下步驟(22-1)所述的高層語義特征映射子單元根據所述的子圖像數據映射產生支持向量機的高層語義特征；(22-2)所述的行為描述子單元根據所述的高層語義特征與所述的標準圖像語義知識庫內的行為模板圖像進行匹配，獲取對應的語義信息，產生所述的人員行為表述信息。該基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的標準圖像語義知識庫包括行為模板庫和語義知識庫；所述的行為描述子單元包括行為識別功能單元和行為語義提取功能單元；所述的步驟(22-2)具體包括以下步驟(22_2a)所述的行為識別功能單元將所述的高層語義特征與所述的行為模板庫內的行為模板信息匹配，產生基于樹形向量機分類的圖像語義特征；(22_2b)所述的行為語義提取功能單元從所述的語義知識庫獲取與所述的基于樹形向量機分類的圖像語義特征對應的語義知識信息，產生基于Web本體語言結構化的圖像描述高級語義數據，并將該圖像描述高級語義數據作為所述的人員行為表述信息。
采用了該發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統及方法，其系統包括圖像采集單元、人員行為檢測上位機、用戶查詢單元和輸出接口單元。該方法中人員行為檢測上位機通過圖像分割和圖像語義特征提取對圖像采集單元采集的圖像數據中的人員行為進行識別，并產生對應的人員行為表述信息，提供給用戶通過用戶查詢單元進行查詢或通過輸出接口單元向外部設備或網絡輸出。人員行為檢測上位機通過支持向量機(SVM)將圖像的底層特征映射為高層語義，在圖像及圖像描述之間建立映射關系，使計算機能夠通過數字圖像處理和分析來理解畫面中的內容，從而在不需要人為干預的情況下，實現對場景中人員行為的智能檢測，減小“語義鴻溝”，大幅提高圖像中人員行為識別的準確性，且本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統及方法，其系統結構簡單，方法實現方式簡便，應用成本低廉，應用范圍也較為廣泛。
圖I為本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統的框圖。
圖2為本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的方法的圖像分割流程示意圖。圖3為本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的方法中的人員行為智能檢測示意圖。圖4為本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的方法中的基于樹形SVM分類的圖像語義特征判別圖。圖5為利用本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統及方法實現人員行為智能檢測的實例示意圖。
具體實施例方式為了能夠更清楚地理解本發明的技術內容，特舉以下實施例詳細說明。請參閱圖I所示，為本發明的基于圖像分割和語義特征提取實現人員行為識別檢測的系統的框圖。在一種實施方式中，該系統包括圖像采集單元I、人員行為檢測上位機2、用戶查詢單元5和輸出接口單元6。其中，人員行為檢測上位機2連接于所述的圖像采集單元1，用戶查詢單元5和輸出接口單元6連接于所述的人員行為檢測上位機2。所述的輸出接口單元6可以為USB接口。利用該實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法包括以下步驟(I)所述的圖像采集單元采集圖像數據；(2)所述的人員行為檢測上位機通過圖像分割和圖像語義特征提取對所述的圖像數據中的人員行為進行識別，并產生對應的人員行為表述信息；(3)用戶通過所述的用戶查詢單元對于所述的人員行為表述信息進行查詢；(4)系統通過所述的輸出接口單元向外部連接設備或網絡提供所述的人員行為表述信息。
在一種較優選的實施方式中，所述的人員行為檢測上位機2包括圖像分割單元3和語義特征提取單元4。其中圖像分割單元3連接于所述的圖像采集單元I ;語義特征提取單元4分別連接于所述的圖像分割單元3、用戶查詢單元5和輸出接口單元6。利用該較優選的實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的步驟(2)具體包括以下步驟(21)所述的圖像分割單元將所述的圖像數據分割為子圖像數據；(22)所述的語義特征提取單元對所述的子圖像數據中的人員行為進行識別和描述，產生所述的人員行為表述信息。在一種進一步優選的實施方式中，所述的圖像分割單元包括數據幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元。其中，數據幀采樣子單元連接所述的圖像采集單元；平滑處理子單元連接所述的數據幀采樣子單元；小波變換子單元連接所述
的平滑處理子單元；閾值分割子單元連接所述的小波變換子單元和所述的語義特征提取單
J Li ο利用該進一步優選的實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的步驟(21)具體包括以下步驟(21-1)所述的數據幀采樣子單元對所采集的圖像數據進行數據幀采樣；(21-2)所述的平滑處理子單元對采樣獲得的數據幀圖像進行平滑處理；(21-3)所述的小波變換子單元對經過平滑處理的圖像進行小波變換處理；(21-4)所述的閾值分割子單元對經過小波變換處理的圖像進行閾值分割，產生所述的子圖像數據。在更進一步優選的實施方式中，所述的圖像分割單元還包括底層視覺特征提取子單元，該底層視覺特征提取子單元連接于所述的閾值分割子單元與所述的語義特征提取單元之間。利用該更進一步優選的實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。在另一種進一步優選的實施方式中，所述的語義特征提取單元包括標準圖像語義知識庫、高層語義特征映射子單元和行為描述子單元。其中標準圖像語義知識庫用以存儲行為模板圖像與對應的語義信息；高層語義特征映射子單元連接于所述的圖像分割單元；行為描述子單元分別連接所述的高層語義特征映射子單元和所述的標準圖像語義知識庫。利用該另一種進一步優選的實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的步驟(22)具體包括以下步驟(22-1)所述的高層語義特征映射子單元根據所述的子圖像數據映射產生支持向量機的高層語義特征；(22-2)所述的行為描述子單元根據所述的高層語義特征與所述的標準圖像語義知識庫內的行為模板圖像進行匹配，獲取對應的語義信息，產生所述的人員行為表述信息。在一種更優選的實施方式中，所述的標準圖像語義知識庫包括行為模板庫和語義知識庫；其中，行為模板庫用以存儲行為模板信息；語義知識庫用以存儲與所述的行為模板信息對應的語義知識信息；所述的行為描述子單元包括行為識別功能單元和行為語義提取功能單元，其中行為識別功能單元分別連接所述的高層語義特征映射子單元和所述的行為模板庫；行為語義提取功能單元則分別連接所述的行為識別功能單元和所述的語義知識庫。利用該更優選的實施方式的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法中，所述的步驟(22-2)具體包括以下步驟(22_2a)所述的行為識別功能單元將所述的高層語義特征與所述的行為模板庫內的行為模板信息匹配，產生基于樹形向量機分類的圖像語義特征；(22_2b)所述的行為語義提取功能單元從所述的語義知識庫獲取與所述的基于樹形向量機分類的圖像語義特征對應的語義知識信息，產生基于Web本體語言結構化的圖像描述高級語義數據，并將該圖像描述高級語義數據作為所述的人員行為表述信息。在本發明的應用中，如圖I所示，本發明的系統包括由人員行為智能檢測上位機軟件(固化于2內)、圖像采集單元I、圖像分割單元3、圖像語義特征提取單元4、用戶查詢單元5及USB設備6組成。其中圖像采集單元I通過PCI總線接口與圖像分割單元3、圖像語義特征提取單元4相連，USB設備6連接。實際應用中，圖像采集單元可以選擇微軟HD-300高清攝相頭，具有CMOS感光元件，USB接口及16 9的寬屏顯示；AD采樣采用Analog Device公司的AD9849實現；人員行為智能檢測上位機可以選擇普通的PC機。如圖2所示，圖像分割單元3由以下四個子程序構成A、對采集的圖像進行數據幀A\D采樣子程序；B、對圖像進行平滑處理子程序；C、小波變換子程序；D、閾值分割處理子程序。其中，圖像平滑處理的目的是為了減少圖像噪聲，從而改善圖像質量。圖像分割方法通常可以分為閾值分割方法、邊緣檢測方法、區域提取方法和結合特定理論工具的分割方法四類。本發明中將基于分形理論和小波變換理論等最新研究成果運用到圖像分割中。小波變換具有良好局部特性，當濾波函數尺度較大時，搞噪聲的能力強，當小波變換尺度較小時，提取圖像細節的能力強，這樣就可以很好地解決抑制噪聲和提取圖像邊緣細節之間的矛盾。圖像分割的具體工作過程是I)人員行為智能檢測上位機軟件打開后，HD-300高清攝相頭自動進入取景模式；2)將采集到的圖像通過PCI數據總線傳輸到AD9849進行數據幀AD轉換；3)圖像經過中值濾波等平滑濾波處理后，改善圖像質量；4)最后經過閾值判定，可以將圖像分割成若干個子圖像。同時還要提取有關各個子圖像的底層視覺特征(包括顏色特征、紋理特征、形狀特征、空間位置特征等)，作為度量圖像語義特征匹配判別的依據。對于離散情況，定義離散小波函數ffJ；k = 2_J/2ff(2_Jt-k)，其中 j, k e Z，
則信號f(t)的離散小波變換就定義為D[Wf (j, k) ] = 2_J/2 Σ f(t)ff (2_Jt-k) Δ t對于閾值分割處理，可以定義閾值估計方法
權利要求
1.一種基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的系統包括 圖像采集單元，用以采集圖像數據； 人員行為檢測上位機，連接于所述的圖像采集單元，用以對于所述的圖像數據中的人員行為進行識別，并通過圖像分割和圖像語義特征提取產生對應的人員行為表述信息；用戶查詢單元，連接于所述的人員行為檢測上位機，用以提供用戶進行對于所述的人員行為表述信息的查詢； 輸出接口單元，用以向外部連接設備或網絡提供所述的人員行為表述信息。
2.根據權利要求I所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的人員行為檢測上位機包括 圖像分割單元，連接于所述的圖像采集單元，用以將所述的圖像數據分割為子圖像數據； 語義特征提取單元，分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元，用以對所述的子圖像數據中的人員行為進行識別和描述，產生所述的人員行為表述信息。
3.根據權利要求2所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的圖像分割單元包括 數據幀采樣子單元，連接所述的圖像采集單元，對所采集的圖像數據進行數據幀采樣； 平滑處理子單元，連接所述的數據幀采樣子單元，對采樣獲得的數據幀圖像進行平滑處理； 小波變換子單元，連接所述的平滑處理子單元，對經過平滑處理的圖像進行小波變換處理； 閾值分割子單元，連接所述的小波變換子單元和所述的語義特征提取單元，對經過小波變換處理的圖像進行閾值分割，產生所述的子圖像數據。
4.根據權利要求3所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的圖像分割單元還包括 底層視覺特征提取子單元，連接于所述的閾值分割子單元與所述的語義特征提取單元之間，用以提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。
5.根據權利要求2所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的語義特征提取單元包括 標準圖像語義知識庫，用以存儲行為模板圖像與對應的語義信息； 高層語義特征映射子單元，連接于所述的圖像分割單元，用以根據所述的子圖像數據映射產生支持向量機的高層語義特征； 行為描述子單元，分別連接所述的高層語義特征映射子單元和所述的標準圖像語義知識庫，根據所述的高層語義特征與所述的標準圖像語義知識庫內的行為模板圖像進行匹配，獲取對應的語義信息，產生所述的人員行為表述信息。
6.根據權利要求5所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的標準圖像語義知識庫包括行為模板庫，用以存儲行為模板信息； 語義知識庫，用以存儲與所述的行為模板信息對應的語義知識信息； 所述的行為描述子單元包括 行為識別功能單元，分別連接所述的高層語義特征映射子單元和所述的行為模板庫，用以根據所述的高層語義特征與所述的行為模板庫內的行為模板信息匹配，產生基于樹形向量機分類的圖像語義特征； 行為語義提取功能單元，分別連接所述的行為識別功能單元和所述的語義知識庫，用以根據所述的基于樹形向量機分類的圖像語義特征，從所述的語義知識庫獲取對應的語義知識信息，產生基于Web本體語言結構化的圖像描述高級語義數據作為所述的人員行為表述信息。
7.根據權利要求I所述的基于圖像分割和語義特征提取實現人員行為識別檢測的系統，其特征在于，所述的輸出接口單元為USB接口。
8.一種利用權利要求I所述的系統實現基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的方法包括以下步驟 (1)所述的圖像采集單元采集圖像數據； (2)所述的人員行為檢測上位機通過圖像分割和圖像語義特征提取對所述的圖像數據中的人員行為進行識別，并產生對應的人員行為表述信息； (3)用戶通過所述的用戶查詢單元對于所述的人員行為表述信息進行查詢； (4)系統通過所述的輸出接口單元向外部連接設備或網絡提供所述的人員行為表述信肩、O
9.根據權利要求8所述的基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的人員行為檢測上位機包括圖像分割單元和語義特征提取單元；所述的圖像分割單元連接于所述的圖像采集單元；所述的語義特征提取單元分別連接于所述的圖像分割單元、用戶查詢單元和輸出接口單元；所述的步驟(2)具體包括以下步驟 (21)所述的圖像分割單元將所述的圖像數據分割為子圖像數據； (22)所述的語義特征提取單元對所述的子圖像數據中的人員行為進行識別和描述，產生所述的人員行為表述信息。
10.根據權利要求9所述的基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的圖像分割單元包括數據幀采樣子單元、平滑處理子單元、小波變換子單元和閾值分割子單元，所述的步驟(21)具體包括以下步驟 (21-1)所述的數據幀采樣子單元對所采集的圖像數據進行數據幀采樣； (21-2)所述的平滑處理子單元對采樣獲得的數據幀圖像進行平滑處理； (21-3)所述的小波變換子單元對經過平滑處理的圖像進行小波變換處理； (21-4)所述的閾值分割子單元對經過小波變換處理的圖像進行閾值分割，產生所述的子圖像數據。
11.根據權利要求10所述的基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的圖像分割單元還包括連接于所述的閾值分割子單元與所述的語義特征提取單元之間的底層視覺特征提取子單元，所述的步驟(21)在所述的步驟(21-4)之后還包括以下步驟(21-5)所述的底層視覺特征提取子單元提取所述子圖像的底層視覺特征，所述的底層視覺特征包括顏色特征、紋理特征、形狀特征和空間位置特征。
12.根據權利要求9所述的基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的語義特征提取單元包括標準圖像語義知識庫、高層語義特征映射子單元和行為描述子單元，所述的步驟(22)具體包括以下步驟 (22-1)所述的高層語義特征映射子單元根據所述的子圖像數據映射產生支持向量機的高層語義特征； (22-2)所述的行為描述子單元根據所述的高層語義特征與所述的標準圖像語義知識庫內的行為模板圖像進行匹配，獲取對應的語義信息，產生所述的人員行為表述信息。
13.根據權利要求12所述的基于圖像分割和語義特征提取進行人員行為識別檢測的方法，其特征在于，所述的標準圖像語義知識庫包括行為模板庫和語義知識庫；所述的行為描述子單元包括行為識別功能單元和行為語義提取功能單元；所述的步驟(22-2)具體包括以下步驟 (22-2a)所述的行為識別功能單元將所述的高層語義特征與所述的行為模板庫內的行為模板信息匹配，產生基于樹形向量機分類的圖像語義特征； (22-2b)所述的行為語義提取功能單元從所述的語義知識庫獲取與所述的基于樹形向量機分類的圖像語義特征對應的語義知識信息，產生基于Web本體語言結構化的圖像描述高級語義數據，并將該圖像描述高級語義數據作為所述的人員行為表述信息。
全文摘要
本發明涉及一種基于圖像分割和語義特征提取實現人員行為識別檢測的系統及方法。該系統包括圖像采集單元、人員行為檢測上位機、用戶查詢單元和輸出接口單元，該方法中人員行為檢測上位機通過圖像分割和圖像語義特征提取對圖像采集單元采集的圖像數據中的人員行為進行識別，產生人員行為表述信息。該方法中，人員行為檢測上位機通過支持向量機將圖像的底層特征映射為高層語義，在圖像及圖像描述之間建立映射關系，從而能夠通過數字圖像處理和分析來理解畫面中的內容，實現對場景中人員行為的智能檢測，大幅提高圖像中人員行為識別的準確性，且本發明的系統結構簡單，方法實現方式簡便，應用成本低廉，應用范圍也較為廣泛。
文檔編號G06K9/46GK102880873SQ20121031723
公開日2013年1月16日 申請日期2012年8月31日 優先權日2012年8月31日
發明者湯志偉, 齊力, 梅林 , 劉云淮, 朱學梅, 李震宇, 陳龍虎, 江洪, 王波 申請人:公安部第三研究所