專利名稱：基于目標特征和報警行為的智能視頻檢索系統和方法
技術領域：
本發明涉及一種智能視頻檢索系統和方法，尤其涉及一種綜合利用視頻中的目標 特征和報警行為的智能視頻檢索系統和方法。
背景技術：
視頻監控系統存儲了海量的視頻數據，在目前的視頻監控管理平臺中，一般是基 于攝像機安裝位置或IP地址并結合時間，對這些視頻進行查詢和回放。但對于一些特定 應用，傳統的查詢方式無能為力，比如刑偵時查找，并不知道攝像機安裝位置和具體拍攝時 間，而只是知道嫌疑犯的一些特征；又比如一輛車被盜，要從幾天的視頻中定位其被盜時 間；又比如想快速瀏覽進出某個大門的人和車輛。隨著“平安城市”等大型安防監控系統的 建設，對海量視頻的維護量也越來越大，對快速智能檢索的需求越來越強烈。當前出現了很多智能視頻分析器產品，在監控系統中做行為分析和實時報警，但 還沒有專門針對歷史視頻對指定的報警行為作視頻檢索；當前也有一些基于內容(即各種 圖像特征)的視頻檢索產品，對電影或者新聞鏡頭進行分析檢索。這些產品和學術研究為 實現監控系統的海量視頻的綜合智能檢索提供了技術條件。
發明內容
技術問題本發明所要解決的技術問題是克服現有的視頻檢索方式的不足，提 供一種綜合利用目標特征和報警行為的智能視頻檢索系統和方法。技術方案本發明的基于目標特征和報警行為的智能視頻檢索系統為綜合利用視 頻中運動目標的特征及產生的報警行為的智能視頻檢索系統，其包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關信息存入特征數據 庫；搜索引擎模塊解析用戶輸入的檢索條件，從數據庫中進行基于特征和行為的視 頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結果。所述的特征存儲模塊，運動軌跡信息包括每隔一定時間的目標的尺寸、速度、方向 和軌跡的圖像坐標及所在幀序號；報警行為信息包括行為類型及是否發生；目標特征包括 顏色、紋理、形狀，均以整數向量表示；目標類別為人、車輛、動物或其它，用對應英文表示； 以上信息存儲到XML文件或直接存于數據庫。所述的搜索引擎模塊包括以下功能1).根據用戶選擇的文字描述的特征組合在特征數據庫進行比對查找，返回匹配 記錄；2).根據用戶選擇的圖像或視頻截圖，提取特征向量，即提取輸入查詢圖像中的顏色，紋理，及形狀特征向量，在特征數據庫中逐一計算向量間距離并加權排序；3).根據用戶選擇的報警類型及對應的規則，與特征數據庫中的軌跡逐一進行匹 配計算，提取出滿足規則的軌跡作為報警行為；4).結合步驟1)、步驟2)和步驟3)中得到的結果進行綜合加權和排序。所述的檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征、 類型、報警行為類型及其準則，條件為其中之一或其組合，并可指定各種特征的權重。其中 的目標特征的輸入有以下方式；(1)文字描述的特征，(2)用戶草圖描述的特征，(3)樣例圖 像或視頻作為目標特征。基于目標特征和報警行為的智能視頻檢索方法包括以下步驟1).監控系統運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警 行為和目標特征存入特征數據庫；2).用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結 果，顯示在檢索終端。6.如權利要求5所述的基于目標特征和報警行為的智能視頻檢索方法，其特征在 于，還可以按照以下步驟進行1).用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板 圖像作為目標特征，根據需要輸入報警行為規則；2).用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和 特征提取，把得到的目標軌跡、報警行為和目標特征存入特征數據庫；3).用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結果顯示在檢索終端。有益效果本檢索系統采用先進的目標跟蹤算法、特征提取算法、先進的數據庫結 構和用戶接口 ；與現有技術相比，使用本檢索系統，用戶可以非常精確地定制檢索條件，可 以作基于目標特征和基于報警行為的視頻檢索；對實時分析所產生的特征可以非常快速的 得到檢索結果，并且系統記錄了目標的運動軌跡，因此可以根據軌跡與保健規則的匹配快 速檢測多類報警行為；特征數據庫的存儲成本很低。
圖1為本發明的系統框圖。圖2為本發明實施例一的流程圖。圖3為本發明實施例二的流程圖。
具體實施例方式下面將結合附圖和實施例對本發明作進一步的詳細描述(1)軌跡跟蹤模塊，分析輸入視頻，提取目標的運動軌跡，若定義了行為報警規則， 則當運動軌跡觸發該行為規則時會產生報警行為。(2)特征提取模塊，分析輸入圖像，提取圖像的全部或從步驟⑴得到的目標區域 的特征，包括顏色、紋理、形狀和類別。(3)特征存儲模塊，把軌跡跟蹤模塊提取的運動軌跡和報警行為，以及特征提取模 塊提取的目標的顏色、形狀和紋理特征、，連同攝像機地點和拍攝時間，存入特征數據庫，可以用XML文件的形式存儲，也可直接存入數據庫。(4)搜索引擎模塊，解析用戶輸入的檢索條件，從數據庫中進行基于特征和行為的 視頻檢索，返回滿足條件的視頻片段，按相似度排序。其中相似度的計算，對于文字描述的 特征，值為1(匹配)或0(不匹配)，對于樣例圖像特征，值為歸一化的向量間的歐氏距離， 目標行為則根據目標運動軌跡和定義的規則的相交判斷，值為1或0，最后把所有的相似度 按權值加權求和。(5)檢索終端，即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結果。上述(5)檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征 (顏色、形狀、紋理)、目標類型(人、車輛)、報警行為類型(越線、越區、逆行、物體遺留、指 定物體出現、指定物體消失)及其準則(拌線、區域)，條件為其中之一或其組合，并可指定 各種特征的權重。其中的目標特征的輸入有以下方式；(1)文字描述的特征，如選擇了顏色特征，則需指定為以下顏色之一紅、綠、藍、 黃、青、黑、白、銀灰等；如選擇形狀特征，則需指定為以下形狀之一正方形、矩形、三角形、 圓形等。(2)用戶草圖描述的特征，比如，從調色板選擇一種顏色、草圖勾畫一個多邊形輪 廓、草圖畫一張紋理圖案。(3)輸入模板圖像，打開樣例圖像或視頻，由檢索系統提取圖像或者視頻截圖的顏 色、形狀、紋理特征作為隱式目標特征。檢索終端調用搜索引擎，得到檢索結果，以縮略圖形式顯示，并顯示所在視頻的相 關信息，包括拍攝地點、拍攝時間、所處幀號、相似度打分等，雙擊每個縮略圖可播放對應視 頻中對應幀號前后的視頻片段。綜合利用視頻中運動目標的特征及產生的報警行為的智能視頻檢索方法，包括以 下步驟(1)對視頻做軌跡跟蹤，得到每個運動目標的運動軌跡，若定義了報警規則則判斷 是否觸發了報警；(2)對運動目標區域做特征提取，得到目標的顏色、紋理和形狀特征；(3)把運動目標的軌跡、報警、特征信息存入數據庫；(4)根據輸入條件從數據庫查詢滿足要求的目標和報警行為。步驟(1)軌跡跟蹤所用的目標跟蹤算法和行為分析算法(1)運動軌跡采用基于Harris角點提取、SIFT特征匹配、跟蹤后聚類的方法得 到，或者基于高斯背景模型、提取背景差分后提取輪廓并跟蹤得到，跟蹤算法可以根據時間 需要跳幀執行，每0.5秒記錄一次目標的尺寸、速度、方向和軌跡的圖像坐標、對應的幀序 5等{曰息。(2)行為分析以目標跟蹤得到的運動軌跡為基礎，根據運動軌跡和設定準則的 相交來判斷如軌跡與絆線相交則發生越線行為、軌跡與區域相交則發生越區行為、運動方 向與指定方向相反則發生逆行行為、若軌跡長期停留在一處則為物體遺留；指定物體出現 和指定物體消失，需根據物體特征比對(Harris角點匹配，或SIFT特征匹配，或模板匹配) 來判斷。
步驟(2)特征提取所用的算法(1)顏色特征視頻幀或圖像解碼為彩色位圖，并從RGB(紅、綠、藍)顏色空間轉 換到HSV(色度、飽和度、亮度)顏色空間，建立直方圖作為特征向量。(2)形狀特征采用MPEG-7標準中的邊緣直方圖描述符(Edge HistogramDescriptor)實現作為特征向量。(3)紋理特征采用MPEG-7標準中的曲率尺度空間(Curvature Scale Space)或 局部二進制模式(Local Binary Pattern)作為特征向量。(4)目標類別根據目標的形狀特征、寬高比、紋理特征進行歸類為人、車輛、動物 或其它；也可根據事先用梯度直方圖(Histogram of Gradient)特征訓練的模型來進行學 習識別。指定特征描述和報警行為規則，在監控系統錄制的視頻中進行檢索，本發明所述 的智能檢索方法，包括以下步驟(1)監控系統運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警 行為和目標特征存入特征數據庫。(2)用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結 果，顯示在檢索終端。若通過輸入樣例圖像隱式指定目標特征，或只在指定視頻文件中進行檢索，本發 明還可以下步驟進行(1)用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板 圖像作為目標特征，根據需要輸入報警行為規則。(2)用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和 特征提取，把得到的目標軌跡、報警行為和目標特征存入特征數據庫。(3)用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結果顯示在檢索終端。圖1是本發明的系統框圖，以特征數據庫為中心，視頻流通過軌跡跟蹤模塊把目 標軌跡和報警信息送入特征存儲模塊、同時把目標區域送入特征提取模塊，得到的目標特 征也送入特征存儲模塊，這些信息匯總存于特征數據庫；用戶通過檢索終端(客戶端軟件) 輸入查詢條件，檢索終端自動調用搜索引擎模塊向特征數據庫查詢，查詢結果通過搜索引 擎模塊返回給檢索終端顯示。其中查詢條件包括但不限于目標特征描述(顏色、形狀、紋理)、樣例圖像或樣例 視頻的截屏作為模板(由系統自動提取其顏色、形狀、紋理、類別特征)、拍攝時間、拍攝地 點、報警行為類型(越線、越區、逆行、物體遺留、指定物體出現、指定物體消失)及對應的 行為規則(直線或區域)、限定檢索范圍為一個或多個視頻文件等，以上檢索條件可任意組 合，并指定各自的權重。特征數據庫的生成可由攝像機拍攝時在線生成，也可從用戶臨時指定的視頻中生 成，都是通過調用軌跡跟蹤模塊、特征提取模塊和特征存儲模塊得到。檢索終端軟件在界面上包含有目標特征類別及各自的特征描述列表，拍攝時間 列表、拍攝地點列表、報警行為列表、畫直線和畫區域工具、選擇樣例圖像并顯示、選擇樣例 視頻、播放和截屏、指定在其中做檢索的一個或多個視頻文件、縮略圖顯示檢索結果、雙擊 可播放對應的視頻片段等用戶接口。
實施例一本發明實施例一流程圖如圖2所示，用戶在監控系統的視頻中檢索滿足條件的視 頻片段，檢索按以下步驟進行(1)監控系統平時運行時，攝像機的視頻源做軌跡跟蹤和特征提取，并把提取的目 標軌跡、報警行為和目標特征存入了特征數據庫。(2)用戶從檢索終端輸入檢索條件，主要是各類特征描述和報警規則。比如檢索穿 越某條警戒線的紅色汽車，則目標特征設定為紅色，目標類別為汽車，報警行為為越線，并 畫直線作為拌線規則。如果不設報警規則，則為檢索所有的紅色汽車；如果不設目標特征， 只有報警規則，則為檢索任意運動目標越過警戒線的所有報警行為。(3)檢索終端調用搜索引擎得到檢索結果，以縮略圖形式顯示，并顯示所在視頻的 相關信息，包括拍攝地點、拍攝時間、所處幀號、相似度打分等，雙擊縮略圖可播放對應視頻 中對應幀號前后的視頻片段。實施例二本發明實施例二流程圖如圖2所示，監控系統沒有運行，或監控系統沒有做軌跡 跟蹤和特征提取，或者用戶不關心監控系統的視頻數據，總之是沒有用戶需要的特征數據 庫。用戶在指定的視頻中檢索與指定圖像相似的視頻片段，檢索按以下步驟進行(1)用戶從檢索終端輸入檢索條件，此時的目標特征不是根據描述，而是打開一幅 圖像作為模板，或者打開一個視頻播放到某幀時作截屏，在模板圖像或者截屏圖像設定感 興趣區域，此區域圖像成為目標模板；檢索終端會自動做特征提取以得到目標特征向量，用 戶還可設定所關心的特征類型以及報警規則，這些條件都會自動送入搜索引擎。比如檢索 與指定模板圖像的形狀相似的目標越過該區域的報警行為，設定特征類型為形狀，報警行 為為越區，并畫一個多邊形區域。如果不設報警規則，則為檢索所有與模板圖像的形狀特征 相似的運動目標；如果不設特征類型，只有報警規則，則為檢索與模板圖像的整體特征相似 的目標越過該區域的所有報警行為。(2)用戶通過檢索終端指定在某些視頻文件中進行檢索，此時檢索終端會自動做 軌跡跟蹤和特征提取，對這些視頻進行分析，并把提取的目標軌跡、報警行為和目標特征存 入特征數據庫，這一步的執行時間與視頻內容的多少有關。(3)用戶通過檢索終端開始檢索時，由搜索引擎得到檢索結果，反映在檢索終端的 界面上。本發明還可以有其它實施方法，凡采用同等替換或等效變換形成的技術方案，均 落在本發明要求保護的范圍之內。
權利要求
一種基于目標特征和報警行為的智能視頻檢索系統，其特征在于，包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關信息存入特征數據庫；搜索引擎模塊解析用戶輸入的檢索條件，從數據庫中進行基于特征和行為的視頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結果。
2.如權利要求1所述的基于目標特征和報警行為的智能視頻檢索系統，其特征在于 所述的特征存儲模塊，運動軌跡信息包括每隔一定時間的目標的尺寸、速度、方向和軌跡的 圖像坐標及所在幀序號；報警行為信息包括行為類型及是否發生；目標特征包括顏色、紋 理、形狀，均以整數向量表示；目標類別為人、車輛、動物或其它，用對應英文表示；以上信 息存儲到XML文件或直接存于數據庫。
3.如權利要求1所述的基于目標特征和報警行為的智能視頻檢索系統，其特征在于 所述的搜索引擎模塊包括以下功能1).根據用戶選擇的文字描述的特征組合在特征數據庫進行比對查找，返回匹配記錄；2).根據用戶選擇的圖像或視頻截圖，提取特征向量，即提取輸入查詢圖像中的顏色， 紋理，及形狀特征向量，在特征數據庫中逐一計算向量間距離并加權排序；3).根據用戶選擇的報警類型及對應的規則，與特征數據庫中的軌跡逐一進行匹配計 算，提取出滿足規則的軌跡作為報警行為；4).結合步驟1)、步驟2)和步驟3)中得到的結果進行綜合加權和排序。
4.如權利要求1所述的基于目標特征和報警行為的智能視頻檢索系統，其特征在于 所述的檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征、類型、報警 行為類型及其準則，條件為其中之一或其組合，并可指定各種特征的權重。其中的目標特征 的輸入有以下方式；(1)文字描述的特征，(2)用戶草圖描述的特征，(3)樣例圖像或視頻作 為目標特征。
5.一種基于目標特征和報警行為的智能視頻檢索方法，其特征在于，該方法包括以下 步驟1).監控系統運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警行為 和目標特征存入特征數據庫；2).用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結果， 顯示在檢索終端。
6.如權利要求5所述的基于目標特征和報警行為的智能視頻檢索方法，其特征在于， 還可以按照以下步驟進行1).用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板圖像 作為目標特征，根據需要輸入報警行為規則；2).用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和特征 提取，把得到的目標軌跡、報警行為和目標特征存入特征數據庫；3).用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結果顯示在檢索終端。
全文摘要
基于目標特征和報警行為的智能視頻檢索系統和方法涉及一種智能視頻檢索系統和方法，包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關信息存入特征數據庫；搜索引擎模塊解析用戶輸入的檢索條件，從數據庫中進行基于特征和行為的視頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結果。與現有技術相比，使用本檢索系統，用戶可以非常精確地定制檢索條件，可以作基于目標特征和基于報警行為的視頻檢索；對實時分析所產生的特征可以非常快速的得到檢索結果。
文檔編號G06K9/46GK101840422SQ201010145468
公開日2010年9月22日 申請日期2010年4月9日 優先權日2010年4月9日
發明者騫森 申請人:江蘇東大金智建筑智能化系統工程有限公司