基于雙目攝像的主動視頻獲取方法及裝置的制作方法

專利名稱：基于雙目攝像的主動視頻獲取方法及裝置的制作方法
技術領域：
本發明主要涉及一種基于雙目攝像的主動視頻獲取方法及裝置。
背景技術：
視頻監視系統是安防領域的重要組成部分，廣泛應用于對黨政機關、軍事重地、交 通要道、公共場所、民宅等場所的監視，以防止破壞、盜竊、滋事等違法行為的發生，保障人 民安全與社會和諧。但在現有的視頻監視系統中，在同一觀測點處通常只架設一臺攝像機，采集固定 分辨率的視頻畫面，這種監視方式存在如下問題(1)如果攝像機的鏡頭處于廣角端，則采 集到的是該觀測點下場景的全局信息，此時雖然可以準確定位場景中的運動目標，并對目 標實現跟蹤，但由于單個目標所占的像素數很少，不能提供足夠的細節信息(如人臉細節、 車輛牌照號等)，難以確認目標的具體特性；(2)如果攝像機的鏡頭處于長焦端，此時雖然 可以采集到單個目標的細節信息，但由于監視區域過小，難以實現對運動目標的可靠跟蹤， 同時由于場景信息的丟失，增大了抓證取證的難度；(3)現有監視系統大多由人來觀察監 視畫面和控制攝像機運動，在目標的選取上存在一定的隨意性，且由于人眼在長時間工作 下的視覺疲勞效應，會錯失很多有價值的目標。專利基于立體視頻動態跟蹤的多攝像機監控系統及其跟蹤方法.200610147316
使用兩臺主攝像機獲取監視場景的目標信息，進而控制從攝像機對目標進行跟蹤，系統 構成復雜，造價高；專利具有多攝像機的智能跟蹤監控系統.200410016455使用一臺 全景相機和多臺從攝像機做目標跟蹤，只能檢測運動目標，不能對目標種類進行細分，系 統成本高，效率低。專利利用單個攝像機進行主從視頻跟蹤的方法.200510120070使 用一臺高分辨率相機來執行監視任務，同時輸出低分辨率的場景全局信息和高分辨率的 運動區域信息，所獲取的運動區域細節水平與攝像機直接相關，靈活性差，且高分辨率的 圖像對處理和傳輸的負擔很大；專利基于聯動攝像機的視頻監控裝置及其跟蹤記錄方 法.200910106883通過將主從攝像機安裝在一套聯動平臺上同步運動、同步獲取目標不同 分辨率的信息，只適用于單目標的場合，且系統成本很高。文獻雙攝像機系統對移動目標 的跟蹤，機器人，2007. 03使用一臺臺計算機來分析主攝像機獲取到的視頻畫面并進行目 標提取，使用另一臺計算機來控制從攝像機的PT姿態，系統構成復雜，不能實現變焦處理， 不能跟蹤多個運動目標；文獻基于灰度匹配的雙攝像頭智能云臺控制系統，河北師范大學 學報，自然科學版，2007. 09使用一臺PC機來控制兩臺主從攝像機做目標跟蹤，系統結構 復雜，實時性差，從攝像機焦距不能自主調節，不能跟蹤多個運動目標。

發明內容
為解決現有監視系統視頻獲取的問題，本發明提出了一種基于雙目攝像的主動視 頻獲取方法及裝置。本發明的技術方案是在同一監視場景中安裝1臺主攝像機、1臺從攝像機和一套嵌入式智能分析控制系統，其中主攝像機連接嵌入式智能分析控制系統，嵌入式智能分析 控制系統連接從攝像機。主攝像機為定焦攝像機，從攝像機為帶云臺的電動三可調攝像機。 系統工作時，前端嵌入式智能分析控制系統通過分析主攝像機獲取到的監視場景全局視頻 畫面，提取出可能存在的有價值目標區域，然后根據目標區域位置計算出從攝像機所需的 控制參數，控制從攝像機獲取目標區域的高清晰細節信息。系統架構如

圖1所示。—、有價值目標區域提取 對于現有視頻監視應用而言，運動中的人員和車輛是兩大類重點監視目標，對于 人員而言，頭部區域是監視的重點，對于車輛而言，車牌區域是監視的重點。現有運動區域 檢測方法僅能做到運動區域提取，不能對運動目標類型做進一步細分，不能判別運動區域 的重要程度。為解決該問題，本專利首先提取整個運動區域的運動矢量，然后通過分析運動 區域的運動矢量和運動區域的形狀特征，對運動區域進行分類，根據分類結果標定出運動 區域中的有價值目標區域。1. 1基于邊緣特征的區域運動特征提取方法傳統的運動目標檢測方法主要有背景減除法、相鄰幀差法、光流法等。背景減除法 提取到的運動區域較為完整，但提取效果受制于背景重構方法的性能，適應性較差；相鄰幀 差法計算簡單，但提取到的運動區域不夠完整；光流法運算量大，難以應用到嵌入式系統之 中。本發明通過綜合運用多幀差法和邊緣檢測技術，提取到完整的運動區域，進而獲 取該運動區域的運動矢量，方法流程如下stepl取相鄰兩幀圖像IkfIk,計算幀間絕對灰度差圖像DikK15step2確定自適應閾值T。計算絕對灰度差圖像的均值m，并將其乘以一個加權系 數t，得到自適應閾值T = mX t，實驗中取t= 10。st印3獲取運動區域Mk。
il ,Da k n > TMk =\Step4對Mk對做中值濾波和形態學處理，消除噪聲和空洞。St印5利用水平、垂直直方圖劃分單個運動區域叫。St印6使用Carmy算子對圖像Ik^ Ik做邊緣，獲取邊緣圖像E1^ Ek。St印7對于每一個運動區域叫，在邊緣圖像EkfEk中尋找其邊緣包絡，該邊緣包絡 所圍區域為即為運動區域Hli在圖像Ik^ Ik中對應的實際運動物體區域Hliari)和Hli (k)。StepS求取Hiiat-D和mi(k)的質心，進而得到運動區域的運動矢量。1. 2基于運動區域形狀和運動方向的目標分類方法通過前期目標分割后的行人和車輛區域具有如下特征，如圖2所示，圖中箭頭為 運動方向，方框為運動區域。>行人和車輛區域均為矩形或近似矩形區域；>行人所占矩形區域長邊與圖像垂直邊緣平行，車輛所占矩形區域長邊與車輛運 動方向平行；>行人所占區域長寬比為3 5，頭部始終處于區域上部；車輛所占的區域長寬比為1 5，車牌區域始終位于垂直方向上較低的一側。
根據上述特征，通過運動區域形狀特征和運動方向將運動區域進行細分，方法流 程如下St印1、提取運動區域；St印2、通過hough變換檢驗運動區域是否為矩形，如果是矩形，轉入St印3，否則 判定運動區域為其它目標，本次處理結束；St印3、計算矩形區域邊緣與圖像邊界的夾角，如果夾角在15度以內，轉入St印4， 否則轉入St印5 ；St印4、計算矩形區域的長寬比，如果比值大于3，則判定該區域為行人，否則判定 該區域為車輛，轉入Step6 ；Step5、計算矩形區域邊緣與該區域運動方向的夾角，如果夾角在15度以內，判定 運動區域為車輛，轉入Step6，否則判定運動區域為其他目標，本次處理結束；St印6、對于行人區域，將矩形區域中靠頂部的三分之一部分作為重點目標區域， 對于運動車輛區域，將矩形區域中靠底部的三分之一部分作為重點目標區域。二、從攝像機姿態調整參數獲取當主攝像機檢測到運動目標后，需要控制從攝像機獲取目標的高分辨率細節信 息，要實現這一目的，需要如下步驟1、計算從攝像機的偏轉角度，使得偏轉后的從攝像機 光心主軸對準目標；2、計算從攝像機的焦距，使得從攝像機變焦后，目標在從攝像機的畫面 中占據盡可能大的面積。2. 1從攝像機偏轉角度計算(1)基于針孔模型的主攝像機視場中目標中心偏轉角度獲取方法圖3為基于針孔模型的目標成像模型，(a)中，0為主攝像機光心，L為主攝像機光 軸，f為主攝像機焦距，α為主攝像機視場角角度的一半，χ為目標點偏離光軸的角度，ρ為 成像面半徑，r為目標點在成像面上與光軸之間的距離。由圖可得
權利要求
基于雙目攝像的主動視頻獲取方法的裝置，包括1臺主攝像機、1臺從攝像機和一套嵌入式智能分析控制系統，其中主攝像機連接嵌入式智能分析控制系統，嵌入式智能分析控制系統連接從攝像機，主攝像機為定焦攝像機，從攝像機為帶云臺的電動三可調攝像機。
2.基于雙目攝像的主動視頻獲取方法，包括有價值目標區域提取，從攝像機姿態調整 參數獲取，從攝像機自動目標跟蹤，其特征在于(1)有價值目標區域提取首先提取整個運動區域的運動矢量，然后通過分析運動區域的運動矢量和運動區域的 形狀特征，對運動區域進行分類，根據分類結果標定出運動區域中的有價值目標區域，分為 基于邊緣特征的區域運動特征提取和基于運動區域形狀和運動方向的目標分類；(2)從攝像機姿態調整參數獲取主攝像機檢測到運動目標后，控制從攝像機獲取目標的高分辨率細節信息，具體步 驟如下(a)、計算從攝像機的偏轉角度，使得偏轉后的從攝像機光心主軸對準目標；(b)、 計算從攝像機的焦距，使得從攝像機變焦后，目標在從攝像機的畫面中占據盡可能大的面 積；(3)從攝像機自動目標跟蹤獲取運動目標位置參數后，自動調整從攝像機方向的姿態，使得運動目標始終處于從 攝像機視場中心。
3.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于基于邊緣特 征的區域運動特征提取方法的流程如下stepl取相鄰兩幀圖像Ik_i、Ik，計算幀間絕對灰度差圖像Dik^)； step2確定自適應閾值T。計算絕對灰度差圖像的均值m，并將其乘以一個加權系數t， 得到自適應閾值T = mXt，實驗中取t = 10 ； st印3獲取運動區域Mk;Mk-J，‘、>Τ “[0 ,elseStep4對Mk對做中值濾波和形態學處理，消除噪聲和空洞； St印5利用水平、垂直直方圖劃分單個運動區域Hii ； St印6使用Carmy算子對圖像Ik^ Ik做邊緣，獲取邊緣圖像Ek^ Ek ； St印7對于每一個運動區域Hii,在邊緣圖像EkfEk中尋找其邊緣包絡，該邊緣包絡所圍 區域為即為運動區域Hli在圖像Ik_i、Ik中對應的實際運動物體區域Hii0ri)和叫(k)； StepS求取Hii(^)和mi(k)的質心，進而得到運動區域的運動矢量。
4.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于基于運動區 域形狀和運動方向的目標分類方法的流程如下St印1、提取運動區域；St印2、通過Hough變換檢驗運動區域是否為矩形，如果是矩形，轉入St印3，否則判定 運動區域為其它目標，本次處理結束；St印3、計算矩形區域邊緣與圖像邊界的夾角，如果夾角在15度以內，轉入St印4，否則 轉入St印5 ；Step4、計算矩形區域的長寬比，如果比值大于3，則判定該區域為行人，否則判定該區域為車輛，轉入St印6 ；Step5、計算矩形區域邊緣與該區域運動方向的夾角，如果夾角在15度以內，判定運動 區域為車輛，轉入Step6，否則判定運動區域為其他目標，本次處理結束；Step6、對于行人區域，將矩形區域中靠頂部的三分之一部分作為重點目標區域，對于 運動車輛區域，將矩形區域中靠底部的三分之一部分作為重點目標區域。
5.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于從攝像機偏 轉角度計算從攝像機偏轉角度計算包括(1)基于針孔模型的主攝像機視場中目標中心偏轉角度獲取方法；(2)基于針孔模型和目標預分類的目標距離獲取方法；(3)基于針孔模型和三參數模型的從攝像機視場中目標中心偏轉角度獲取方法。
6.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于基于針孔模 型和目標距離的從攝像機焦距獲取方法為H為整個視場寬度的一半，Hx為目標寬度的一半，D為目標到光心的距離，F為最短焦 距，Fx為獲取目標細節所需的焦距，L為從攝像機固定值，從攝像機所需的焦距為= — => Hxx Fx = Dx L Fx = ^x ^ D FxHx
7.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于從攝像機自 動目標跟蹤方法包括(1)PT-Z模式跟蹤方法，即優先調整從攝像機的水平和俯仰姿態，當從攝像機的主光軸 對準目標后，再調整從攝像機的焦距，獲取目標的高分辨率細節信息；(2)Z-PT模式跟蹤方法，即優先調整從攝像機的焦距，滿足獲取目標的高分辨率細節信 息的要求，然后再對從攝像機的水平和俯仰姿態進行調節，使得從攝像機的主光軸對準目 標；(3)基于目標重要性和距離排序的多目標連續跟蹤方法，即首先依據目標的重要性和 目標之間的距離對待跟蹤的目標進行排序，然后按照排序的結果對各個目標依次進行跟 蹤，系統每進行一次運動目標檢測，排序結果就會動態更新一次。
8.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于PT-Z模式跟 蹤方法流程如下stepl 系統初始化，從攝像機云臺和焦距運動到初始位置，初始位置時，主從攝像機光 軸平行，焦距處于整個焦距范圍的中間位置；step2 獲取運動目標參數，根據目標的運動趨勢，估算出下一幀時目標的存在位置； step3 根據目標的存在位置和從攝像機當前的姿態計算從攝像機所需偏轉角度Ω和 變焦位置F ；step4:如果偏轉角度Ω超過ω/2Ν，則發出云臺偏轉控制命令，然后跳轉到step7，反 之進入st印5 ；st印5 如果變焦位置F超過f/2N，發出變焦控制指令，然后跳轉到step7，反之進入 step6 ；St印6 停止從攝像機運動；st印7 獲取新一幀圖像，重新計算運動目標位置，并根據從攝像機當前的運動狀態，計算出從攝像機當前的實際位置和焦距，轉入St印3步驟。
9.根據權利要求2所述的基于雙目攝像的主動視頻獲取方法，其特征在于(a)Z-PT模式跟蹤方法流程如下stepl 系統初始化，從攝像機云臺和焦距運動到初始位置；step2 獲取運動目標參數，根據目標的運動趨勢，估算出下一幀時目標的存在位置； step3 根據目標的存在位置和從攝像機當前的姿態計算從攝像機所需偏轉角度Ω和 變焦位置F ；st印4 如果變焦位置F超過f/2N，發出變焦控制指令，然后跳轉到step7，反之進入 step5 ；st印5 如果偏轉角度Ω超過ωπ η/2Ν，從64個速度等級中挑選出在1/Ν秒后能夠使 攝像機光軸最接近目標的速度等級《i，將coi設定為云臺當前的運動速度，發出云臺偏轉 控制命令，然后跳轉到st印7，反之進入st印6 ； st印6 停止從攝像機運動；st印7 獲取新一幀圖像，重新計算運動目標位置，并根據從攝像機當前的運動狀態，計 算出從攝像機當前的實際位置和焦距，轉入st印3步驟；(b)基于目標重要性和距離排序的多目標連續跟蹤方法流程如下 stepl 系統初始化；st印2 獲取運動目標；step3 運動目標排序，排序原則為(1)列表首位的目標距離從攝像機光軸距離最近， 列表中第i位的目標在所有η > i的目標中距離第i_l位的目標最近；(2)高優先級的目 標先排序，低優先級的目標后排序；step4 將列表首位目標的狀態設為跟蹤中，將其余目標狀態設為待跟蹤； step5 對狀態為跟蹤中的目標實施跟蹤；st印6 重新獲取運動目標，并與當前的目標列表進行對比，剔除已消失的目標，如果 當前跟蹤中的目標已經被跟蹤到，即從攝像機的姿態已經可以獲取該目標高分辨率細節信 息，則將該目標的狀態設定為已跟蹤；如果當前跟蹤中的目標未被跟蹤到且有優先級更高 的新目標出現，則將當前跟蹤中的目標屬性改為待跟蹤；st印7 將所有新目標的屬性設為待跟蹤，對所有待跟蹤的目標進行排序，并將所有已 跟蹤的目標排在隊列尾端，如果當前沒有跟蹤中的目標，則將待跟蹤隊列第一位的目標設 為當前跟蹤目標，將該目標的狀態設為跟蹤中；跳轉到step5。
全文摘要
本發明公開了一種基于雙目攝像的主動視頻獲取方法及裝置。本發明的技術方案是在同一監視場景中安裝1臺主攝像機、1臺從攝像機和一套嵌入式智能分析控制系統，系統工作時，前端嵌入式智能分析控制系統通過分析主攝像機獲取到的監視場景全局視頻畫面，快速提取出可能存在的有價值目標區域，然后根據目標區域位置計算出從攝像機所需的控制參數，快速控制從攝像機獲取目標區域的高清晰細節信息。本發明可有效地確定監視場景中的有價值區域，可持續跟蹤運動目標，實現多目標動態連續跟蹤。
文檔編號H04N7/18GK101969548SQ201010508178
公開日2011年2月9日 申請日期2010年10月15日 優先權日2010年10月15日
發明者劉通, 李沛秦, 謝劍斌, 謝昌頤, 閆瑋 申請人:中國人民解放軍國防科學技術大學