專利名稱：一種雙目ptz視覺系統的主從跟蹤方法及應用該方法的系統的制作方法
技術領域：
本發明涉及計算機視覺智能監控技術領域，特別涉及一種采用雙目PTZ攝像機的視覺系統進行主從跟蹤系統及其跟蹤方法。
背景技術：
隨著世界范圍內對公共安全以及軍事安全的迫切需求，智能視覺監控技術受到越來越多的重視。在智能視覺監控技術早期的應用中，智能程度很低，安全防范功能主要依靠人對監控視頻中的事件進行判斷，可靠度和自動化程度都很低。隨著計算機處理性能的飛 速發展和計算機視覺理論的不斷完善，智能視覺監控系統得到了巨大發展，其發展前景非常廣闊，引起了很多學者和工程技術人員的高度重視。智能視覺監控系統的一個核心任務是對感興趣的目標進行實時跟蹤。傳統的智能視覺監控系統多采用靜止攝像機，由于攝像機視場固定，分辨率單一，無法獲得跟蹤目標的高分辨率圖像，為日后的查詢、舉證等工作帶來困難；隨著硬件水平的提高，基于單目PTZ(Pan/Tilt/Zoom，云臺全方位移動及鏡頭變倍、變焦控制)攝像機的主動跟蹤系統得到了廣泛研究與應用，這些系統可使目標以較大尺度出現在圖像中心，但由于視場狹小丟失了全景信息，難以直觀獲得目標在場景中的位置。針對上述缺陷，包含PTZ攝像機的多目視覺系統成為智能監控中的研究熱點，這些系統一般工作在主從模式下，主攝像機實現目標在全景下的跟蹤，并控制PTZ攝像機對目標進行主動跟蹤。現有主從系統中包括一個靜止攝像機與一個PTZ攝像機相結合的系統構架，該系統主要問題在于監控視場有限，僅局限于靜止攝像機的監控視場，無法適應于大場景下的監控；多靜止攝像機與PTZ攝像機相結合的系統配置，該系統配置雖然為了擴大監控范圍，但大大增大了硬件開銷；全向攝像機與PTZ攝像機相結合的跟蹤系統配置，該系統一般應用于室內場景，且由于全向攝像機分辨率低，較難實現兩攝像機之間的信息融合。因此，尋找一種既能實現大范圍場景下的監控，又能降低硬件開銷的視覺跟蹤方法是一個亟需解決的技術問題。
發明內容
本發明旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種雙目PTZ視覺系統的主從跟蹤系統及其跟蹤方法。為了實現本發明的上述目的，根據本發明的一個方面，本發明提供了一種雙目PTZ視覺系統的主從跟蹤方法，包括如下步驟S1:對兩個PTZ攝像機分別進行標定，得到攝像機坐標系模型；S2 :建立球面坐標系，使所述兩個PTZ攝像機坐標系上的對應點在球面坐標系上的經度值保持一致，緯度差用來表達視角差異，對兩個PTZ攝像機坐標系分別求取變換矩陣；
S3:選定王攝像機和從攝像機，并在王攝像機的觀測圖像上選定跟S示目標，使王攝像機在任意pan-tilt-zoom參數(PM, TM, ZM)下，由跟蹤目標在從攝像機觀測圖像Im上的運動軌跡；4(/ = 1... )估計從攝像機 pan-t i I t-zoom 參數的；’Zs)</ = ；S4 :輸出高分辨率全景圖。本發明的雙目PTZ視覺系統的主從跟蹤方法既能實現大范圍場景下的監控，又能降低硬件開銷。
在本發明的一種優選實施方式中，兩攝像機中的任意一臺作為主攝像機，另外一臺作為從攝像機。在本發明的另一種優選實施方式中，兩個攝像機根據監控任務分別在監控場景中進行視覺巡視，當任何一個攝像機發現可疑物體后，即作為主攝像機采用靜止攝像機下的跟蹤方法對其進行跟蹤，并進入主從工作模式，控制另一個攝像機作為從攝像機對可疑物體主動跟蹤。本發明在大范圍場景的監控中，實現兩攝像機任意參數下的主從模式跟蹤，并獲得跟蹤目標的高分辨率全景圖像。由于實際應用中不同的監控場景或監控任務對應的pan-tilt-zoom參數不同，實現任意參數下的主從模式跟蹤，具有更大的實際應用價值，也更加具有通用性，本發明只需要兩攝像機安裝固定，可方便處理兩攝像機參數變化的情形，不受攝像機參數改變的影響。同時，本發明以高分辨率全景作為結果輸出，在顯示高分辨率目標圖像的同時，更加直觀地顯示目標在整個監控場景中的運動信息，增強了可視性和實用性，并可用于后期目標的行為分析、姿態識別、步態分析等。為了實現本發明的上述目的，根據本發明的二個方面，本發明提供了一種雙目PTZ視覺系統的主從跟蹤系統，包括主機；第一攝像機和第二攝像機，所述第一攝像機和第二攝像機分別與主機相連，兩攝像機中的任意一臺作為主攝像機，另外一臺作為從攝像機，圖像捕獲模塊，所述圖像捕獲模塊分別與所述第一攝像機和第二攝像機進行信息交互；第一攝像機控制模塊和第二攝像機控制模塊，所述第一攝像機控制模塊控制第一攝像機的運轉和觀測模式，所述第二攝像機控制模塊控制第二攝像機的運轉和觀測模式；所述第一攝像機和第二攝像機內還分別包括目標跟蹤模塊、目標預測模塊、球面坐標模型模塊和PTZ參數模塊，在所述主攝像機內，所述目標跟蹤模塊對可疑對象進行跟蹤，并將跟蹤結果傳輸給所述目標預測模塊，所述目標預測模塊與從攝像機的球面坐標模型模塊相連，所述目標預測模塊對可疑對象的位置進行預測，并就預測結果傳輸給從攝像機，所述從攝像機的球面坐標模型模塊對坐標進行變換，并將變換結果傳輸給PTZ參數模塊計算PTZ參數，所述PTZ參數模塊將計算的PTZ參數傳輸給相應的攝像機控制模塊。本發明的雙目PTZ視覺系統的主從跟蹤系統的兩個PTZ攝像機設計對稱，二者的地位可以根據任務不同而互換，靈活性強，并且有利于后期的信息融合。本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中
圖1是本發明雙目PTZ視覺系統的主從跟蹤系統的結構示意圖；圖2是本發明兩個攝像機的PTZ參數幾何關系示意圖；圖3是本發明估計從攝像機參數的流程圖；圖4是根據場景深度范圍估計從攝像機緯度范圍的示意圖；圖5是Pan-tilt參數估計示意圖；圖6是在本發明第一優選實施例中主從跟蹤與高分辨率全景結果圖；圖7是在本發明第二優選實施例中主從跟蹤與高分辨率全景結果圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發明，而不能理解為對本發明的限制。在本發明的描述中，除非另有規定和限定，需要說明的是，術語“安裝”、“相連”、 “連接”應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可 以是直接相連，也可以通過中間媒介間接相連，對于本領域的普通技術人員而言，可以根據 具體情況理解上述術語的具體含義。本發明提供了一種雙目PTZ視覺系統的主從跟蹤系統，如圖1所示，包括主機(圖 中沒有示出)，第一攝像機和第二攝像機，該第一攝像機和第二攝像機分別與主機相連，兩 攝像機中的任意一臺作為主攝像機，另外一臺作為從攝像機；該系統還包括圖像捕獲模塊、 第一攝像機控制模塊和第二攝像機控制模塊，該圖像捕獲模塊分別與第一攝像機和第二攝 像機進行信息交互；該第一攝像機控制模塊控制第一攝像機的運轉和觀測模式，第二攝像 機控制模塊控制第二攝像機的運轉和觀測模式；第一攝像機和第二攝像機內還分別包括目 標跟蹤模塊、目標預測模塊、球面坐標模型模塊和PTZ參數模塊，在主攝像機內，目標跟蹤 模塊對可疑對象進行跟蹤，并將跟蹤結果傳輸給所述目標預測模塊，目標預測模塊與從攝 像機的球面坐標模型模塊相連，目標預測模塊對可疑對象的位置進行預測，并就預測結果 傳輸給從攝像機，從攝像機的球面坐標模型模塊對坐標進行變換，并將變換結果傳輸給PTZ 參數模塊計算PTZ參數，PTZ參數模塊將計算的PTZ參數傳輸給相應的攝像機控制模塊。本發明兩個攝像機根據監控任務分別在監控場景中進行視覺巡視，當任何一個攝 像機發現可疑物體后，即作為主攝像機采用靜止攝像機下的跟蹤方法對其進行跟蹤，并進 入主從工作模式，控制另一個攝像機作為從攝像機對可疑物體主動跟蹤。本發明采用雙目PTZ攝像機實現主從模式跟蹤，之所以選擇這樣的硬件組合，是 因為PTZ攝像機是一種最簡單的主動攝像機，既可以通過改變pan和tilt參數改變視角， 也可以通過改變zoom參數來改變圖像分辨率，它的集成度很高，有比較成熟產品，隨著硬 件成本的降低已經越來越多的用到實際應用中。另外，采用兩個PTZ攝像機，由于兩攝像機 的對稱性，二者的地位可以根據任務不同而互換，靈活性強，并且有利于后期的信息融合。 同時，由于攝像機參數的可變性和可控性，可以通過切換pan-tilt-zoom參數切換監控視 場，實現用最少攝像機獲得更大監控視場的目的。本發明還提供了一種雙目PTZ視覺系統的主從跟蹤方法，其可以但不限于采用本 發明圖1所示的跟蹤系統，該主從跟蹤方法其包括如下步驟
S1:對兩個PTZ攝像機分別進行標定，得到攝像機坐標系模型；S2 :建立球面坐標系，使兩個PTZ攝像機坐標系上的對應點在球面坐標系上的經度值保持一致，緯度差用來表達視角差異，對兩個PTZ攝像機坐標系分別求取變換矩陣；S3:選定王攝像機和從攝像機，并在王攝像機的觀測圖像上選定跟S示目標，使王攝像機在任意pan-tilt-zoom參數(PM, TM, ZM)下，由跟蹤目標在從攝像機觀測圖像Im上的運動軌跡/4(/ = 1... )估計從攝像機pan-tilt-zoom參數(巧尤名)(/ = 1... >;S4 :輸出高分辨率全景圖。在本發明的一個優選實施方式中，本發明在主機中依次進行如下步驟第一步，對兩個PTZ攝像機分別進行標定，得到攝像機坐標系模型。在本實施方式中，利用特征點匹配的方法對兩個PTZ攝像機分別標定外參矩陣R和內參矩陣K，其中，外參矩陣R僅與pan和tilt參數有關,且pan和tilt參數的旋轉軸垂直相交于攝像機中心。標定內參矩陣K的步驟為首先，設定攝像機的像素縱橫比ar和傾斜度S，在本實施方式中，取攝像機的像素縱橫比\ = 1，傾斜度S = 0，且不考慮圖像畸變影響；然后,采用zoom中心代替主點(uQ, V0),保證攝像機的pan和tilt參數不變,通過改變zoom參數獲得圖像序列，對每幅圖像進行SIFT特征點提取，并對相鄰兩幀圖像中的特征點進行匹配，最后用最小二乘方法得到zoom中心；最后，構造焦距f隨zoom參數的變化模型,對于每個固定zoom參數值,通過少量改變pan和tilt參數得到多張圖像，并通過圖像配準估計焦距f，利用多組離散采樣值{zoom, f}構造模型 f=fz (zoom)。通過以上步驟，PTZ攝像機的坐標系模型可以表達為
權利要求
1.一種雙目PTZ視覺系統的主從跟蹤方法，其特征在于，包括如下步驟 51:對兩個PTZ攝像機分別進行標定，得到攝像機坐標系模型； 52:建立球面坐標系,使所述兩個PTZ攝像機坐標系上的對應點在球面坐標系上的經度值保持一致，緯度差用來表達視角差異，對兩個PTZ攝像機坐標系分別求取變換矩陣； S3:選定王攝像機和從攝像機，并在王攝像機的觀測圖像上選定跟S示目標，使王攝像機在任意pan-tilt-zoom參數(PM, Tm, Zm)下，由跟蹤目標在從攝像機觀測圖像Im上的運動軌跡/4(/ = 1... )估計從攝像機 pan-tilt-zoom 參數(6;，4)(/ = 1..功； S4 :輸出高分辨率全景圖。
2.如權利要求1所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述步驟SI包括對兩個PTZ攝像機分別標定外參矩陣R和內參矩陣K，所述外參矩陣R僅與pan和tiIt參數有關，且pan和tilt參數的旋轉軸垂直相交于攝像機中心。
3.如權利要求2所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述標定內參矩陣K的步驟為 531:設定攝像機的像素縱橫比\和傾斜度S ； 532:采用zoom中心代替主點(U。, V0),保證攝像機的pan和tilt參數不變,通過改變zoom參數獲得圖像序列，對每幅圖像進行SIFT特征點提取，并對相鄰兩幀圖像中的特征點進行匹配，最后用最小二乘方法得到zoom中心； 533:構造焦距f隨zoom參數的變化模型。
4.如權利要求1所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述步驟S2包括如下步驟 S41 :手動采集兩個攝像機在同一監控場景中的N對圖像，使每對圖像的視場基本保持一致； S42:分別對每對圖像進行SIFT特征點提取與匹配，估計每對圖像的基礎矩陣Fj (j=l，...，N)，記錄匹配的特征點對10 其中，j為N對圖像的第j對圖像，k為第jJ5對圖像的第k對特征點，N為正整數； 543:估計球面坐標系的極點對(E1, E2}； 544:估計球面坐標系的參考零經度線； 545:得到變換矩陣R1, R2。
5.如權利要求1所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，在所述步驟S3中，兩攝像機中的任意一臺作為主攝像機，另外一臺作為從攝像機。
6.如權利要求1或5所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，兩個攝像機根據監控任務分別在監控場景中進行視覺巡視，當任何一個攝像機發現可疑物體后，即作為主攝像機采用靜止攝像機下的跟蹤方法對其進行跟蹤，并進入主從工作模式，控制另一個攝像機作為從攝像機對可疑物體主動跟蹤。
7.權利要求1所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述步驟S3包括如下步驟 S71在主攝像機的觀測圖像上選中跟蹤目標； S72:估計每一時刻從攝像機的參數值;S73:跟蹤過程中，計算跟蹤目標中心位置與圖像邊界的距離，距離小于閾值T時，跟蹤結束，兩攝像機恢復預先設定位置。
8.權利要求7述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述步驟S72包括如下步驟 581:將主攝像機的觀測圖像坐標變換到主攝像機的攝像機坐標； 582:將主攝像機的攝像機坐標變換到主攝像機的球面坐標； 583:將主攝像機球面坐標映射到從攝像機球面坐標； 584:將從攝像機球面坐標變換到從攝像機的攝像機坐標及估計從攝像機的參數
9.如權利要求1所述的雙目PTZ視覺系統的主從跟蹤方法，其特征在于，所述步驟S4包括如下步驟 591:對主攝像機的圖像《求取背景模型像素(x，y)處的更新公式為
10.一種雙目PTZ視覺系統的主從跟蹤系統，其特征在于，包括 主機； 第一攝像機和第二攝像機，所述第一攝像機和第二攝像機分別與主機相連，兩攝像機中的任意一臺作為主攝像機，另外一臺作為從攝像機。； 圖像捕獲模塊，所述圖像捕獲模塊分別與所述第一攝像機和第二攝像機進行信息交互； 第一攝像機控制模塊和第二攝像機控制模塊，所述第一攝像機控制模塊控制第一攝像機的運轉和觀測模式，所述第二攝像機控制模塊控制第二攝像機的運轉和觀測模式； 所述第一攝像機和第二攝像機內還分別包括目標跟蹤模塊、目標預測模塊、球面坐標模型模塊和PTZ參數模塊，在所述主攝像機內，所述目標跟蹤模塊對可疑對象進行跟蹤，并將跟蹤結果傳輸給所述目標預測模塊，所述目標預測模塊與從攝像機的球面坐標模型模塊相連， 所述目標預測模塊對可疑對象的位置進行預測，并就預測結果傳輸給從攝像機，所述從攝像機的球面坐標模型模塊對坐標進行變換，并將變換結果傳輸給PTZ參數模塊計算PTZ參數，所述PTZ參數模塊將計算的PTZ參數傳輸給相應的攝像機控制模塊。
全文摘要
本發明提出了一種雙目PTZ視覺系統的主從跟蹤方法及應用該方法的系統，該主從跟蹤方法包括如下步驟對兩個PTZ攝像機分別進行標定，得到攝像機坐標系模型；建立球面坐標系，使兩個PTZ攝像機坐標系上的對應點在球面坐標系上的經度值保持一致，緯度差用來表達視角差異，對兩個PTZ攝像機坐標系分別求取變換矩陣；選定主攝像機和從攝像機，在主攝像機的觀測圖像上選定跟蹤目標，使主攝像機在任意pan-tilt-zoom參數(PM,TM,ZM)下估計從攝像機pan-tilt-zoom參數輸出高分辨率全景圖。本發明的主從跟蹤方法既能實現大范圍場景下的監控，又能降低硬件開銷。本發明的主從跟蹤系統的兩個PTZ攝像機設計對稱，二者的地位可以根據任務不同而互換，靈活性強，并且有利于后期的信息融合。
文檔編號H04N7/18GK103024350SQ20121045467
公開日2013年4月3日 申請日期2012年11月13日 優先權日2012年11月13日
發明者周杰, 崔智高 申請人:清華大學