一體化大場景全景視頻監控裝置制造方法
【專利摘要】本實用新型提供一種一體化大場景全景視頻監控裝置。所述裝置包括前端視頻采集編碼設備和數據傳輸設備，大場景監控系統包括數據接收、視頻解碼、視頻處理和輸出編碼等軟硬件。拼接融合得到的全景監控圖像序列通過HDMI/DVI連續輸出到顯示設備進行顯示，同時支持對全景監控圖像實時編碼，并通過網絡進行傳輸和存儲。所述裝置能夠保證全景視頻的拼接效果和拼接質量，提高視頻拼接的效率，達到實時性的需求，得到的全景視頻更為自然、真實。在實際應用中，既能很好的保證后續全景視頻拼接的要求，又能簡化現場設備的安裝布置，可實施性強。
【專利說明】一體化大場景全景視頻監控裝置
【技術領域】
[0001] 本實用新型涉及視頻監控【技術領域】，特別是涉及一種一體化大場景全景視頻監控 裝直。
【背景技術】
[0002] 近些年隨著社會形勢的發展，視頻監控的意義不明而喻，應用越來越廣泛，且繁衍 出各種具有特殊功能和針對不同應用場景的監控裝置和系統。然而，適用于當下有迫切監 控需求的大場景實時視頻監控卻較為少見。如大型的廣場、大型的活動現場、十字路口等， 安防工作人員不僅要清楚的看到某個角落的細節，而且還需一目了然地掌控大場景的整體 態勢和活動主體的主要軌跡。針對大場景的應用場景，若采用傳統的多攝像頭監控系統，雖 能看清重要特定區域的細節，但缺乏連續性，且由于單個攝像頭有效視域的限制而無法掌 控整體的全局態勢；若采用全景監控攝像機或魚眼攝像機，雖有超寬的視域可掌握整體的 態勢，卻存在無法查看細節、變形嚴重和不具實時性的缺點。
[0003] 現有技術中的高清全景視頻拼接方法，由于高清視頻源本身包含大數據量，且基 于在線的實時拼接，存在拼接效率低的問題，不能達到視頻監控的實時要求。為此，有人設 計了一種實時高速高清全景視頻的拼接方法，即首先獲取滿足拼接條件的多路實時視頻圖 像，然后經過視頻圖像拼接、選取投影面，建立單個視頻與全景投影面的坐標映射關系，最 后直接使用坐標映射關系來實現幾路視頻實時拼接得到全景視頻。該方法在實際應用過 程中存在一定的局限性，如：正式拼接前需反復判斷任意兩路視頻是否滿足拼接條件，如果 不滿足需進一步調節前端攝像頭的采集姿態；通過計算一次拼接投影參數并不能保證精準 性；缺少拼接視頻間的同步，不能防止運動目標在拼接區域出現雙影和憑空消失的情形； 最后的曝光融合重點針對重疊區域的亮度調整，不能確保最終全景拼接畫面色彩歸一化。 鑒于此，本實用新型有針對性的對其進行改進和擴展。
【發明內容】
[0004] 本實用新型的目的在于針對現有技術的不足，提出了一種面向大場景全景視頻監 控的裝置和系統。主要解決的技術問題為：
[0005] 1.提高全景視頻拼接投影映射關系的精準性。通過計算一次拼接投影參數并不能 確保其精準性，特別是針對場景較為簡單或者較為復雜的情形，特征點不足或者特征點過 于混雜均會影響到圖像間的精確配準。
[0006] 2.同步多路視頻內容，提高監控的真實性和合理性。前端視頻采集設備在采集編 碼時可能存在時鐘不同步的情況，并且采集到的視頻數據大多是經過IP網絡進行傳輸，接 收端接收到的數據不乏存有亂序的情況，如果就此基礎上做拼接會出現各種異常，特別是 在重疊區域處。
[0007] 3.提高全景視頻拼接的效率，滿足監控的實時性需求。目前監控對視頻源的要求 越發趨于高清，高清視頻源本身包含大數據量，進而也加大了拼接投影的計算量，故采用一 般的處理手段存在拼接效率低的問題，不能達到視頻監控的實時要求。
[0008] 本實用新型的技術方案為：
[0009] 本實用新型包括一套大場景監控裝置及系統。大場景監控裝置包括前端視頻采集 編碼設備和數據傳輸設備，大場景監控系統包括數據接收、視頻解碼、視頻處理和輸出編碼 等軟硬件。
[0010] 本實用新型通過前端視頻采集裝置同時獲取3-4個視頻，這些視頻對高達180° 范圍的場景區域實現無縫隙覆蓋，每個視頻經過編碼后分別加入統一的時間同步信號，經 發送模塊傳輸到大場景監控系統。大場景監控系統完成視頻數據接收、視頻解碼、視頻配 準、GPU實時拼接和色彩融合，拼接融合得到的全景監控圖像序列通過HDMI/DVI連續輸出 到顯示設備進行顯示，同時支持對全景監控圖像實時編碼，并通過網絡進行傳輸和存儲。 [0011] 本實用新型的有益技術效果為：
[0012] 本實用新型提出一種一體化大場景全景視頻監控裝置，實現大范圍實時全景視頻 監控，所輸出的全景畫面為一個經過視頻拼接和色彩融合的獨立畫面。與一般的全景視頻 拼接裝置，以及全景監控像機和魚眼監控像機不同，本發明可以提供25fps以上幀率的流 暢全景監控畫面以及最高達7680*1080的超高清視頻分辨率。
[0013] 本實用新型所提供的一體化大場景全景視頻監控裝置，既能很好的保證后續全景 視頻拼接的要求，又能簡化現場設備的安裝布置，可實施性強。
[0014] 本實用新型所提供的一體化大場景全景視頻監控裝置，其視頻配準實現視頻拼接 參數的自動計算和存儲，用于確定最佳的視頻自動配準參數，再結合人機交互的手動參數 配置，保證最終全景視頻的拼接效果和拼接質量；其使用GPU高速并行處理特性，提高了視 頻拼接的效率，輸出幀率達到實時性的需求；其時間同步處理和色彩融合處理，使幾路視頻 經過拼接得到的全景視頻更為自然、真實，恰如一個攝像機拍攝出來的一樣。
【專利附圖】
【附圖說明】
[0015] 圖1是本實用新型一體化大場景全景視頻監控裝置及系統的整體結構圖
[0016] 圖2是本實用新型中視頻采集設備固定的刻度盤示意圖
[0017] 圖3是本實用新型中視頻采集設備有效視域示意圖
[0018] 圖4是面向大場景的全景視頻監控方法流程圖
【具體實施方式】
[0019] 為詳細說明本實用新型的技術方案，以下結合具體的實施方式并配合附圖詳細說 明。
[0020] 本實用新型所提出的一體化大場景全景視頻監控裝置系統總體結構可參見圖1。 監控方案包含大場景監控裝置和大場景監控系統。
[0021] 所述大場景監控裝置，包括前端視頻采集模塊、視頻編碼模塊和數據發送模塊。
[0022] 所述前端視頻采集模塊，是封裝在一個透明球形玻璃罩內的視頻采集設備，由一 個水平刻度和四個具體的攝像機組成。用于獲取前端監控區域的原始視頻序列，并將其 傳輸給視頻編碼模塊分別進行視頻編碼。水平刻度盤標注了攝像機設備放置的位置角度 信息，參見圖2所示。固定各攝像機的扇形擺放角度，分別為22. 5°、67. 5°、112. 5°和 157. 5°，沿每個刻度線方向固定一個攝像機，一個刻度盤上固定4個視頻攝像機。視頻采 集設備中的攝像機按照一定角度水平扇形排列，使得各相機成像平面的法線交于同一個中 心點且在同一平面內。攝像機有效視域參見圖3所示，單個攝像機的有效視域為45°，相鄰 攝像機間視域重疊10°。
[0023] 所述視頻編碼模塊，用于對各路視頻采集結果分別進行編碼。將視頻采集設備中 每個子成像設備輸出的視頻幀進行H. 264編碼，分別得到一路H. 264格式碼流。
[0024] 所述數據發送模塊，包括時鐘模塊和發送模塊。時鐘模塊用于多路視頻間的時間 同步，輸出的時間信號以時間戳的形式加入到每個視頻碼流中。數據發送模塊根據時間信 號先后順序依次發送視頻幀。
[0025] 其中，視頻采集模塊中各子成像設備與視頻編碼模塊連接，視頻編碼模塊與數據 發送模塊連接。
[0026] 所述大場景監控系統，包括數據接收模塊、視頻解碼模塊、視頻配準模塊、數據庫 模塊、GPU實時拼接融合模塊和輸出編碼模塊。
[0027] 所述數據接收模塊，用于接收每路視頻的IP碼流，并根據碼流中的時間同步信號 依次提交視頻幀，以保持同路視頻內容的時間連續和多路視頻間的空間同步。
[0028] 所述視頻解碼模塊，用于將多路H. 264碼流分別解碼為視頻幀序列，便于多路視 頻間的逐幀拼接處理。
[0029] 所述視頻配準模塊，為離線處理模塊，包括自動配準模塊和參數調整模塊。自動配 準模塊實現視頻拼接參數的自動計算和存儲，主要用于確定最佳的視頻自動配準參數。一 旦確定了最佳拼接效果的參數，便不再需要執行視頻配準模塊，因前端視頻采集設備姿態 已固定；參數調整模塊用于手動調節視頻的拼接參數，對自動配準參數進行優化。通過自 動配準和手動調整相結合的方式計算得到的最終拼接參數，包括拼接單應矩陣和拼接邊緣 Mask圖像。計算得到的拼接參數存儲在本地數據庫文件中，供實時拼接模塊調取使用。其 中，自動配準過程采用sift特征點匹配同名點，使用RANSC算法剔除誤匹配點并計算得到 3*3單應矩陣。手動調整是指對單應矩陣中的9個元素分別進行調整，實現圖像左右、上下 平移、縮放、旋轉。
[0030] 所述數據庫模塊，采用數據庫的方式保存各視頻的配準拼接參數。視頻配準模塊 可以將各視頻的配準拼接參數寫入數據庫中，參數配置模塊可以對數據庫中的各視頻配準 參數進行讀取和修改。數據庫中的各視頻配準拼接參數輸入GPU拼接模塊，實現全景視頻 的拼接。
[0031] GPU實時拼接融合模塊，采用硬件并行加速設計，實現對視頻逐幀實時拼接。該模 塊從視頻解碼模塊獲取實時視頻幀，從視頻拼接數據庫獲取拼接參數，利用GPU進行圖像 映射和邊緣融合，輸出拼接后的整幅圖像。其中，色彩融合采用三層金字塔分解模型，實現 拼接線融合處理。
[0032] 輸出編碼模塊，包括實時顯示模塊和編碼傳輸模塊。實時顯示模塊實現將拼接所 得的全景監控圖像通過HDMI/DVI連續輸出顯示，并實現用戶交互控制。編碼傳輸模塊實現 拼接后全景監控圖像的H. 264編碼和網絡傳輸，以便遠程客戶端的用戶掌握實時的監控畫 面。
[0033] 其中，數據接收模塊與視頻解碼模塊連接，視頻解碼模塊分別與視頻配準模塊和 GPU實時拼接融合模塊連接。視頻配準模塊與參數配置模塊均通過連接數據庫模塊最終與 GPU實時拼接融合模塊相連接。GPU實時拼接融合模塊作為輸入分別與實時顯示模塊和編 碼輸出模塊連接。
[0034] 本實用新型還提出了一種相應的面向大場景的全景視頻監控方法，參見圖4所 示，包括如下具體處理步驟：
[0035] 步驟1，視頻采集
[0036] 原始視頻數據的采集要通過Vide04LinuX2來實現，該驅動提供了圖片格式設置， 幀緩存區申請，內存映射等多種操作視頻設備的接口函數。當采集過程開始后，驅動不停的 將視頻數據寫入已經分配的緩存區中，當一個緩沖的數據就緒之后，驅動便將其放入輸出 隊列中，等待應用程序的處理。讀取數據時，驅動首先將一個緩存區出列，應用程序通過該 緩存區的序號值獲取相應的緩存區在用戶空間中的長度及偏移地址，從而達到訪問數據的 目的，當處理完成之后，該緩存區會被重新放入采集隊列中。采集模塊的輸出為YUV420視 頻幀。
[0037] 步驟2,編碼與發送
[0038] 使用H. 264編碼器，對步驟1采集得到的原始視頻數據進行編碼。H. 264編碼器中 的編碼檔次選取：H. 264編碼器采用基本檔次，參考幀數量選擇1，選擇CQP碼率控制方式， 且量化參數QP = 26,選擇DIA宏塊搜索模式，運動估計的搜索范圍設定為8像素，亞像素插 值LEVEL = 1，幀間編碼時，選擇P16xl6宏塊劃分模式。根據編碼器方案設計時所選的參數 值，對H. 264參數選項進行配置，以YUV420格式視頻幀作為編碼器的輸入，NALU作為編碼 器的輸出。
[0039] 編碼得到ES視頻流，經過PES打包器之后，被轉換成PES包，再次經過PS打包后， 通過RTP協議進行傳輸。系統時鐘定期向遠程基準時鐘進行同步，并作為唯一的時鐘信息 (同步時間戳）嵌入視頻流中用于視頻解碼及多個視頻流之間的時間同步。其中，在PES頭 信息中嵌入顯示時間標簽PTS (Presentation Time Stamp)和解碼時間標簽DTS (Decoding Time Stamp)，在PS頭信息中嵌入系統時鐘基準SCR (System Clock Reference)。
[0040] 步驟3，解碼與同步
[0041] 對步驟2中發送的PS流進行逐層解析，最后得到ES流及同步時間戳。使用ffmpeg 解碼器對ES流進行解碼，得到YUV420格式視頻幀。建立視頻緩沖池，對每一路視頻流緩 沖25幀，將YUV420格式視頻幀和該幀對應的同步時間戳一并存入緩沖中。提交視頻時，分 別讀取每一路視頻的當前同步時間戳，以第一路視頻的同步時間戳0\)為基準，Tji = 2， 3…）為第i路視頻的同步時間戳，視頻幀的提交規則定義如下：
[0042] 1)取第一路視頻的當前YUV420視頻幀并提交；
[0043] 2) For i = 2, 3…
[0044] 如果1\-1\ > 20ms，則讀取第i路視頻上一個YUV420視頻幀提交；
[0045] 如果-20ms彡MTi-IV彡20ms，則讀取第i路視頻當前YUV420視頻幀提交；
[0046] 否則，讀取第i路視頻下一個YUV420視頻幀提交；
[0047] 3)第一路視頻讀取位置下移一幀，重復1)，2)操作。
[0048] 步驟4,自動配準
[0049] 拼接參數及拼接線計算從步驟3獲取視頻幀后，采用Sift特征匹配的方式進行圖 像自動配準。計算所得的每一個Sift特征點即為一個4X (4X4)維的描述符，同時將向量 歸一化，對光照更具有魯棒性。采用基于歐式距離的最近鄰向量匹配法，對于低分辨率圖像 中的特征點，利用K-D樹搜索法在參考圖像中找到與低分辨率圖像特征點歐式距離最近的 前兩個特征點。設最近距離為屯，次近距離為d2，閾值為w如果
【權利要求】
1. 一種一體化大場景全景視頻監控裝置，包括大場景監控裝置和大場景監控系統，完 成視頻數據接收、視頻解碼、視頻配準、GPU實時拼接和色彩融合，其特征在于： 所述大場景監控裝置包括前端視頻采集模塊、視頻編碼模塊和數據發送模塊，其中所 述數據發送模塊包括時鐘模塊和發送模塊，時鐘模塊用于多路視頻間的時間同步，輸出的 時間信號以時間戳的形式加入到每個視頻碼流中，數據發送模塊根據時間信號先后順序依 次發送視頻幀； 所述大場景監控系統包括數據接收模塊、視頻解碼模塊、視頻配準模塊、數據庫模塊、 GPU實時拼接融合模塊和輸出編碼模塊，其中GPU實時拼接融合模塊采用硬件并行加速設 計實現對視頻逐巾貞實時拼接； 其中，視頻采集模塊中各子成像設備與視頻編碼模塊連接，視頻編碼模塊與數據發送 模塊連接；數據接收模塊與視頻解碼模塊連接，視頻解碼模塊分別與視頻配準模塊和GPU 實時拼接融合模塊連接；視頻配準模塊與參數配置模塊均通過連接數據庫模塊最終與GPU 實時拼接融合模塊相連接；實時拼接融合模塊作為輸入分別與實時顯示模塊和編碼輸 出模塊連接。
2. 根據權利要求1所述的一體化大場景全景視頻監控裝置，其特征在于，所述前端視 頻采集模塊，是封裝在一個透明球形玻璃罩內的視頻采集設備，用于獲取前端監控區域的 原始視頻序列，并捋其傳輸給視頻編碼模塊分別進行視頻編碼，由一個水平刻度盤和四個 具體的攝像機組成； 其中，所述水平刻度盤標注了攝像機設備放置的位置角度信息，一個刻度盤上固定4 個視頻攝像機，固定各攝像機的扇形擺放角度分別為22. 5°、67. 5°、112. 5°和157. 5 ;其 中，四個攝像機沿每個刻度線方向固定一個，按照一定角度水平扇形排列，使得各相機成像 平面的法線交于同一個中心點且在同一平面內，單個攝像機的有效視域為45°，相鄰攝像 機間視域重疊10°。
3. 根據權利要求2所述的一體化大場景全景視頻監控裝置，其特征在于所述視頻配準 模塊，為離線處理模塊，包括自動配準模塊和參數調整模塊： 其中自動配準模塊實現視頻拼接參數的自動計算和存儲，用于確定最佳的視頻自動配 準參數所述自動配準過程采用sift特征點匹配同名點，使用RANSC算法剔除誤匹配點并計 算得到3*3單應矩陣； 參數調整模塊用于手動調節視頻的拼接參數，對自動配準參數進行優化，所述手動調 整是指對單應矩陣中的9個元素分別進行調整，實現圖像左右、上下平移、縮放、旋轉； 其中，由于前端視頻采集設備姿態已固定，一旦確定了最佳拼接效果的參數，便不再需 要執行視頻配準；通過自動配準和手動調整相結合的方式計算得到的最終拼接參數，包括 拼接單應矩陣和拼接邊緣Mask圖像；計算得到的拼接參數存儲在本地數據庫文件中，供實 時拼接模塊調取使用。
【文檔編號】H04N7/18GK204090039SQ201420597816
【公開日】2015年1月7日 申請日期:2014年10月16日 優先權日:2014年10月16日
【發明者】劉啟芳, 黃美姜, 陶榮偉 申請人:北京十方慧通科技有限公司