監控系統和視線跟蹤設備的制作方法

專利名稱：監控系統和視線跟蹤設備的制作方法
技術領域：
監控系統和視線跟蹤設備
技術領域：
本實用新型涉及監控系統，具體涉及一種監控系統和視線跟蹤設備。背景技術：
監控系統廣泛存在于商場、大廈、公路、車站、機場等公共場所，作 為大型監控系統的核心，監控指揮中心起著組織、指揮、協調和督導的作 用。監控中心里，與人交互的設備通常是監視屏和操作臺。如圖l所示， 現有的監控系統中，操作人員通過監視屏來觀看遠處攝像機拍攝、高速球
機等返回來的視頻，這些視頻通過DVR (Digital Video Recorder,數字 視頻錄像機或數字硬盤錄像機)記錄中轉，DVR具有控制輸入，可以用來 遠程控制球機及攝像頭。現有系統使用操作臺的搖桿、按鈕等傳統人機交 互手段來進行視頻的選擇、縮放等監控操作，操作人員通過操作臺發送指 令，通過DVR來切換視頻，并伸縮、轉動攝像頭或球機。然而，隨著監控 設備增多，操作人員要監視和控制的目標也越來越多，因此，需要隨時面 對大量的視頻數據。有的時候， 一名操作人員可能要循環觀看近幾百路的 實時視頻。傳統的操作臺式交互的監控系統的效率低下，已經越來越不能 滿足繁瑣的操作要求。特別是面對監控中所發生各種突發事件，如果需要 快速選中和控制某一攝像頭的伸縮和轉動、選擇切換視頻通道時，使用傳 統設備很難迅速有效地反應和處理。而且，面對數量龐大的視頻數據，監 控操作難免過于復雜而易導致監控人員忙中出錯。
實用新型內容
本實用新型的主要目的就是解決現有技術中的問題，提供一種監控系 統，方便監控人員選中監控目標，提高監控操作的效率。
本實用新型的另一目的提供一種使用在監控系統中能為其帶來上述優 點視線跟蹤設備。
為實現上述目的，本實用新型提供一種監控系統，包括用于顯示視頻圖 像的監視屏、用于攝取并傳輸視頻圖像的被控監視設備以及用于根據操控 指令控制被控監視設備的動作和記錄視頻圖像并將視頻圖像提供給所述監 視屏顯示的控制模塊，所述控制模塊的輸出端分別耦合到被控監視設備和
監視屏，其特征在于，還包括視線跟蹤設備，所述視線跟蹤設備包括參照 點光源、人眼攝像單元、圖像處理單元，所述參照點光源設置在所述監視 屏附近，所述人眼攝像單元設置在可以拍攝到監控者至少一只眼睛的位置， 所述圖像處理單元的輸入端與所述人眼攝像單元的輸出端耦合，所述圖像 處理單元的輸出端耦合到所述控制模塊的輸入端，所述圖像處理單元用于 解析出所述人眼攝像單元拍攝到的人眼圖像中瞳孔中心點和所述參照點光 源的反射點的初始校準位置和當前位置，計算出當前位置下人眼在所述監 視屏上的當前視線點并輸出相應于當前視線點的目標確認指令，其中，所 述初始校準位置對應于所述監視屏上預設的視線校準點。
優選地，所述視線跟蹤設備還包括目標操作單元，所述目標操作單元 的輸入端與所述圖像處理單元的輸出端耦合，所述目標操作單元的輸出端 與所述控制模塊的輸入端耦合。
所述人眼攝像單元包括分別獲取左、右眼圖像的左眼攝像頭和右眼攝 像頭。
所述視線跟蹤設備還包括用于檢測頭部對所述監視屏的初始位置和 當前位置的運動補償攝像單元，所述運動補償攝像單元的輸出端與所述圖 像處理單元相連。
所述運動補償攝像單元包括用于攝取所述參照點光源圖像的光源攝 像頭，所述光源攝像頭與頭部聯動設置。
所述參照點光源包括至少4個紅外光源，所述紅外光源以至少構成四 邊形的方式分布在所述監視屏下方或其四周。
為實現上述目的，本實用新型還提供一種視線跟蹤設備，用于監控系 統中人眼對監視屏的視線跟蹤，其特征在于，包括參照點光源、人眼攝像 單元、圖像處理單元，所述參照點光源設置在所述監視屏附近，所述人眼 攝像單元設置在可以拍攝到監控者至少一只眼睛的位置，所述圖像處理單 元的輸入端與所述人眼攝像單元的輸出端耦合，所述圖像處理單元用于解 析出所述人眼攝像單元拍攝到的人眼圖像中瞳孔中心點和所述參照點光源 的反射點的初始校準位置和當前位置，計算出當前位置下人眼在所述監視 屏上的當前視線點并輸出相應于當前視線點的目標確認指令，其中，所述 初始校準位置對應于所述監視屏上預設的視線校準點。
優選地，還包括用于固定在頭部的攝像支架，所述人眼攝像單元安裝 在所述攝像支架上能拍攝到至少一只人眼圖像的部位。
所述攝像支架為眼鏡架型結構，包括鏡框和左右對稱的用于戴在耳部
的兩個鏡腿。
還包括用于套固在頭部的固定帶，所述固定帶的兩端分別與所述兩個 鏡腿相連。
本實用新型的有益效果是-
本實用新型的監控系統中設置了視線跟蹤設備，通過人眼攝像單元獲 取人眼圖像，通過圖像處理單元解析出人眼圖像中瞳孔中心點和參照點光 源的反射點對應于視線校準點的初始校準位置，并根據該初始校準位置建 立起人眼與監視屏之間的位置關系矩陣，在實時監控過程中，圖像處理單 元對瞳孔中心點和反射點的當前位置進行解析，利用該位置關系矩陣，就 可以計算出當前位置下人眼在監視屏上的當前視線點并確定其對準的監視 目標。本實用新型完全改變了以往監控系統的操作方式，不依賴復雜的搖 桿、按鍵控制板等操作臺設備，而是采用視線跟蹤設備分析操作員視線， 根據視線點方便迅捷地選中目標——被控監視設備或視頻內容，進而可完 成對目標的操控動作。如從幾十路視頻中選中其中一個的目標鎖定，放大 視頻中的某個位置或者控制球機轉動以跟蹤某個監視對象。本實用新型能 夠很好的輔助操作人員做出快速反應，簡化復雜的監控操作，大大提高監 控效率。

圖1為現有監控系統的結構框圖； 圖2為本實用新型監控系統一種實施例的結構框圖； 圖3為本實用新型視線跟蹤設備一種實施例的結構框圖; 圖4為本實用新型一種實施例中的攝像支架立體示意圖； 圖5為圖4中的攝像支架的俯視圖； 圖6為圖4中的攝像支架的側視圖 圖7為本實用新型監控系統工作原理的流程圖； 圖8為圖7中瞳孔中心點及反射點位置檢測進一步細化的流程圖； 圖9為圖7中頭部對監視屏位置檢測進一步細化的流程圖。
具體實施方式
本實用新型的特征及優點將通過實施例結合附圖進行詳細說明。 本實用新型的監控系統包括監視屏、操控模塊、控制模塊以及被控監 視設備。操控模塊包括視線跟蹤設備，視線跟蹤設備的輸出端與控制模塊 的輸入端耦合，控制模塊的輸出端分別耦合到被控監視設備和監視屏。監 視屏用于顯示視頻圖像，被控監視設備攝取并傳輸視頻圖像，控制模塊根
據來自視線跟蹤設備的操控指令控制被控監視設備的動作、記錄視頻圖像
并將視頻圖像提供給監視屏顯示。請參照圖2，其中，監視屏既可以是監 視器的屏幕，也可以是監控中心的大顯示屏，操控模塊優選還包括輔助設 備(如按鍵、搖桿之類的傳統操控設備)，被控監視設備包括攝像頭和球機， 控制模塊采用DVR，DVR內具有控制單元，可以用來遠程控制攝像頭及球機。 監控人員與系統的交互通過監視屏和視線跟蹤設備進行。監控人員的操作 指令通過視線跟蹤設備輸入系統，DVR根據操控指令控制被控監視設備的 選擇、動作以及視頻圖像的選擇、記錄和操作，并將記錄的視頻圖像輸出 至監視屏。 一種實施例中，監控系統包含多個DVR，監視視頻由各DVR記 錄和中轉，每個DVR均能夠控制輸出多路視頻至監視屏。
請參照圖3，視線跟蹤設備包括參照點光源、人眼攝像單元及圖像處 理單元。參照點光源設置在監視屏附近，人眼攝像單元設置在可以拍攝到 監控者至少一只眼睛的位置，圖像處理單元的輸入端與人眼攝像單元的輸 出端耦合，圖像處理單元的輸出端耦合到DVR的輸入端(未示出)。參照點 光源發出的光線由人眼捕獲和反射。人眼攝像單元獲取人眼圖像并提供給 圖像處理單元，圖像處理單元對人眼圖像中瞳孔中心點和參照點光源在瞳 孔中的反射點的位置進行解析，建立人眼與監視屏之間的位置關系矩陣， 監控過程中，圖像處理單元解析出瞳孔中心點和反射點的當前位置信息， 并通過位置關系矩陣計算出當前位置下人眼在監視屏上的當前視線點，確 定當前視線點對準的目標。優選的，視線跟蹤設備還包括目標操作單元， 當前視線點對準的目標確定后，可通過目標操作單元輸出指令至DVR，激 活目標并執行進一步的操作。
為確定人眼與監視屏的初始位置關系，首先要完成初始校準。預先在 監視屏上設定好視線校準點，例如可將屏幕的左上點、右下點和中心點等 規定為視線校準點，視線跟蹤前，人眼先注視監視屏的這幾個特定位置， 通過人眼攝像單元獲取人眼圖像，再由圖像處理單元解析出人眼圖像中瞳 孔中心點和參照點光源的反射點對應于各視線校準點的初始校準位置，然 后，結合初始校準位置信息和已知的視線校準點的位置信息進行分析，即 可建立人眼與監視屏(瞳孔中心點、反射點與監視屏視線校準點)的位置 關系矩陣。完成了初始化之后，就可在監控過程中實施視線跟蹤。人眼攝 像單元實時捕捉人眼當前的各幀圖像，由圖像處理單元進行解析，測出人 眼的瞳孔中心點和參照點光源在瞳孔中的反射點的當前位置。接下來根據位置關系矩陣和當前位置信息進行計算，最終確定該當前位置下的人眼在 監視屏上停留的當前視線點。在具體的處理過程中，還可以根據過往圖像 幀(如前一幀)得到的位置關系作為參照，預測接下來瞳孔將要出現的位 置，以提高準確度并減少計算量。
參照點光源優選釆用紅外光源如紅外LED (發光二極管)，其功率根據 監視屏到人眼的距離選定。將四個紅外LED安裝在監視屏下方或其四周， 構成四邊形。四個參照點是達到實現矩陣變換(包括縮放、平移及旋轉) 所需的最少參照點數。人眼攝像單元設置在眼睛的前下方，向斜上方拍攝， 以免擋住視線，并且其焦距足夠小以能清晰的拍攝出整個眼睛圖像。人眼 攝像單元優選采用紅外攝像頭，其上配有紅外濾鏡，過濾掉可見光，所獲 得的眼部圖像為紅外圖像。由于瞳孔吸收紅外波長，而鞏膜和虹膜反射紅 外波長，故在紅外光下瞳孔整體呈現為顯著的深黑色。采用紅外光源和紅 外攝像頭，有利于對人眼圖像中瞳孔的鑒別和定位。更優選的實施例中， 人眼攝像單元包括左眼攝像頭和右眼攝像頭，分別獲取左、右眼圖像。綜 合雙眼的圖像進行分析和處理，有利于提高視線跟蹤的精度。此外，各攝 像頭還具有數字校正的內置光源，能對周圍亮度的變化進行數字補償，以 保證視線跟蹤的穩定性。
作為改進，圖像處理單元中設置有圖像增強模塊，所獲取的人眼圖像 在進行解析之前，先由圖像增強模塊進行增強處理，包括提高瞳孔、眼球 及參照點光源的反射點的識別精度及識別率，進而提高圖像解析的精度。 具體處理手段可以是亮度、對比度調整以及圖像去噪等。又一種改進中， 圖像處理單元還包括虹膜解析模塊，虹膜解析模塊對人眼圖像中的虹膜外 邊緣進行檢測。虹膜外邊緣檢測主要是找出人眼圖像中邊緣變化最強烈的 圓形，并返回該圓形的中心位置以及半徑信息。結合對虹膜位置的分析來 進行圖像解析，能夠更準確地對瞳孔中心點和參照點光源的反射點進行定 位。
在更佳的實施例中，視線跟蹤設備還包括運動補償攝像單元，而圖像 處理單元還包括運動補償模塊。運動補償攝像單元的輸出端與運動補償模 塊相連。運動補償攝像單元檢測頭部對監視屏的初始位置(對應于人眼的 初始校準位置)和當前位置(對應于人眼的當前位置)信息，運動補償模 塊對該信息進行處理，計算出頭部位置變化對參照點光源在人眼中的反射 點所帶來的偏移量，并根據該偏移量對當前視線點進行運動補償。通過運
動補償，能夠減小誤差，進一步提高當前視線點跟蹤的準確程度。優選地， 運動補償攝像單元包括與頭部聯動設置的光源攝像頭，該光源攝像頭獲取 參照點光源的圖像。將光源攝像頭與左、右眼攝像頭的坐標系關聯起來， 通過分析參照點光源的圖像前后變化，可測出頭部對監視屏的位置變化， 計算出要補償的量，從而實現運動補償。
本實用新型中，目標操作單元可結合采用眨眼控制模塊與鍵控模塊。 眨眼控制模塊根據人眼攝像單元拍攝到的眨眼信息來激活和操作當前視 線點對準的目標，而鍵控模塊則通過傳統的手動方式，利用按鈕、鍵盤等
來激活和操作目標。激活和操作指令通過目標操作單元發送給DVR進行控 制和處理。 一般而言，手動的鍵控方式往往比諸如眨眼確認等自動確認方 法更符合傳統的操作習慣。又例如，目標操作單元可配置"圖像放大"等 視頻處理按鍵，便于用戶對選中的視頻內容進行操作。
請參照圖4至圖6，視線跟蹤設備還包括攝像支架2，攝像支架2包 括可固定在頭部的固定件21，人眼攝像單元1安裝在攝像支架2上能拍攝 到至少一只人眼圖像的部位。優選的，固定件21為眼睛架型的金屬或塑 料頭具，包括鏡框和左右對稱的用于戴在耳部的兩個鏡腿211，鏡腿211 的尾部可架在人耳上，攝像支架2還包括與其中一鏡腿211相連的支承件 22，支承件22具有延伸到人眼的前下方的支承端，人眼攝像單元1安裝 在支承端上，向斜上方拍攝眼睛，可避免擋住視線。為了提高檢測精確度， 人眼攝像單元1采用左眼和右眼兩個攝像頭，分別用于拍攝左、右眼圖像， 支承件22為與兩個鏡腿211相對應設置的兩個，左眼攝像頭和右眼攝像 頭分別固定在兩個支承件22上。左、右眼攝像頭要求體積盡量小，畸變 盡量小，且其焦距以能夠清晰地拍攝出整個眼睛的圖像。作為改進，攝像 裝置還包括固定帶，固定帶的兩端分別與兩個鏡腿211相連。固定帶可以 固套在頭部，可進一步穩固攝像支架2。
更佳的實施例中，攝像裝置還包括運動補償攝像單元3，它用于檢測 頭部對監視屏的初始位置和當前位置，優選的，運動補償攝像單元3采用 對參照點光源進行拍攝的光源攝像頭3。光源攝像頭3也安裝在攝像支架 2上，鏡頭朝向參照點光源，優選將光源攝像頭3設置在鏡腿211上靠人 眼外側的部位。更優選的，光源攝像頭3以可調節方向的方式與鏡腿211 相連，從而可以靈活調整它的鏡頭朝向，使其能在頭部位置變動時仍對準 參照點光源。
攝像裝置優選采用紅外攝像頭，各攝像頭配有紅外濾鏡以過濾可見
光，并可選用320X240的解析度。
下面進一步介紹監控系統一種實施例的工作原理。請參照圖7，監控 系統的工作按照如下步驟進行
步驟SlOl、檢測人眼圖像中與視線校準點相應的瞳孔中心點和參照點
光源的反射點的初始校準位置；
步驟S102、根據視線校準點的位置和瞳孔中心點、反射點的初始校準 位置，建立起人眼與監視屏之間的位置關系矩陣；
步驟S103、監測過程中，檢測瞳孔中心點和反射點的當前位置；
步驟S104、根據位置關系矩陣，計算出當前位置下人眼在監視屏上的 當前視線點；
步驟S201、檢測頭部對監視屏的初始位置
步驟S202、檢測頭部對監視屏的當前位置；
步驟S203、計算頭部運動對參照點光源的反射點帶來的偏移量；
步驟S3、根據計算出的偏移量對當前視線跟蹤點進行運動補償；接下 來執行下列可選步驟，
步驟S4、通過鍵控方式選定和操控目標，如視頻內容本身的縮放、攝 像頭的運動控制等；或者
步驟S5、通過眨眼處理方式選定和操控目標；或者
步驟S6、對對準的目標的視頻信號作進一步處理。
請參照圖8，對于步驟S101和步驟S103，瞳孔中心點和參照點光源 在人眼的反射點的位置檢測又包括如下子步驟
首先攝取眼部圖像；
接下來對獲得人眼圖像進行增強，可包括亮度、對比度調整以及圖像 去噪等處理，以提高瞳孔、反射點的識別精度及識別率；
然后對圖像進行分析，檢測瞳孔中心點和反射點，同時檢測人眼圖像 中的虹膜外邊緣以對瞳孔中心點和反射點的定位進行輔助；
最后，解析出瞳孔中心點和反射點的位置。
請參照圖9，對于步驟S201和步驟S202，頭部對監視屏的位置檢測 又包括如下子步驟-
首先攝取參照點光源圖像； 接下來對獲得參照點光源圖像進行增強； 然后對圖像進行分析，檢測參照點光源； 最后，解析出頭部相對于監視屏的位置。
本實用新型的監控系統采用視線跟蹤技術，完全改變了以往的監控操 作方式，不使用復雜的搖桿、按鍵控制板等操作臺設備，而是采用視線跟 蹤設備分析出人眼視線在監視屏上對準的目標，從而可以方便迅捷地選中 被控監視設備或監視目標，通過目標操作單元可激活并完成對目標進一步 的操控動作。如從幾十路視頻中選中其中一個的目標鎖定，放大視頻中的 某個位置或者控制球機轉動以跟蹤某個監視目標。本實用新型能夠很好的 輔助操作人員做出快速反應，簡化復雜的監控操作，大大提高監控效率。 另外，由于本實用新型的視線跟蹤設備采用對人眼反射向量進行分析來實 現視線跟蹤，因此，采用它的監控系統具有受外界因素(如肌肉震動、環 境變化等)影響帶來的誤差小、對人無干擾和占用帶寬小等優點。
以上內容是結合具體的優選實施方式對本實用新型所作的進一步詳 細說明，不能認定本實用新型的具體實施只局限于這些說明。對于本實用 新型所屬技術領域的普通技術人員來說，在不脫離本實用新型構思的前提 下，還可以做出若干簡單推演或替換，都應當視為屬于本實用新型的保護 范圍。
權利要求1. 一種監控系統，包括用于顯示視頻圖像的監視屏、用于攝取并傳輸視頻圖像的被控監視設備以及用于根據操控指令控制被控監視設備的動作和記錄視頻圖像并將視頻圖像提供給所述監視屏顯示的控制模塊，所述控制模塊的輸出端分別耦合到被控監視設備和監視屏，其特征在于，還包括視線跟蹤設備，所述視線跟蹤設備包括參照點光源、人眼攝像單元、圖像處理單元，所述參照點光源設置在所述監視屏附近，所述人眼攝像單元設置在可以拍攝到監控者至少一只眼睛的位置，所述圖像處理單元的輸入端與所述人眼攝像單元的輸出端耦合，所述圖像處理單元的輸出端耦合到所述控制模塊的輸入端，所述圖像處理單元用于解析出所述人眼攝像單元拍攝到的人眼圖像中瞳孔中心點和所述參照點光源的反射點的初始校準位置和當前位置，計算出當前位置下人眼在所述監視屏上的當前視線點并輸出相應于當前視線點的目標確認指令，其中，所述初始校準位置對應于所述監視屏上預設的視線校準點。
2. 如權利要求1所述的監控系統，其特征在于，所述視線跟蹤設備還包括目標操作單元，所述目標操作單元的ir入端與所述圖像處理單元的 輸出端耦合，所述目標操作單元的輸出端與所述控制模塊的輸入端耦合。
3. 如權利要求i所述的監控系統，其特征在于，所述人眼攝像單元 包括分別獲取左、右眼圖像的左眼攝像頭和右眼攝像頭。
4. 如權利要求1至3中任一項所述的監控系統，其特征在于，所述 視線跟蹤設備還包括用于檢測頭部對所述監視屏的初始位置和當前位置 的運動補償攝像單元，所述運動補償攝像單元的輸出端與所述圖像處理單 元相連。
5. 如權利要求4所述的監控系統，其特征在于，所述運動補償攝像 單元包括用于攝取所述參照點光源圖像的光源攝像頭，所述光源攝像頭與 頭部聯動設置。
6. 如權利要求1至3中任一項所述的監控系統，其特征在于，所述 參照點光源包括至少4個紅外光源，所述紅外光源以至少構成四邊形的方 式分布在所述監視屏下方或其四周。
7. —種視線跟蹤設備，用于監控系統中人眼對監視屏的視線跟蹤， 其特征在于，包括參照點光源、人眼攝像單元、圖像處理單元，所述參照 點光源設置在所述監視屏附近，所述人眼攝像單元設置在可以拍攝到監控 者至少一只眼睛的位置，所述圖像處理單元的輸入端與所述人眼攝像單元 的輸出端耦合，所述圖像處理單元用于解析出所述人眼攝像單元拍攝到的 人眼圖像中瞳孔中心點和所述參照點光源的反射點的初始校準位置和當 前位置，計算出當前位置下人眼在所述監視屏上的當前視線點并輸出相應 于當前視線點的目標確認指令，其中，所述初始校準位置對應于所述監視 屏上預設的視線校準點。
8. 如權利要求7所述的視線跟蹤設備，其特征在于，還包括用于固 定在頭部的攝像支架，所述人眼攝像單元安裝在所述攝像支架上能拍攝到 至少一只人眼圖像的部位。
9. 如權利要求7或8所述的攝像裝置，其特征在于，所述攝像支架 為眼鏡架型結構，包括鏡框和左右對稱的用于戴在耳部的兩個鏡腿。
10. 如權利要求9所述的攝像裝置，其特征在于，還包括用于套固在 頭部的固定帶，所述固定帶的兩端分別與所述兩個鏡腿相連。
專利摘要本實用新型公開了一種監控系統，包括監視屏、被控監視設備和控制模塊，還包括視線跟蹤設備，其包括參照點光源、人眼攝像單元及圖像處理單元，參照點光源設置在監視屏附近，人眼攝像單元設置在可拍攝到監控者至少一只眼睛的位置，圖像處理單元與人眼攝像單元及控制模塊耦合，圖像處理單元解析人眼攝像單元拍攝到的人眼圖像中瞳孔中心點和參照點光源的反射點的初始校準位置和當前位置，計算當前位置下人眼在監視屏上的當前視線點并輸出相應于當前視線點的目標確認指令，其中，初始校準位置對應于監視屏上預設的視線校準點。本實用新型還公開了用于該監控系統中的一種視線跟蹤設備。通過視線跟蹤在監視屏上選定目標，能簡化監控操作，提高監控效率。
文檔編號H04N7/18GK201207703SQ200820093698
公開日2009年3月11日 申請日期2008年4月28日 優先權日2008年4月28日
發明者哲 趙, 暉 鄭 申請人:安防科技(中國)有限公司