設備、系統和方法
【技術領域】
[0001]本發明涉及用于分析視頻幀序列的設備，使用這種設備的系統以及操作這種設備和系統的方法。具體地，但不排他地，本發明實施例涉及視頻監控網絡。
【背景技術】
[0002]視頻監控網絡包括用以提供特定地理位置的監控的一個或多個視頻攝像頭。網絡可以簡單地包括單視頻攝像頭，單視頻攝像頭用于監視門口，例如可以是門、走廊、電梯、入口門廳、出口門廳、大廳、機場安檢門或可能有大量人通過的任何地方。在某些情況下，例如大型購物中心的入口大廳或機場的出發大廳，在較短時間內可能有成千上萬人經過。這使得在這種情況下跟蹤被認為可能對安全構成威脅或引起安全關注的人充滿困難。
[0003]通常，視頻監控網絡包括多個視頻攝像頭，它們布置成提供對諸如城市環境之類的分布式地理位置的監控。每個視頻攝像頭具有特定的視野或者“視場”，在上面捕捉并可以記錄視頻圖像。視頻攝像頭可以是靜止的，或者可以被遠程控制在監控地區移動視場。在特定時間的視場的視頻圖像通常可以稱為“場景”，且可以與攝像頭捕捉的視頻圖像幀對應。
[0004]使用如基于互聯網協議的通信，可以將網絡中的攝像頭通過通信網絡與控制中心相連接。可選擇地，通過專用的模擬或數字通信信道，可以將攝像頭與控制中心相連接。通常控制中心由操作人員操縱，甚至在出現針對網絡內特定場景的自動警報響應的時候。操作人員需要觀察顯示相關事件的攝像頭，例如產生警報的場景。在包括許多攝像頭的網絡中，即使當在控制中心每個攝像頭具有專用的顯示屏幕時，操作員也無法監視所有攝像頭。
[0005]此外，許多視頻監控網絡覆蓋廣泛的地理區域，而且可以具有不重疊或不鄰接的視場覆蓋范圍。另外，攝像頭可以覆蓋擁擠地區，可能包括被其它對象遮擋的對象，例如，在靜態遮擋的地方，由于城市特色建筑遮擋部分街道從而遮擋在該城市特色建筑后面通過的行人和車輛，或者行人之間互相遮擋的諸如擁擠的環境之類的地方。
[0006]監視這種視頻監控網絡可能非常復雜，導致難以觀察到事件和/或跟蹤在事件之前或者事件之后接著發生的活動。
【發明內容】
[0007]考慮到前述情況，設計了本發明的各方面和實施例。
[0008]就第一方面而言，本發明提供了數據處理設備，用于顯示攝像頭位置的網絡地圖和第一攝像頭視場的場景；響應用戶對場景中的對象所作的標記，以:基于在其它視場中的可能的對象，確定網絡中被標記對象可能出現的其它攝像頭視場，其它視場滿足第一攝像頭視場中的出口點和/或入口點與其它視場的入口點和/或出口點之間的時間關系和空間關系；以及顯示網絡中攝像頭位置之間滿足時間和空間關系的可能的路線。
[0009]本發明的數據處理設備可進一步用于基于可能的對象和被標記對象之間的外觀元數據的相似度確定被標記對象可能出現的其它視場。
[0010]本發明的數據處理設備可進一步用于顯示所呈現的路線符合被標記對象采用的路線的概率指示。
[0011]本發明的數據處理設備可進一步用于突出最有可能的路線。
[0012]本發明的數據處理設備可用于響應用戶對與其它視場對應的攝像頭位置的選擇，以顯示存在可能的對象的視頻場景。
[0013]本發明的數據處理設備可響應用戶對可能的對象的選擇，以確認可能的對象作為被標記對象，并確認通向攝像頭位置的路線，并刪除其它路線。
[0014]本發明的數據處理設備可進一步用于基于空間關系和時間關系，以及任選的外觀元數據，計算去往和來自用于被標記對象的攝像頭位置的進一步可能的路線，并顯示可能的路線。
[0015]本發明的數據處理設備可進一步用于至多僅顯示一定數量的可能的路線，這些可能的路線對應于具有最尚可能性的那些路線。
[0016]本發明的數據處理設備可進一步用于至多僅顯示一定數量的攝像頭位置之間的連接。其中，在一個實施方式中，一定數量的攝像頭是用戶能設置的。
[0017]本發明的數據處理設備可用于與場景一起顯示滑塊控制器，用戶可啟動滑塊控制器來回滑動以向后或向前移動視頻場景。
[0018]本發明的數據處理設備可用于顯示沿著所顯示的時間線上的一個或多個書簽以指示對象進入或離開與所顯示的場景對應的視場的地方。
[0019]本發明的數據處理設備可用于在所顯示的對象周圍顯示邊界框，所顯示的對象具有與其相關的元數據，諸如入口點和出口點。
[0020]本發明的數據處理設備可用于通過以具有不同突出屬性的邊界框突出可能的對象以區別沒有歸類為可能的對象的對象，并以具有不同突出屬性的邊界框突出確認的對象以區別沒有歸類為確認的對象的對象。
[0021]本發明的數據處理設備可用于生成被標記對象通過網絡地圖的路線的報告。
[0022]在攝像頭視野的環境中的“跟蹤”可以是用于定義對象存在的位置、時間和外觀細節的結合。這種對于對象的跟蹤一直存在，直到他從場景中完全地消失或者滿足所設置的跟蹤結束的條件為止。
[0023]就本發明的第二方面而言，提供了一種操作數據處理設備的方法，包括:顯示攝像頭位置的網絡地圖和第一攝像頭視場的場景；響應用戶對場景中的對象所作的標記，以:基于在其它視場中可能的對象，確定網絡中被標記對象可能出現的其它攝像頭視場，其它視場滿足第一攝像頭視場中的出口點和/或入口點與其它視場中的入口點和/或出口點之間的時間關系和空間關系；以及顯示網絡中攝像頭位置之間滿足時間關系和空間關系的可能的路線。
[0024]本發明的操作數據處理設備的方法可包括基于可能的對象和被標記對象之間的外觀元數據的相似度確定被標記對象可能出現的其它視場。
[0025]本發明的操作數據處理設備的方法可進一步包括顯示所呈現的路線符合被標記對象采用的路線的概率指示。
[0026]本發明的操作數據處理設備的方法可進一步包括突出最有可能的路線。
[0027]本發明的操作數據處理設備的方法可進一步包括響應用戶對與其它視場對應的攝像頭位置的選擇，以顯示存在可能的對象的視頻場景。
[0028]本發明的操作數據處理設備的方法可進一步包括響應用戶對可能的對象的選擇，以確認可能的對象作為被標記對象，并確認通向攝像頭位置的路線，并刪除其它路線。
[0029]本發明的操作數據處理設備的方法可進一步包括基于空間關系和時間關系，以及任選的外觀元數據，計算去往和來自用于被標記對象的攝像頭位置的進一步可能的路線，并顯示可能的路線。
[0030]本發明的操作數據處理設備的方法可進一步包括至多僅顯示一定數量的可能的路線，這些可能的路線對應于具有最尚可能性的那些路線。
[0031]本發明的操作數據處理設備的方法可進一步包括至多僅顯示一定數量的攝像頭位置之間的連接。
[0032]本發明的操作數據處理設備的方法可進一步包括與場景一起顯示滑塊控制器，用戶可啟動滑塊控制器來回滑動以向后或向前移動視頻場景。
[0033]本發明的操作數據處理設備的方法可進一步包括顯示沿著所顯示的時間線上的一個或多個書簽以指示對象進入或離開與所顯示的場景對應的視場的地方。
[0034]本發明的操作數據處理設備的方法可進一步包括通過以具有不同突出屬性的邊界框突出可能的對象以區別沒有歸類為可能的對象的對象，并以具有不同突出屬性的邊界框突出確認的對象以區別沒有歸類為確認的對象的對象。
[0035]本發明的操作數據處理設備的方法可進一步包括生成被標記對象通過網絡地圖的路線的報告。
[0036]根據第一方面和第二方面的實施例處理視頻幀序列中的視頻圖像數據，以將視頻幀序列中諸如人或車輛之類的對象的行為或路徑簡化為占用較低帶寬的元數據格式，例如，僅四個簡單的數據點，這使得易于搜索。也就是說，將視頻幀序列中的對象的行為簡化為合理的數據，該數據定義了對象在序列中起始和終止的地方以及與起點和終點對應的時間。這實質上減少了存儲關于對象行為的信息所需的數據存儲空間的數量，而且如果將在數據分析中使用對象的行為，也減少了必要的處理量。
[0037]通常，一個或多個實施例可以處理多個監控網絡攝像頭視場的視頻幀序列以跟蹤各個視場中的對象，并且將各個起點和終點以及起始時間和終止時間作為各個視場中的每個所述跟蹤的屬性進行存儲。例如，在覆蓋諸如市中心、倉庫或者其他這種設施之類的大型地理區域的監控網絡中，將使用多個視頻攝像頭。
[0038]適當地，一個或多個實施例可以確定第一視場中的跟蹤的終止時間與第二視場中的跟蹤的起始時間之間的時間關系，并且基于所述時間關系確定所述第一視場中的所述跟蹤過渡到所述第二視場中的所述跟蹤的似然值。然后存儲該似然值。就這種差異來說，似然值可以是概率值。確定在第一視場和第二視場的跟蹤之間的過渡的似然值提供了一種實施例，其中可以根據它們的似然值對過渡進行排序。因此，可以丟棄或忽略具有低似然值的過渡。由于可以忽略較低可能性的過渡并且在它們上沒有進行數據處理，因此這在減少數據處理開銷方面可能特別重要，并且分析數據依賴于第一視場和第二視場之間的過渡。而且，由于對定義不同視場中的跟蹤之間的對應關系的元數據進行處理，而不是對視頻幀進行處理，因此需要較少的處理量。
[0039]時間關系可以是基于物理空間中對應于所述起始時間的起點與對應于所述終止時間的終點之間的空間關系。通常，這種空間關系是沿著道路或人行道的出口區和入口區之間的距離，并且可以在系統內定義為系統參數。
[0040]更具體地，根據本發明的實施例可以在所述第一視場和第二視場中跟蹤多個對象，并確定相應的多個起點和終點；基于所述多個起點和終點確定所述第一視場和第二視場中的起始區和終止區；確定所述第一視場中的跟蹤的終止區與所述第二視場中的跟蹤的起始區之間的所述時間關系；以及基于所述時間關系確定從所述第一視場中的跟蹤到所述第二視場中的跟蹤的過渡的所述似然值。因此，定義了物體可能從視場內出現或消失的區域，這提供了對出口區和入口區更簡單的識別。
[0041]通常，時間關系基于物理空間中所述起始區和所述終止區之間的空間關系。
[0042]通常，更多實施例對所述第一視場中所述對象的標記進行響應，以確定具有所述第二窗口中的起始時間并滿足所述時間關系的一個或多個跟蹤，并向用戶顯示所述一個或多個跟蹤。
[0043]具體地，一個或多個實施例確定對象的外觀作為所述對象的屬性，比較與所述一個或多個跟蹤對應的每個對象的外觀屬性，以確定每個對象成為被標記對象的概