專利名稱：基于視覺的用于檢測需要援助的事件或文件的方法和裝置的制作方法
技術領域：
本發明涉及計算機視覺技術，尤其涉及使用基于視覺識別技術的用于檢測事件的方法和裝置。
由于勞動成本的增加，以及合格候選雇員的數目不足，許多零售商業和其它機關常常必須以數目不足的雇員工作。因此，在沒有足夠的雇員執行每一期望的操作時，經營者必須優先劃分責任，以便保證滿足最重要的操作，或找到一個替代方法執行該操作。例如，許多零售設施利用自動操作的盜竊檢測系統來替代或補充一個安全人員。
另外，例如許多企業沒有足夠的雇員充分地監視整個商店或其它位置以實現安全的目的，或確定一個顧客何時需要幫助。因此，許多企業和其它機關把攝像機定位在不同位置，以便監視顧客和雇員的活動。同時由該攝像機產生圖像通常提供由處于中央單元的一個人監視的各種位置，這種系統仍然需要人來監視，以便檢測感興趣的事件。
當這樣一個感興趣的事件包括雇員或顧客的傷害時，該企業的經營者可能將面臨著責任。因此希望歸檔與傷害相關事件的任何相關的圖像用于后續證據的的目的。然而，利用需要人來監視該圖像的一個傳統的系統，即時地、或在一個充分時段內檢測或報告這種傷害相關事件而保證該圖像被歸檔是不可能的。由于訛稱＂失足和跌倒＂以及其它傷害的趨向的增加，對于企業經營者來說，用于證據用途的傷害相關事件的錄象特別有益。
因此需要一種使用基于視覺技術監視系統，自動地識別可能需要幫助的個人的事件。還需要采用基于一種規則來定義每一事件的一個事件監視系統。還需要使用根據視覺技術的一個監視系統，識別預定的事件并且記錄這種事件用于證據的目的。
總的來說，本發明公開一種使用基于視覺技術的用于監視一個位置的方法和裝置，識別其中個人可能需要幫助或可能包括責任的預定事件，在此處將其稱之為幫助請求事件。公開的事件監視系統包括聚焦在一個給定位置的一個或多個圖像捕獲裝置。這捕獲的圖像由事件監視系統處理以便標識一個或者多個幫助請求事件，并且啟動適當的響應，例如送出幫助或記錄事件用于證據的目的(或兩者)。
根據本發明的一個方面，使用若干規則定義不同的幫助請求事件。為了啟動該規則，每一規則都包含必須滿足的一個或者多個條件，并且作為選擇，每一規則包含在該規律被滿足時應該執行的對應于操作項，比如送出幫助或記錄事件用于證據的目的(或兩者)。用于每一規則的至少一個條件標識必須使用基于視覺技術檢測的在一個圖像中的特征。依據一個預定的事件的檢測，由事件監視系統執行對應的反應(如果有任何這種對應的反應)。
例如當該標識的幫助請求事件是一個需要幫助的顧客時，該對應反應選項可以是自動地派遣適當的商店人員或醫療援助。本發明公開了一個說明性的事件監視過程，以便說明本發明的總概念，該過程分析該捕獲的圖像，以便檢測一個或者多個由事件規則定義的幫助請求事件。
參考下面附圖的詳細描述，將獲得本發明的更完全的理解以及本進一步的發明特點和優點。
圖1示出根據本發明一個事件監視系統；圖2示出來自圖1事件數據庫的一個取樣表格；圖3是實現本發明原理的描述一個示例性事件監視過程的流程圖；并且圖4是描述結合本發明特征的描述一個示例性失足和跌倒檢測處理的流程圖。
圖1示出根據本發明一個事件監視系統100。總的來說，本發明檢測的事件是那些包括可能要求幫助的個人的事件或包括責任的事件，在下文總稱作＂幫助請求事件＂。如圖1所示，事件監視系統100包括聚焦在一個或者多個監視區域160上的一個或者多個圖像捕獲裝置150-1至150-N(在下文總稱為圖像捕獲裝置150)。監視區域160可以是可能有要求幫助的個人的任何位置，例如商店中的一個走廊，或可能有包括潛在責任的事件的位置，例如可以具有大量車輛事故的交叉點。
本發明認識到，幫助請求事件常常是隨后涉及訴訟的事件。因此，根據本發明的另一方面，由圖像捕獲裝置150捕獲的圖像可以被記錄和存儲用于證據的目的，例如記錄和存儲在一個圖像歸檔數據庫175中。如下面進一步討論的那樣，與每一檢測的幫助請求事件相關的圖像可以選擇地記錄在圖像歸檔數據庫175中用于證據的目的。在一個實施例中，每一檢測的幫助請求事件前后的預定數目的圖像幀可與事件的時間信息一起記錄在該圖像歸檔數據庫175中，用于證據的目的。
每一圖像捕獲裝置150可以例如包括一個固定的或廣角傾斜放大(PTZ)攝像機，用于獲得圖像或視頻信息。由圖像捕獲裝置150產生的圖像被以下面結合圖3討論的方式由事件監視系統100處理，以便標識一個或者多個預定的幫助請求事件。在實施方案，本發明采用了下面進一步結合圖2討論的一個事件數據庫200，記錄有定義各種幫助請求事件的若干規則。
由每一規則定義的幫助請求事件可以由根據本發明的事件監視系統100檢測。如下面進一步討論的那樣，每一規則都包含為了啟動該規則所必須滿足的一個或者多個判據，并且作為選擇，包含當啟動該規則的預定的判據被滿足時應該執行的對應反應選項。根據本發明，針對每一規則的至少一個判據是在一個圖像中使用基礎視覺技術所檢測的一個條件。當檢測這樣一個預定的交通事件時，如果有任何對應反應的話，則由事件監視系統100執行，例如派遣幫助或記錄事件用于證據的目的。
如圖1所示，結合下面圖3和4的進一步的討論，事件監視系統100還包含一個事件檢測處理300和一個失足和跌倒檢測處理400。作為示例，通常，事件檢測處理300分析由圖像捕獲裝置150獲得的圖像并且檢測在交通事件數據庫200中定義的具體的幫助請求事件。該失足和跌倒檢測處理400分析由該圖像捕獲裝置150獲得的圖象并且檢測一個人倒下的時間。
事件監視系統100可以由任何計算裝置實現，例如由人計算機或工作站實現，包含一個處理器120，例如中央處理單元(CPU)，以及存儲器110，例如RAM和/或ROM。在一個可選實施方案中，圖像處理系統100可以使用一個專用集成電路(ASIC)實現。
圖2示出一個事件數據庫200的示例性表格，記錄定義各種幫助請求事件的每一個規則。在數據庫200的情況下，每一規則包括指定該條件的預定判據，在該條件之下啟動該規則，作為選擇，還包括在與該規則相關的判據被滿足時將被啟動的一個對應反應選項。通常，該反應選項定義在該規則被啟動時應該執行的一個或者多個適當的步驟，例如派遣幫助或記錄事件用于證據的目的(或兩者)。
如圖2所示，示例性事件數據庫200保持多個記錄，例如記錄205-210，每一記錄與一個不同的規則相關。針對每一規則事件數據庫200標識在字段250中的規則判據以及在字段260中可能有的對應反應選項。例如，在記錄206中記錄的規則是與一個車輛事故對應的事件。如在字段250中表示，當兩個車輛碰撞時啟動在記錄206中的規則。在記錄206中的該規則指定可被檢測來啟動該規則的若干獨立的條件。例如，當兩個車輛是在一個預定的距離之內時，具有出現一個事故的可能。如字段260中所示，該對應的反應包括把幫助送出到監視位置160并且記錄事件用于證據的目的。
圖3是描述一個示例性事件檢測處理300的流程圖。作為示例，事件檢測處理300分析來自圖像捕獲裝置150獲得的圖像并且檢測在事件數據庫200中定義的若干具體的幫助請求事件。如圖3所示，在步驟310中，事件檢測處理300初始地從圖像捕獲裝置150獲得該監視區域160的一個或者多個圖像。
隨后，在步驟320中使用圖像內容分析(VCA)技術分析該圖像。適當的VCA技術的詳細討論參見例如NathanaelRota和MoniqueThonnat的＂用于視頻監視的視頻序列解釋＂(IEEEWorkshoponVisualSurveillance第3卷59-67頁，DublinIreland，2000年7月1日)，以及JonathanOwens和AndrewHunter的＂自構成映射對軌道分類的應用＂(IEEEWorkshoponVisualSurveillance第3卷77-83頁，DublinIreland，2000年7月1日)，這兩篇文章結合在此處作為參考。通常，VCA技術被采用來識別由圖像捕獲裝置150獲得的圖像中的各種特征。
在步驟330執行一個測試，確定該圖像內容分析是否檢測了如事件數據庫200中定義的一個預定的事件。如果步驟330中確定該圖像內容分析沒有檢測到一個預定的事件，則程序控制返回到步驟310，繼續以上述討論的方式監視一個或幾個位置160。
然而，是否在步驟330中確定該圖像內容分析檢測到一個預定的事件，則在步驟340中處理如該事件數據庫200的字段260中指示的事件。根據本發明的一個方面，如先前指示，與一個檢測幫助請求事件相關的圖像可以有選擇地利用步驟350中的用于證據目的的一個時間標志記錄在該圖像歸檔數據庫175中。隨后終止程序控制(或返回對步驟310并且按照上述討論的方式繼續監視該一個或幾個位置160)。
如先前指示的那樣，該失足和跌倒檢測處理400分析由該圖像捕獲裝置150獲得的圖象并且檢測一個人倒下的時間。如圖4所示，在步驟410中，失足和倒下檢測處理400初始地從圖像捕獲裝置150獲得該監視區域160的一個或者多個圖像。
隨后在步驟420中減去下一圖像幀以便檢測運動目標。應該指出，在最大的零售位置的受控環境中可以假設一個檢測運動目標是一個人。然而，如本專業普通技術人員顯見的那樣，如果期望，能夠有選擇地采用熟知的人的分類技術用于附加的防范措施。在步驟430中分析每一被檢測目標的投影，以便標識目標主軸的方向(垂直或水平)。
在步驟440中執行一個測試，認為某人已經倒下，確定一個檢測目標的主軸是否具有從預先幀中的一個縱向到當前幀中的一個橫向的過渡。是否在步驟440確定一個檢測目標的主軸尚未從一個縱向過渡到一個橫向，則尚未出現一個失足和跌倒，并且程序控制返回到步驟410，繼續按照上述討論的方式監視該一個或幾個位置160。
然而，是否在步驟440中確定該檢測目標的主軸已經從一個縱向過渡到一個橫向，則已經出現了失足和跌倒，并且在步驟450中該檢測失足和跌倒事件，如事件數據庫200的字段260中所示。根據本發明的一個方面，如先前指示，與一個檢測幫助請求事件，例如一個失足和倒下相關的圖像可以有選擇地利用步驟460中的用于證據目的的一個時間標志記錄在該圖像歸檔數據庫175中。隨后終止程序控制(或返回對步驟410并且按照上述討論的方式繼續監視該一個或幾個位置160)。
應該理解的是，在此處示出和描述的實施例和變更僅說明本發明的原理，并且在不背離本發明精神范圍的條件下可由本領域技術人員實現各種修改。
權利要求
1.用于處理一個監視位置(160)的至少一個圖像的方法，包括步驟獲得所說的監視位置(160)的至少一個圖像，和標識在所說的監視位置的一個事件，并且如果所說的事件被標識，啟動一個正確的響應。
2.權利要求1的方法，其中標識一個幫助請求事件，并且進一步包括步驟使用圖像內容分析技術分析所說的圖像，以便在與所說的幫助請求事件相關的所說的圖像中標識至少一個預定的特征；并且如果所說的預定的特征在所說的一個圖像中被識別，則提供幫助。
3.權利要求3的方法，如果在一個所說的圖像中識別所說的預定的特征，則進一步包括記錄所說的至少一個圖像的步驟。
4.權利要求1的方法，其中標識一個可能卷入訴訟的請求事件，并且進一步包括步驟使用圖像內容分析技術分析所說的圖像，以便在與所說的幫助請求事件相關的所說的圖像中標識至少一個預定的特征；并且如果在一個所說的圖像中識別所說的預定的特征，則進一步包括記錄所說的至少一個圖像的步驟。
5.權利要求1的方法，其中標識一個幫助請求事件，并且進一步包括步驟建立限定所說的幫助請求事件的一個規則(205，206，209，210)，所說的規則包括將要被標識的至少一個條件(250)；以及如果所說的規則被滿足，則提供幫助。
6.權利要求6的方法，還包括步驟如果所說的規則被滿足則記錄所說的至少一個圖像。
7.權利要求2、4或5的方法，其中所說的幫助請求事件是在所說的監視位置(160)的一個傷害。
8.權利要求2、4或5的方法，其中所說的幫助請求事件是在所說的監視位置(160)的一個事故。
9.權利要求2或5的方法，其中所說的幫助請求事件是一個需要幫助的顧客。
10.用于檢測一個幫助請求事件的系統(100)，包括存儲計算機可讀碼的存儲器(110)；以及操作地耦合到所說存儲器(110)的一個處理器(120)，所說的處理器(120)配置用于執行所說的計算機可讀碼，所說的計算機可讀碼構成用于獲得一個監視區域(160)的至少一個圖像；使用圖像內容分析技術分析所說的圖像，以便在與所說的幫助請求事件相關的所說的圖像中標識至少一個預定的特征；以及如果在一個所說的圖像中識別到所說的預定特征，則提供幫助。
11.用于文件化可能被卷入訴訟的一個事件的一個系統(100)，包括存儲計算機可讀取碼的存儲器(110)；以及操作地耦合到所說存儲器(110)的一個處理器(120)，所說的處理器(120)配置用于執行所說的計算機可讀碼，所說的計算機可讀碼構成用于獲得一個監視區域(160)的至少一個圖像；使用圖像內容分析技術分析所說的圖像，以便在與所說的事件相關的所說的圖像中標識至少一個預定的特征；以及如果在一個所說的圖像中的所說的預定的特征被識別，則記錄所說的至少一個圖像。
12.根據權利要求10或11的系統，其中所說的特征被記錄在限定所說的事件的一個規則(205，206，209，210)中。
13.根據權利要求10或11的系統，其中所說的幫助請求事件是在所說的監視位置(160)的一個傷害。
14.根據權利要求10或11的系統，其中所說的事件是在所說的監視位置(160)的一個事故。
15.權利要求10的系統，其中所說的幫助請求事件是一個需要幫助的顧客。
16.權利要求10的系統，其中如果在所說一個圖像中認識了所說的預定的特征，則所說的處理器(120)進一步配置來記錄所說的至少一個圖像。
17.一種計算機程序產品，使一個可編程的裝置當執行所述的計算機程序產品時能夠起如權利要求10或11中定義的系統的作用。
全文摘要
公開一種使用基于視覺技術來識別預定的幫助請求事件的方法和裝置。一個或多個圖像捕獲裝置聚焦在一個給定位置。捕獲的圖像被處理以便標識一個或者多個預定的事件，并且啟動一個適當的響應，例如派遣幫助或記錄事件用于證據的目的。若干規則定義各種幫助請求事件。每一規則包含一個或者多個必須滿足的條件，并且當該規則被滿足時，應該執行一個對應的操作項。用于這樣的規則的至少之一該條件標識必須使用基于視覺技術檢測的在之一該圖像中的特征。還公開一個事件監視處理，分析捕獲的圖像以便檢測由事件規則定義的一個或者多個幫助請求事件。
文檔編號H04N7/18GK1522426SQ02813443
公開日2004年8月18日 申請日期2002年6月27日 優先權日2001年7月2日
發明者S·V·R·古塔, D·M·萊昂斯, S V R 古塔, 萊昂斯 申請人:皇家菲利浦電子有限公司