專利名稱：處理視覺、聽覺、嗅覺和/或觸覺信息的系統和方法
技術領域：
本發明涉及一種處理視覺、聽覺、嗅覺和/或觸覺信息以供認知地確定至少一個房間和/或至少一個人和/或至少一個對象的至少一個狀態，以及做出并實施作為至少一個識別出的狀態的函數的決定的系統和方法。
背景技術：
復雜的建筑技術使得有可能借助服務器監視和控制主要是在住宅中的廣泛種類的功能。用于輸入指令的能力從傳統的開關和按鈕擴展到觸摸顯示器，可選地經由遙控器。 除了較高水平的便利性、可靠性和靈活性之外，也必須始終考慮成本效率。例如現今實現了住宅技術的中央控制、時間依賴型的溫度調節、自動照明控制以及更多。
在用于建筑技術的系統中，如果該系統是為了獨立和智能地檢測某個特定的動作是否是期望的或者是或多或少地強制必要的，則將會相當大程度地加強便利性。盡管后一個問題可以用相應數量的適當傳感器來在很大程度上解決，但是目前沒有用于認知系統的解決方法。
人口統計趨向進一步指出有越來越多的老年人希望在其熟悉的環境中以高度自足的方式盡可能長時間地生活。不總能有來自朋友或親戚的持續幫助，并且來自護理人員的專業支持成本高昂且經常難以負擔。身體虛弱和認知衰退兩者使很多簡單的日常活動， 甚至是開遠處的燈的開關都變得困難或不可能。
因此本發明的目的在于使之前描述的那種系統和方法可用，其協助人們處理其日常生活，并確保最大可能的便利性。將會識別出異常情況或危險情況并盡可能自動地進行 艮告。
該目標由根據權利要求1所述的系統以及根據權利要求7所述的方法來實現。有利的實施例是各自引用的從屬權利要求的主題。
根據本發明，在用于處理視覺、聽覺、嗅覺和/或觸覺信息以供認知地確定至少一個房間和/或至少一個人和/或至少一個對象的至少一個狀態，以及用于做出并實施作為至少一個識別出的狀態的函數的決定的系統中，提供有第一識別模塊，被設計為至少用于確認人和/或對象的存在，以及可選地用于標識(ident ify )人和/或對象，且輸出對應的電信號；一組傳感器，該組傳感器被設計為定量地或定性地獲取視覺、聽覺、嗅覺和/或觸覺信息以及輸出對應的電信號；以及評估邏輯系統，用于處理至少從第一識別模塊和從該組傳感器輸出的信號，該系統的特征在于對于所述至少一個房間，使得包括一個或更多個靜態區的二維或三維地圖是可用的，每個靜態區表現該房間的區域，將從其獲得有關該房間、 某個人和/或對象的狀態的視覺、聽覺、嗅覺和/或觸覺信息；提供了一種裝置，一旦第一識別模塊發出在該房間中存在一個或更多個人的信號，該裝置為所述人中的至少一個人定義動態區，將從該動態區獲得來自該人或有關該人的運動信息；以及該評估邏輯系統從處理的信號識別出該房間、人和/或對象的狀態，只使用來自所述的區之一的視覺信息來識別該狀態，并且基于識別出的狀態做出是否要發起某個動作的決定。
“視覺信息”在這個上下文環境下涵蓋通常由黑白相機、彩色相機或紅外相機捕獲 的信息。視覺感知代表人類感覺中最重要的方面。人類在一秒的若干分之一內，例如不但 能夠定量地了解房間中的人數，而且能夠定性地區分兒童、動物和成年人，以及區分坐、站 立或躺的位置。人類還能夠評估某人是睡著的還是活動的，并且能夠直接地將例如躺在房 間中間的不動的人與“反常的”和危險的情況相關聯。
“聽覺信息”涵蓋得自聲波的信息；適合的傳感器是例如麥克風。后者可以檢查使 得其自身可被聲學地感知的存在是否位于該房間中。可能性存在于例如接收期望的聲音并 將其用作額外的濾波器。例如，狗在奔跑的時候發出與兒童不同的聲音。該用戶隨后可以 記錄任何背景噪音(例如狗奔跑的聲音)并且選擇系統是否以及如何對該噪音作出反應。原 則上，麥克風可以同樣地被用于語音輸入。然而，如果麥克風在住處的定位以及到達該麥克 風的波動的聲音級別不能保證足夠一致的“語音質量”，則只有非常有限形式的語音控制才 是可用的；此外，從麥克風到揚聲器的長距離是不利的。
“嗅覺信息”涵蓋有關氣味的信息，借助于此，可以確認例如天然氣或煙的存在。有 可用的對應傳感器。例如基于傳導的聚合物的傳感器能夠識別很多種氣味。
“觸覺信息”主要涵蓋關于溫度和相對濕度的信息。盡管人類沒有用于感知相對濕 度的感覺器官，然而其個體地感知具有某個相對濕度的值的空氣溫度的組合是舒服或不舒 服的。應該布置溫度傳感器從而使得該房間的溫度曲線可以被足夠好地再現。可以想到例 如在門和窗的區域中布置額外的溫度傳感器，這些傳感器補充“中央”傳感器的信息并且和 系統通信。
進一步的可能性是通過紅外相機的方式生成熱分析圖像，例如以確認某人的過低 溫或過高溫的狀態。其它觸覺信息，特別是可觸摸的信息不在本發明的情境下強調。
可以定性地或定量地獲取信息。例如，如果確認為嗅覺信息的是煤氣(gas)的存 在，則就足夠了，而濃度就不重要了，也不會測量。另一方面，定量地感知溫度信息是非常有 用的。
評估邏輯系統評估信息并借助于能夠以通常的方式存取存儲器的處理器處理輸 出的信號。這些存儲器，具體化為非易失性存儲器以及還有易失性存儲器，包含操作系統所 需的軟件，以及借助其評估獲取的信息從而識別狀態的數據庫和/或表格，以及作出決定 所用的一組規則。
總而言之，使得藉之可以主要地模仿人類感覺器官的系統可用，從而使得模擬人 類的感知和感覺形態。這使得可能識別房間、人或對象的狀態，并且基于此做出基本的認知 決定，該決定將會很大程度地相應于在同樣情境下人類的決定。
這里盡可能有效地收集做出決定所必需的信息是基本的。這是將房間的地域分成 靜態區的概念的基礎。在生活空間或工作空間中的靜態區可以是例如圍繞書桌椅子的區 域、圍繞沙發的區域、圍繞窗戶的區域或圍繞門的區域。就視覺信息而言只評估這些靜態區 從而識別變化。然后有可能確認例如某人是否坐在書桌椅子上，沙發是否被占用，或上面是 否可能有書或筆記本電腦。因此特別地有可能確定窗戶，例如走廊的門是否是開的、半開或 關著的。這不但可以從門框和窗戶或門之間生成的間隙這一事實確定而且還可以簡單地基 于窗戶把手或門把手的位置來確定。如果例如門把手周圍的區域定義為區(zone)，則有可 能從該區中發生的變化推導出窗戶是否在開的位置、傾斜的位置(tilted position)或關閉的位置。當然總是可以以補充的方式使用進一步的信息。這些靜態區是在當系統投入使 用時定義的由用戶定義的區。其可以在空間情境改變或需求簡介(requirements profile) 改變時可以修改或調整這些靜態區。然而“靜態的”意味著該區固定地定義在該房間中，且 保持不受房間、對象或人的狀態的變化的影響。
根據本發明提供的動態區，通常針對人定義并且特定地針對要識別其狀態的人定 義，該動態區具有特定的特性(quality)。該狀態可以是例如，作為意外事件或喪失意識的 結果人處于的緊急情況的情形，或者另外地，是在其中某人通過他或她自己的行為影響情 形的狀態。這里手勢控制特別地是一種可能性。在這個上下文情況下，評估邏輯系統將從 動態區中的圖像變化推斷該人的運動，并且識別“學習的”手勢，并發起對應的動作。該動 態區可以僅僅從輪廓數據推論出，或者從與運動數據的組合推論出。例如，該輪廓可以被擴 展以包括區域，并且可以和該區域形成該動態區。在這種類型的擴展的動態區中，某人位置 的改變可以由感測到輪廓的改變這一事實而檢測到；例如在倒下的情況下，該人的輪廓區 域或“體積(mass)”突然相對于站立或坐的位置增加。
這里本發明極大地不同于在WO 03/056882 Al中描述的現有技術。后者公開了如 何通過觀察或考慮用戶的活動控制房間中的照明。這里用戶的預定義的行為固定地鏈接到 將要進行的行為，并且當發生特定情形時使用這組定義的規則。例如，一旦用戶坐到定義的 座位上就打開閱讀燈。本發明也這樣，但是相當大程度地超越了它，并且將在以下進一步解釋。
對區的定義使得可能將系統事實上必須擁有的智能的較大部分轉移到準備階段， 從而使得系統自身只要處理很少的信息。這使得可能在評估邏輯系統中使用相對小的處理 器。
已經證明特定的邊界對于區的細分是有用的。區的最小尺寸應該等于整個圖像區 域的3%;個體的區交叉是可能的，但是最多只交叉10%。已經發現以可接受的支出實現最多 只能實現15個區。這里由于動態區原則上可以臨時地與任何其它的區重疊，因此動態區占 用特別的位置。
對于特定的情形，作為條件的函數產生臨時的靜態區可以是有用的。例如，如果來 自靜態區的視覺信息指示窗戶把手是在打開的位置，則系統可以激活在窗戶框周圍的臨時 的靜態區(先前定義的但是通常沒有被詢問)，并且可以檢查在窗戶和框之間的間隙。如果 不存在間隙，則該窗戶已經(不經意地)大力關上了，并且系統輸出對應的消息。在系統中事 先存儲用于生成關聯的臨時靜態區的一組條件。可以通過以下概括出該概念
-指定一組條件；
-對于來自該組條件的每個條件定義一個或更多個臨時靜態區；
-檢查是否已經發生至少一個條件；以及
-激活為該至少一個條件定義的臨時靜態區；以及
-從臨時靜態區獲得視覺信息。
在上述的情境下，根據本發明的系統只被有用地分配給一個房間，當然取決于情 況分配給多個房間不是被排除在外的。但是如果在具有多個房間的建筑物中使用根據本發 明的多個系統，各個系統應該能夠彼此通信從而由此例如同步人或對象的位置。
根據本系統優選的實施例，第一識別模塊確認人或對象的輪廓，并且基于該輪廓確定他的/她的/它的身份。這種類型的過程是已知的，并且在EP I 574 986 BI中描述。 在用于檢測和跟蹤人裝置的情境下，在這里規定，在要調查的區域上方安裝相機，以及識別 和評估人的結構形狀特征，例如頭或肩部幾何結構和對稱性。基于典型的輪廓線檢查幾何 學的特征的存在。特別地，通過其頭部橢圓和肩部橢圓的方式檢測人。這些是對人特定的， 因此使得還可以相應地檢測不同的人。不同的人因此可以具有分配給他們的各自的特定動 態區。
雖然原則上該方法適用于根據本發明的系統，然而根據優選的實施例選擇了不同 的方法。在主要旨在的應用部分，任務會是只觀察單個的人或少數的人，并且特別地總是同 樣的人，例如在其環境中的家庭。因此在“成人”、“兒童”和“動物”之間的區分在這里通常 足以用于辨別。可以基于由輪廓線傳達的面積或“體積”做出該區分。該簡化的方法使得 可能使用用于識別和區分移動的對象(object)的快速和可靠的算法實時處理原始數據材 料。除了運動識別和對象跟蹤之外，有可能使用本身知道的分析圖像不改變的區域的技術。 調查相機區域的背景圖像，并借助于學習算法隨時間格式化或調整背景圖像。因此根據本 發明的系統隨時間學習從而將背景中的變化評估為與狀態有關的或與狀態無關的。例如， 將結合具有日出及日落時間的數據庫識別照射到房間中的陽光，并且將該陽光評估為不影 響人的狀態的許可的圖像變化。
如果對象的輪廓是明確的，則也可以借助于上述的技術識別和標識對象。
與例如在DE 20 2007 008 363 Ul中描述的相比，該過程得以極大地簡化。在DE 20 2007 008 363 Ul中用于充當照明控制的裝置通過對感應區域的數字電子圖像獲取來 檢測感應區域中人的運動和/或存在，并且當第一感測的數字圖像的第一電圖像信號在至 少一個圖像子區域中不同于在相對于第一圖像子區域的不同時間時感測的第二數字圖像 的第二電圖像信號時產生用于激活照明單元的檢測信號；換言之，總是執行完整的評估。
用可容納在10厘米XlO厘米或更小尺寸的電路板上的電氣和電子部件實現根據 本發明的系統。該電路板可容納在外殼中，并以適合的位置安裝在要被監視的房間中。
用于提供視覺信息的主要(central)部件是對整個房間且因此所有區成像的單個 相機。優選使用具有魚眼鏡頭的相機。在安裝硬件之前由一次校準過程糾正在魚眼鏡頭中 的典型失真。該校準過程自身是已知的并且這里不會做進一步解釋。有用地，相機居中地 布置在電路板上。魚眼鏡頭還減少了相機要被布置為可移動的需要。可以通常的方式事先 實現對比度增強。
一個或更多個人可以在相機的觀看區域移動。對于每個人確定在房間中的各自的 坐標。當同樣身高和同樣體重和/或同樣衣服顏色的兩個或三個人在相機前彼此前后站著 時，識別限于一個單個的總體(overall)對象，即沒有區分出這些人。
相機不僅僅起到識別和標識人或對象的作用。而是目的還在于感知運動，在其情 境下評估邏輯系統旨在從有關運動的信息推斷出要執行的動作。
例如，能夠想象到通過手勢的方式即通過指向而不是觸摸按鈕、觸摸屏等來驅動 房間中的可開關的對象。用戶僅僅需要執行足夠表現地手勢，以便該手勢由系統識別。例 如指向一個方向的展開的(或大致展開的)手臂可以限定例如指的是光開關的手勢，于是連 接的光源隨后進行開關操作。該手勢也可以直接朝向該光源、朝向電視機、電腦等。
評估邏輯系統還可以從運動不存在的事實推斷特定的操作。例如，該系統可以作為倒下檢測器，當識別或標識的人在預定的時間跨度之內沒有改變位置，特別是如果他或 她不動地躺在地上時，該倒下檢測器輸出警報。
這可以與睡覺情形區分開，在該情形下人在“床”靜態區休息。在這種情況下也可 以補充借助于紅外傳感器檢測運動，然而沒有運動發生的時間跨度一定會更長。
本發明還使得可能在鏡頭監視的情境下使對象或區域“神圣”(consecrate)。例 如，只要筆記本電腦在許可的區域，這就被識別為正常的狀態。然而如果“神圣的”筆記本 電腦從區域移走，則發出或報告警報。該系統還可以區分該筆記本電腦是否已經例如由授 權的人，即已經被識別和標識的人移走。在這種情況下，將不會發出或報告警報。
當人已經喪失確保對于他或她自己舒服的生活氣候的能力時，使用認知溫度控制 是有用的。通常觀察到，具有癡呆的人簡單地忘記他們已經打開了窗戶，或者具有癡呆的人 們簡單地忘記了當房間中的溫度已經變得過冷時必須關上窗戶。在這種情況下，安裝在窗 戶附近的溫度傳感器與特定區識別(窗戶把手指示窗戶處于打開位置)組合可以再次提供 警報。在該情境下該系統具有例如使房間中的鈴(例如電話振鈴)響的能力，其將癡呆的人 從其不注意的狀態喚醒。
下面將參照附圖詳細地描述本發明，其中
圖1是電路的高度示意框圖，由該電路可以實現根據本發明的實施例的系統；
圖2示出要將根據本發明的系統將容納在其中的外殼；
圖3a是解釋靜態區的定義的視覺描述；
圖3b是解釋動態區的概念的視覺描述；
圖4是說明根據本發明的系統配置的描述；
圖5是旨在使用對象監視的例子說明根據本發明的系統的操作模式的描述。
在以下的描述中和圖中闡述了許多的特定細節。然而應理解，可以無需這些特定 的細節而實現本發明的實施例。在其它情況下，省略公知的電路、結構和技術從而不使對本 發明的理解復雜化。此外圖中描述的部件不一定以精確的尺寸描述。還應理解在不偏離本 發明的范圍的情況下可以對描述的實施例進行許多修改和改變。因此所描述的示例性實施 例被認為是描述性而非限制性的。
圖1是電路的高度示意的框圖，可以由該電路實現本發明。該電路構造在電路板 100上，電路板100的尺寸約為10厘米XlO厘米。只描述了最重要的組件；為簡化描述的目 的，省略了和電阻、電容的必要互連。位于電路板中央的是具有魚眼鏡頭的相機110。相機 110具有可以等于高達220度角的在圖像對角線上的像角。相機110具有到達深紅外(IR) 的檢測范圍。在相機110的外圍區域布置一個或更多個紅外LED112、114用于照明。這些 還起到發出IR電報用于操作IR裝置的作用。相機110接收視覺信息并向由微處理器120 實現的評估邏輯系統(后面將更詳細地描述)傳送對應的電信號。出于空間的原因，微處理 器120可以布置為至少部分在相機110下面。由亮度傳感器116支持視覺信息的評估，亮 度傳感器起到例如用于白天和晚上識別的作用，并且可以對以下的事實作出貢獻當某個 對象一方面由日光照亮，另一方面在陰影中時該物體不被認為是不同的。通過模擬兩個極 端的光照條件來校準亮度傳感器116。首先安裝該系統的房間基本上完全變黑；然后借助 于反射物模擬日照，或讓陽光灑滿該房間。在完全的黑暗中指示最低的值(零)。MAX值存在 于最大的売度。在該范圍內，確定并指不該房間的相對売度(圖4 ;項目編號428)。通常預校準亮度傳感器116是可能的，從而在房間中只需要發生再校準。麥克風118起到接收聽 覺信息的作用，并且可被用于語音識別或用于識別背景噪音。在這個示例性實施例中，只經 由煤氣傳感器122獲得嗅覺信息。然而，如果期望，使用更多的嗅覺傳感器是可能的。經由 溫度傳感器124和濕度傳感器126獲得觸覺信息。相機110、麥克風118和傳感器116、124 和126的布置在極大程度上是任意的，并且不由描述的實施例所預先限定。提供閃速存儲 器130作為非易失性存儲器。這個存儲器包含要由微處理器120執行的程序，特別地包括用 于系統的學習軟件，以及具有環境參數的數據庫、用于決策規則的查找表。兩個雙數據率隨 機存取存儲器(DDR RAM) 132、134被用作易失性存儲器，并且支持實時處理數據。提供USB 接口 140和JTAG適配器150用于和外圍設備通信。提供以太網端口 160和關聯的以太網 控制器162，從而使得可以和基于纜線的數據網絡一起使用該系統。沒有描述用于與位于電 路板外部的傳感器(例如額外的溫度傳感器)通信的無線接收機。處于倫理道德的原因并且 考慮到數據保護，所有獲得的數據都保持在系統中，并且只發出消息和/或警報。
圖2是外殼的透視圖，在該外殼中可以容納用于根據本發明的系統的電路板，例 如根據圖1的密布的電路板。外殼200由可由例如塑料(諸如丙烯)制成的板狀下部210 和上部220構成；在電路板100 (圖1)的安裝之后以及在外殼200被安裝到房間的墻壁或 天花板上之后，下部210和上部220再也不能由未經授權的人將彼此非破壞性地分開。換 言之，只要外殼200原封不動，則可以排除對該系統的未經授權的訪問。以使相機110 (圖O的鏡頭穿過下部210中的對應地居中布置的開口 212看過去的方式在外殼中布置電路 板100。開口 212由對于紅外線透明(transparent)的材料制成的環狀物214包圍，從而 使得LED112U14 (圖1)能夠通過所述環狀物214發送紅外輻射。優選地開口 212和環狀 物214的尺寸為使得當安裝了電路板100時，在環狀物214和裝配好狀態的相機110的物 鏡之間保持圓周式縫隙。聲音、煤氣、煙霧等可以穿過該縫隙進入外殼200的內部，從而使 得相應的傳感器，例如煤氣傳感器122 (圖1)可以被激活。替代地，可以配置外殼200的下 部210和環狀物214使得在環狀物214的外部圓周上形成縫隙。也可以想象這兩種可能性 的組合。外殼200具有較低的總高度，例如I厘米到2厘米，從而使得其可以輕易地集成到 房間中。例如，可以將外殼作為令人喜愛的樣子的設計特征安裝到生活空間或工作空間的 天花板上。
圖3a示出根據本發明可以發生將房間分成區的方式。通過從位于房間的天花板 上(例如造在圖2的外殼內)的相機的視角，以舉例的方式描繪生活/工作空間。該相機成 像該房間，從而使得可以創建如圖3a所示的圖；在該圖上，如下面將要解釋的，首先定義多 個靜態區。所描述的房間具有走廊的門310以及位于門旁邊的窗戶320。在右下方的圖區 域的是沙發330，在沙發上在所示的場景中坐著人300。在沙發330對面、在書架340和窗 戶320之間是書桌350，書桌350前面布置有椅子360。書桌350上有顯示屏和鍵盤370、以 及筆記本電腦380。現在在圖中定義區，區的位置、數目和尺寸基于期望的應用的目的。第 一區A定義在走廊門310處，特別是環繞門把手處。取決于門把手的位置，可能推斷出該走 廊門是關、開或設置為傾斜的。此外，可以事先對該系統給出關于下述的視覺信息，即門框 和周圍例如是否相對于彼此處于傾斜的位置或關的位置。該系統可以因此僅使用來自區A (并且不是例如來自全部的門或甚至全部的房間)的信息得出關于門的狀態的結論。第二區 B涵蓋顯示屏和鍵盤370前面的書桌350的工作臺的區域，以及書桌椅子360的定位區域部分。可預期用戶在該區B中活動。如果人300要坐在書桌椅子360上，則例如系統將會檢 測到區B中的改變。例如，一旦系統認識到人300正坐在書桌350前，其會點亮書桌燈或還 將打開連接到顯示屏和鍵盤的電腦。第三區C覆蓋沙發330的座位表面的部分。在描述的 場景中，人300坐在沙發330中并且因此當他或她移動時觸發區C中的改變。根據本發明 的系統可以例如從其中得出人300不在睡覺的結論，并且可以例如根據之前建立的需要調 節房間的照明以及房間溫度。區A、B和C是通常不經常修改的靜態區，而最多需要在用戶 的需要或物理情形改變的情況下重新配置。根據本發明的系統自身從人300的輪廓數據和 運動數據定義了動態區X。在圖3b中更詳細地示出。這里以將人300的輪廓線包含在內的 方式已經由系統建立了矩形的動態區X。在動態區X的情境下，如果在或短或長的時間跨 度中沒有檢測到變化，即如果其狀態保持不變，則情況可能是嚴重的。這可以是例如如果人 300跌倒的情況。如果他或她保持不動超過大概4至10秒，則系統檢測到反常的狀態并且 做出輸出警報作為動作的決定。因此該動態區X是不斷監視的區，并對該區預先限定的狀 態和狀態的改變進行檢查。
根據本發明的系統通過由圖3中點線描述的輪廓標識人或對象。由于通常房間中 通常只有有限數目的人，因此輪廓不但可以被用來檢測還可以被用來標識人。這同樣適用 于對象。如果打開的筆記本電腦380，例如沒有放置在書桌350上而是在沙發330上，并且 處于其上的區C中，則該系統會識別出這個并且會避免某些如果人300已經坐在沙發330 上會采取的動作。
根據本發明的系統可以基于人(系統對人已經定義了動態區X)的手勢識別期望哪 個功能。對此，該系統必需已經向其解釋了何時運動要被評估為手勢，而何時不是。完全憑 直覺地，人指向對象會向那個方向伸展他或她的手臂，從而使得確定手勢的一種可能的方 法是確定前臂和上臂之間的角度，從而使得該姿勢(position)—定被保持事先規定的時間 跨度，例如幾秒。然后，如果運動被識別為手勢，則根據本發明的系統不但可以指示進行該 手勢的人的位置坐標，而且還可以指示他或她所指的方向。參考空間固定的坐標系統來有 用地確定該方向指示。對人定義動態區X避免未經授權的人進行手勢而導致不期望的動 作。還排除了可能由拉上窗簾等造成的失誤。
在一方面對于定義動態區而在另一方面對于手勢識別是必要的運動識別通過兩 個基本技術的組合實現，即對圖像的差別分析和背景補償(已在不同的情境下討論過)。圖 像的微分分析涉及基于每個像素的連續幀的比較。在限定的限制或范圍內檢測各個像素的 亮度和顏色上的改變，從而確定移動對象的構成成分。如果參數上的改變超過限定的、可配 置的限制，則像素被標記為移動對象的構成成分。背景補償基于在長時間跨度上的背景圖 像的保持，由在多個連續幀上大體上沒有改變的像素組成。各個像素的參數值的時間序列 被調查，并且在存在也可配置的特定穩定性標準的情況下被分類為背景的部分。然后，每個 新的幀置于當前的背景圖像上并和該背景圖像進行比較。因此有可能相對于可能連續穩定 的背景識別出移動的對象。針對例如一天時間造成的外部影響背景圖像自動調整自身。與 專一地差別運動識別(其以短得多的時間范圍工作)相反，這種用可配置的權重和序列長度 對多個在前幀取的加權平均產生了對象識別和模式識別(尾(tail))上的提高。這兩種技 術的組合使得關于具有不同速度或位置的移動對象的更高可靠性成為可能。
一旦已經識別出(可能)屬于被調查的對象的改變，標識聚類(cluster)。聚類是屬于移動對象的隔離且相鄰的像素組，且其參數已經根據上述方法發生改變。實現這個的一種方法是使用Hoshen-Kopelman算法,或在線性時域中其它基于滲透理論的算法,而不需要易于產生誤差的回歸函數。
然后使用k_均值聚類技術分析標識出的聚類，其最終向單個移動對象分配限定的中心點和閉合相連的結構。
把對象的橫向運動暫放一邊，還利用對象的深度識別。分析對象的運動而無需對象的可感知的側向運動的發生。與前述的運動識別技術相互作用，當對象不但在二維X-Y 坐標系統上并且還在第三維方向Z上移動時識別也是可能的。對象的深度運動產生表示例如對象收縮(shrinking)的改變，對象收縮是由于到相機的距離增加。對這個變化過程的短期和長期分析使能對房間中多個物體就其尺寸而言更精確的區分。使得更精確的手勢識別也成為可能，從而使得相對于相機的直接的朝向不必要。只要之前已經對對象的運動進行了足夠長的分析，則即使有相對于相機的就直接朝向而言的較小偏差也可以識別手勢。
必須事先向根據本發明的系統提供必要的信息。由以下將結合圖4描述的配置操作來服務于這個目的。這利用了如下事實根據本發明的系統被配置為學習系統。圖4示出具有狀態區域410和文檔區域420的配置屏。在文檔區域420打開屏幕窗口 430，可以在該屏幕窗口上進行各種設置。
在狀態區域410，借助于改變顏色的域顯示狀態。當然可以不同的方式使得狀態可見；這在本領域的技術人員的自由裁量之內。
狀態區域410首先包括窗口 412，其指示人是否在房間中(存在在場(presence attendant))。如果沒有在房間中檢測到人，則域412保持黑色。一旦人出現，域412變綠。
用尺寸或體積區分在相機的視野中存在的人和/或對象，并且相應地發出不同警報的信號。對于在其中成人具有和兒童同樣的尺寸或體積的情況，不在對成人的警報和對兒童的警報之間進行區分。這里需要適合于每天使用的、關于尺寸/體積的對象的可感測劃分。
域414指示是否已經出現可能的緊急情況(身體在地上)。只要不是這種情形，則域414保持中性灰色；如果確定某人正躺在地上，且系統必須假定他或她已經跌倒且不借助幫助就不能起來，則該域變紅。
如果當房間中某人不動時而需要發出緊急呼叫，首先必須做出關于存在正常狀態還是警報狀態的決定。對此，必須通過區來盡可能準確地對這個姿勢(position)標記床或另一個休息裝置。對于學習過程，現在人進入房間并且任意長時間地、以任意的頻率在房間中移動。正常的狀態會涉及該人上床、躺下并且在特定時間t內不動。這些對于使這個姿勢被系統自動地記錄都是必要的。
對于警報狀態，該人在相機的視野中任意地移動，并且然后該人的運動突然停止， 例如由于意外事件或喪失意識，且該人在標記的休息區外保持不動。在這種情況下在時間 h后觸發警報。
域416指示在定義的區(例如圖3a和圖3b中的Α、Β、0·Χ)的一個區中改變是否可標識(區中的動作)。如果不是這種情況，則域416保持中性灰色；否則其亮起為綠色。
由目前的配置屏，存在定義被順序編號為1，2，3，-9的九個區(區)的可能性。用于區的指示符域聚集在一起成為類似矩陣的布置418。
域422提供有關門或窗的狀態的信息。只要門或窗是關閉的，則域422保持中性 灰色；如果其中一者或兩者是打開的，則該域信號變為紅色。
感興趣的窗和門必須位于相機的視野內。系統有必要經歷學習的過程，這樣其知 道關閉的窗和關閉的門，以及開的窗和開的門之間的區別。為此，一次向系統示出關閉的狀 態的窗和門，一次向系統示出開狀態的窗和門。此外，在相應的校準后，如果期望，還可以在 半開的狀態之間進行區分。
要識別其手勢的人必須在相機的視野中并面對相機。取決于該人與相機的距離， 該人如果站得遠要比站得近時做更大的手勢。稍后參照屏幕窗口 430詳細地描述校準。
域424指示該人是否已經執行了手勢。如果這還沒有發生，則域424保持中性灰 色；否則其點亮為綠色。域422和域424兩者都可以包含計數域(具有黑色的背景)，其中記 錄相應的事件數目。提供兩個域426用于傳感器(傳感器#1，傳感器#2)，例如用于煤氣傳 感器和溫度傳感器，并且如果煤氣傳感器檢測到煤氣或溫度傳感器確認溫度已經超過或落 到低于特定的值時分別發生顏色改變。最后，提供兩個域428，其提供有關由亮度傳感器(圖1中116)提供的亮度(亮度)的信息。
如果系統經由例如麥克風(圖1中118)記錄了噪音，則首先記錄電平(level)。麥 克風有用地與可視地操作存在報告器(reporter)組合。如果在相機的成像區域中沒有對 象移動，但是系統正在接收足夠大聲的噪音，則指示存在至少一個人。在這種情況下不辨別 人數。此外如果人拍掌，則還可能建立要觸發哪個警告、消息或功能。
稍后將結合圖5描述文檔區域420。
屏幕窗口 430示出編程根據本發明的能夠學習的系統用于手勢識別的例子，其中 設置可修改的參數(高級的設置(Advanced Settings))，該參數優化圖像處理。例如，首先 限定閾值(閾值(Threshold))，其規定到底是否會檢測動作，以及限定被識別為聚類的最小 的體積(最小體積(Min Mass))。就數目(尾(Tail))和權重(尾重(Tail Weight))對巾貞的 歷史的評估(已在之前討論過)合并過去的圖像。圖像被壓縮(Log Size (kb)),圖像質量 (IMG Quality),圖像比率(MG ratio))用于存儲在閃速存儲器(圖1中的130)中。手 勢由標識為首標的聚類的最小和最大要求的長度(手勢最小(Gest Min),手勢最大(Gest Max))限定，由角度(手勢角度(Gest Angle))、持續時間(手勢時間(Gest Time))、允許的偏 離(手勢偏離(Gest Dev))限定，以及參照過去的多個手勢(手勢跟蹤(Gest Trail))限定。 使用“提交”將參數存儲在系統中。
圖5示出使用期間在配置之后的屏幕。已經結合圖4解釋了狀態區域410。該系 統已經確認人在房間中(域412)，地上沒有人(域414)，以及在區中正在發生改變(域416)， 特別是在區2和3中(域418)。門和窗是關著的(域422)，沒有識別出手勢(域424)，傳感器 沒有感測到任何反常的情形(域426 )，且已經相應地調節了亮度(域428 )。
文檔區域420包括顏色顯示500，其基本上只用在系統的配置上并且通常隨后被 無效(deactivate)。對于根據本發明的系統，出于數據保護的原因，計劃只有特定的狀態觸 發警報或消息，但是通常不會輸出圖像材料，因此沒有任何類型的監視相機功能，且隱私保 持無條件地被保護。然而會有特定的情形，在該情形下不但只是期望的，而且事實上需要激 活屏幕功能。例如如果需要使用根據本發明的系統幫助虛弱和特別是癡呆的人時，是這種 情況。例如，如果檢測到人不動地躺在地上時，攝取快照可能是非常有用的。
系統現在已經確認有人在房間中；這通過對于人的當前位置坐標和計數域中的數目的方式記錄在域510中。根據520，該人被識別為成人。自從人進入房間的時間從域530 中的記錄是明顯的。記錄了人和房間中定義的區的坐標。
圖5的又一個目的是解釋如何借助于根據本發明的系統進行對象保護。從顏色顯示500的圖像區域明顯看出靜態區D被定義在要保護的對象周圍，在這種情況下是位于沙發上的筆記本電腦。根據本發明的系統識別筆記本電腦和其位于區D的事實兩者。然后為這個區D設置警報，所述警報在于例如以下事實相應的SMS被發送到授權人的移動電話。 只要授權的人還沒有接收到在這個情境下的SMS，他或她知道筆記本電腦還在原處。如果在闖入的情況下筆記本被從沙發拿走，則系統檢測到區D中的變化，觸發警報且發出SMS，因此被授權的人可以立即開始合適的動作并且例如通知警方。
還可以對這樣的情況激活屏幕功能。一旦觸發警報，系統攝取場景的快照以供后來使用。
區原則極大程度地降低了系統的計算工作，并且特別地正是區原則使手勢控制在事實上合理地可能。為了將變化辨別為手勢，系統只需要觀察為人定義的動態區X。事先限定要用該手勢控制的裝置或開關并傳達給系統。由于不再需要直接接觸開關、按鈕或觸摸屏，因此對老年人和虛弱的人來說操作裝置以及因此獨立且舒適地行動就不再是問題。
如果用戶設置靜態區(例如電視機前的沙發)并選擇IR裝置的操作作為選項，則還有可能控制IR裝置。當人隨后進入該區時，在時間^后開啟IR裝置。當人離開該區時， 在時間t2后關閉該裝置。在這種上下文可以直接從系統中存在的IR LED輸出IR消息。在以上描述、附圖和權利要求中公開的發明特征對單獨地或組合地實現本發明都可以是重要的。
權利要求
1.一種系統，用于處理視覺、聽覺、嗅覺和/或觸覺信息用于認知地確定至少一個房間和/或至少一個人和/或至少一個對象的至少一個狀態，以及用于做出并實施作為至少一個識別出的狀態的函數的決定，所述系統包括 第一識別模塊，其被至少設計為確認人和/或對象的存在且可選地標識人和/或對象，且其輸出對應的電信號； 一組傳感器，該組傳感器被設計為定量地或定性地獲取視覺、聽覺、嗅覺和/或觸覺信息以及輸出對應的電信號；以及 評估邏輯系統，用于處理至少從該第一識別模塊和從該組傳感器輸出的信號， 其中 對于所述至少一個房間，使得包括一個或更多個靜態區的二維或三維地圖是可用的，每個統計區表現該房間的將從其獲得有關該房間、人和/或對象的狀態的視覺、聽覺、嗅覺和/或觸覺信息的區域； 提供了一種裝置，一旦所述第一識別模塊發出在該房間中存在一個或更多個人的信號，該裝置為所述人中的至少一個人定義動態區，將從該動態區獲得來自該人或有關該人的運動信息；以及 該評估邏輯系統從處理的信號識別該房間和/或人和/或對象的狀態，只使用源自所述區之一的視覺信息來識別該狀態，并且基于識別出的狀態做出是否要發起動作的決定。
2.根據權利要求1所述的系統，其中所述第一識別模塊確認人或對象的輪廓，并且基于該輪廓確定他的/她的/它的身份。
3.根據權利要求1所述的系統，其中提供所述第二識別模塊，其設計為檢測人的運動，所述第二識別模塊只從動態區獲取信息。
4.根據權利要求1至3之一的系統，其中所述第一和/或第二識別模塊是所述評估邏輯系統的部分。
5.根據權利要求1所述的系統，其中所述動作是給外部接收機的消息。
6.根據權利要求1所述的系統，其中提供單個的相機用于從所有區獲取視覺信息。
7.一種方法，用于處理視覺、聽覺、嗅覺和/或觸覺信息以供認知地確定至少一個房間和/或至少一個人和/或至少一個對象的至少一個狀態，以及用于做出并實施作為至少一個識別出的狀態的函數的決定，包括下述步驟 至少確認人和/或對象的存在且可選地標識人和/或對象，且輸出對應的信號； 定量地或定性地獲取視覺、聽覺、嗅覺和/或觸覺信息以及輸出對應的電信號；以及 處理輸出的信號， 其特征在于 為房間定義一個或更多個靜態區，每個靜態區表現該房間的、將從其獲得有關該房間、人和/或對象的狀態的視覺、聽覺、嗅覺和/或觸覺信息的區域； 一旦確認在該房間中存在一個或更多個人，為所述人中的至少一個人定義動態區，將從該動態區獲得運動信息； 從該處理的信號識別該房間和/或人和/或對象的狀態，只使用來自所述區之一的視覺信息來識別該狀態；以及 基于識別出的狀態做出是否要發起動作的決定。
8.根據權利要求7所述的方法，其特征在于 指定一組條件； 為來自該組條件的每個條件定義一個或更多個臨時靜態區； 檢查是否已經發生至少一個條件；以及 激活為該至少一個條件定義的臨時靜態區；以及 從臨時靜態區獲得視覺信息。
9.根據權利要求7所述的方法，其中確定人或對象的輪廓，并且基于該輪廓確定他的/她的/它的身份。
10.根據權利要求7所述的方法，其中檢測到人的運動，只使用來自動態區的信息。
11.根據權利要求7所述的方法，其中所述動作是給外部接收機的消息。
全文摘要
本發明涉及用于處理視覺、聽覺、嗅覺和/或觸覺信息的系統和方法，從而認知地確定至少一個房間和/或至少一個人和/或至少一個對象的至少一個狀態以及從而做出并實施決定，其中為該至少一個房間提供二維或三維地圖，所述地圖具有一個或更多個靜態區，其中每個靜態區代表該房間的區域，將從該靜態區獲得有關該房間、某個人和/或對象的狀態的視覺、聽覺、嗅覺和/或觸覺信息，而且，一旦發出在該房間中存在一個或更多個人的信號，就為所述人的至少一個人定義動態區，將從該動態區獲得該人或有關該人的動態區運動信息，其中只使用源自所述區之一的區的視覺信息來識別狀態。
文檔編號G05B19/042GK103003761SQ201080068230
公開日2013年3月27日 申請日期2010年7月22日 優先權日2010年7月22日
發明者H.凱曼, M.納羅克基 申請人:吉拉吉爾斯芬兩合公司