用于交通工具接口的基于姿態的控制系統的制作方法

專利名稱：用于交通工具接口的基于姿態的控制系統的制作方法
技術領域：
本發明一般來說涉及計算機系統領域，具體來說涉及用于交通工具接口的基于姿 態的控制系統和方法。
背景技術：
有助于人機交互的傳統控制系統和用戶接口具有許多不足。引用方式并入在本說明書中提到的每篇專利、專利申請和/或公開在相同程度上以整體引用并 入本文，如同每篇單獨專利、專利申請和/或公開專門和單獨被指示為以引用方式并入。


圖IA是根據實施例的姿態控制系統的框圖。
圖IB是根據實施例的與交通工具子系統集成的姿態控制系統的框圖。
圖IC是根據實施例的控制器的框圖。
圖ID是根據實施例的用于使用姿態控制交通工具子系統的流程圖。
圖2是根據實施例的標記標簽的示圖。
圖3是根據實施例的姿態符號集中的姿勢的示圖。
圖4是根據實施例的姿態符號集中的方位的示圖。
圖5是根據實施例的姿態符號集中的雙手組合的示圖。
圖6是根據實施例的姿態符號集中的方位混合的示圖。
圖7是根據實施例的系統操作的流程圖。
圖8/1和圖8/2示出了根據實施例的示例命令。
具體實施例方式本文描述了用于基于姿態的子系統的控制的系統和方法。在下文具體描述的空間 操作環境(SOE)的背景中提供系統和方法的實施例。包括姿態控制系統或基于姿態的控制 系統的SOE可以可替代地稱為空間用戶界面(SUI)或空間界面(Si)。在以下描述中，具體描述了許多特征從而提供對實施例的更全面理解。明顯的是，可以在不具備這些具體細節的情況下實踐所述實施例。在其他情況下，沒有具體描述公知 的特征。系統本文在空間操作環境(SOE)的背景下描述了基于姿態的控制系統的實施例。作為 示例，圖IA是根據實施例的空間操作環境(SOE)的框圖。用戶把手101和102放在相機 104A-104D陣列的查看區150中。相機檢測手指和手101和102的定位、方位和運動并且生 成輸出信號到預處理器105。預處理器105把相機輸出轉換成提供給系統的計算機處理單 元107的姿態信號。計算機107使用輸入信息生成命令來控制一個或多個屏幕上的光標并 且把視頻輸出提供給顯示器103。盡管借助單個用戶的手作為輸入示出了該系統，但是也可以使用多個用戶實現該 實施例。另外，作為手的替代或添加，該系統可以跟蹤用戶身體的任何部分或多個部分，包 括頭、腳、腿、臂、肘、膝等等。在所示的實施例中，使用四個相機來檢測用戶的手101和102的定位、方位和運 動。應當理解，本實施例可以在不脫離本實施例的范圍或精神的情況下使用更多(例如，六 個相機、八個相機等)或更少的相機(例如，兩個相機)。另外，盡管在示例實施例中對稱布 置所述相機，但是這種對稱不是必要條件。可以使用允許用戶的手的定位、方位和運動的任 意數量的定位相機。在一個實施例中，所使用的相機是能夠拍攝灰度圖像的運動拍攝相機。在一個實 施例中，所使用的相機是Vicon生產的如Vicon MX40相機的那些相機。該相機包括相機上 處理并且能夠每秒1000幀地拍攝圖像。運動拍攝相機能夠檢測和定位標志。在所述實施例中，使用相機用于光學檢測。在其他實施例中，可以使用相機或其他 檢測器用于電磁、靜磁、RFID或其他任何適合類型的檢測。使用預處理器105生成三維空間點重構和骨點(skeletal point)標記。使用姿 態轉換器106把3D空間信息和標志運動信息轉換成計算機處理器可以解譯來在顯示器上 更新光標的定位、形狀和動作的命令語言。在替代實施例中，可以把預處理器105和姿態轉 換器106組合成單個裝置。計算機107可以是如Apple、Dell或其他任何適合制造商制造的任何通用計算機。 計算機107運行應用程序并且提供顯示輸出。另外來自鼠標或其他現有技術的輸入裝置的 光標信息現在來自姿態系統。與交通工具接口集成的姿態控制系統圖IB是根據實施例的與交通工具子系統120集成的姿態控制系統的框圖。交通 工具(例如，汽車、拖拉機、飛行器等)的駕駛室區域或其他乘客座艙區域中的人可以使用 包括用戶的手101和102中的一只手或雙手以及手101和102中的一只手或雙手的手指的 對象來控制交通工具子系統120。交通工具的駕駛室區域是相機104A-104D陣列的查看區。 相機檢測對象(例如，手101和102以及手的手指)的定位、方位和運動并且生成到預處理 器105的輸出信號。預處理器105把相機輸出轉換成提供給系統的控制器107(本文也稱 為計算機處理單元107或計算機107)的姿態信號。控制器107使用輸入信息生成控制一 個或多個交通工具子系統120的命令。實施例的計算機107包括一個或多個控制程序來管理與經由交互系統暴露的汽車子系統組件的用戶交互。圖IC是根據實施例的控制器107的框圖。作為一個示例，該控 制器107包括用于對應的汽車子系統組件的姿態控制的氣候控制131、音頻132、通信133、 導航134、導向135、娛樂136、操作信息可視化137和網絡控制138程序或應用，但是并不限 于這些控制程序。包括在交通工具控制器中的控制程序對應于交通工具中的對于控制可用 的交通工具子系統。盡管采用單個用戶的手和/或手指作為跟蹤對象示出了該系統，但是可以使用多 用戶實現該實施例。而且，替代手或除了手之外，該系統還可以跟蹤包括用戶身體的任何部 分中的一個或多個部分的對象，包括頭、腳、腿、臂、肘、膝等。在所示實施例中，使用四個相機來檢測用戶的手101和102的定位、方位和運動。 應當理解，在不脫離本實施例的范圍或精神的情況下本實施例可以與更多(例如，六個相 機、八個相機等)或更少相機(例如，兩個相機)一起使用。另外，盡管在示例實施例中相 機對稱布置，但是這種對稱不是必要條件。可以使用允許用戶的手的定位、方位和運動的任 意數量的定位相機。預處理器105生成三維空間點重構和骨點標記。姿態轉換器106把3D空間信息 和對象運動信息轉換成計算機處理器可以解譯來控制交通工具子系統的命令語言。在替代 實施例中，可以把預處理器105和姿態轉換器106組合成單個裝置。與交通工具子系統集成的姿態控制系統的實施例能夠使得交通工具上的駕駛者 或乘客使用姿態控制交通工具子系統控制組件和交通工具子系統的一個或多個參數。用戶 因此可以控制例如像領航、導航和借助姿態驅動界面的外圍系統功能的交通工具子系統的 一個或多個參數。本文所述的姿態控制系統與一個或多個交通工具子系統120，舉例來說包 括但不限于交互導航裝置、無線電廣播和數字音頻播放器、電話、巡航控制、自動駕駛和其 他自動導向模塊、氣候控制、操作信息可視化和聯網應用集成在一起。本文所述的姿態控制系統包括反饋裝置125，為用戶提供各種類型的反饋，包括但 不限于音頻提示、平面顯示器上的視覺輸出、儀表盤上安裝的基于像素的顯示器、專用發光 或變色指示器和觸覺或觸感顯示器上的視覺輸出。盡管反饋裝置125被示出耦接到控制器 107，但是該實施例并不限于此，反饋裝置125可以耦接到集成系統的任何其他元件。圖ID是根據實施例的使用姿態控制140交通工具子系統的流程圖。該實施例包 括經由交通工具中的多個傳感器接收142對象的圖像并且輸出144表示對象所做姿態的姿 態數據。對象包括用戶的手和手指中的至少一個。姿態數據是對象在空間中時間點上的瞬 時狀態。該實施例包括通過提取對象的位置、恢復對象的量化姿勢和方位矢量并且把姿態 數據轉換成姿態信號來從姿態數據自動檢測146對象的姿態。該實施例包括響應于姿態信 號管理148與多個交通工具子系統的用戶交互。可以采用幾種不同的方式配置實施例的姿態控制系統。實施例的系統和方法包含 兩種不同類型的姿態控制與特定物理對象靠近的一個或幾個手指的最小運動；以及包含 整個手部的自由空間運動。當然，這些是理想的分類。實際上，特定配置可能會使得兩種姿 態控制系統之間的差別變得模糊。與交通工具子系統集成的姿態控制系統的以下描述結合對汽車背景的細節的偶 然引用，但是應當理解，所述系統是完全概括的并且可以采用用于與任何交通工具類型相 關聯的功能的交互控制。
實施例的交通工具接口的姿態控制系統包括以下中的一個或多個用于跟蹤三維 空間中手指和/或整個手的位置的一組傳感器；用于處理傳感器數據的應用或元件；用于 以控制程序或其他基于交通工具的程序或應用可以使用的形式表示手指和/或手的位置 的代表組件；管理與經由交互系統暴露的汽車子系統組件的用戶交互的控制程序；和/或 包括通過視覺和其他通道的連續和/或動態反饋的反饋方案，通過這些反饋，人力操作者 不僅被告知姿態控制系統對汽車子系統組件的影響，還被告知姿態控制系統的對操作者相 關手勢和運動的瞬時、正在進行的和預測的解譯。盡管交通工具接口的姿態控制系統沒設 想對標志的使用，但是以下描述的實施例不限于此。實施例的傳感器可以采取各種形式。實施例使用耦接到一起的兩個或更多的小相 機來形成立體聲視覺系統。將相機定位以查看主交通工具的駕駛室和/或乘客座艙。該立 體聲視覺系統在其視野內最少生成對象的三維數據點云。在數據集中的點的分辨深度精度 根據包括距相機基線的距離的許多因素而變化，但是大約為1毫米(mm)。成像的對象是用 戶或操作者的空手和/或手指。替代實施例的傳感器是飛行時間深度感測相機。另一替代實施例的傳感器是結構 光三維傳感器。給定由立體聲傳感器組生成的點云，姿態控制系統提取手和手指中至少一個的位 置，從該位置又可以恢復量化的手部姿勢和連續的手和手指方位矢量。針對這種恢復所使 用的方法基本上類似于下述方法，不同之處在于交通工具系統開始于非結構點云而非合計 標簽數據。使得手和手指表示為實現系統互動模式的機構所用。實施例使用多組立體聲耦接相機，或者使用處理像素數據來處理大于一個相機的 變型的相關算法。增加相機的數量例如可以擴大視野、減小手的一部分的遮擋造成的困難、 和/或提高點云數據的準確度。根據姿態控制系統的第一互動模式，交通工具的駕駛者借助手指運動控制各種子 系統同時使手與方向盤或其他交通工具導向機構接觸或非常接近。這種以方向盤為中心的 模式包括或者使用對駕駛者每只手上的一部分手指的位置的精確跟蹤。駕駛者開始正常把握在方向盤上，例如手部位于十點鐘和兩點鐘位置，手指環繞 在方向盤邊緣。伸展任一只手的食指和中指中的任一個激活控制系統。手指運動的各種組 合實現導航以及對各種控制模式、交通工具子系統的組件和/或參數的選擇。一個替代方 案暗含用戶拇指而非食指和中指或者連同食指和中指的跟蹤運動。通過依次步進與“加/減”狀態變化相結合的可用模式可以實現簡單的系統控制 (例如，交通工具系統)。手指控制狀態空間的簡單配置包括伸展任一只手的兩個手指以激 活控制系統，并且這兩個手指的快速握緊和再次伸展彈開在可用的主要控制模式(例如， 無線電廣播、電話、數字音頻播放器、氣候控制等)之間輪換。另一只手隨后步進通過并且 控制該模式中可用的選項。兩個手指快速握緊-伸展配置在耦接系統的主要設置模式之間 循環。通過單個手指握緊-伸展彈開或者食指和中指分別的按下運動提供各自的向上設置 和向下設置的參數的步進。類似的操作實現子模式、子-子模式等的往返運動，在這些情況 下控制拓撲結構大于單個水平深度。因此，例如在無線電廣播模式中，初始設置模式是音量控制。食指的快速握緊-伸 展將音量設置提高一個增量。相反，中指的握緊-伸展使得音量降低一個增量。將任一個手指向下按壓在方向盤(另一個手指保持伸展)以恒定速率提高或降低音量。兩個手指握 緊-伸展循環到無線電廣播預置的下一個設置模式。這里，食指和中指運動控制預置列表 的向上和向下往返運動。手指運動到本文所述的控制輸入的相對簡單的映射具有幾個理想特點。多數交互 模式直接取決于熟悉的交通工具接口，例如幾乎在各車載無線電廣播上都存在的向上/向 下按鈕。可以將姿態控制系統耦接到許多可用的輸出裝置來為用戶提供反饋。例如，姿態 控制系統的輸出包括與姿態或者姿態所實現的控制有關的合成語音反饋。作為另一示例， 姿態控制系統的輸出包括基本字母數字顯示器上的大文本。另外，可以提供包括硬質模壓、 二元發光按鈕顯示器或掩模LCD屏的輸出。使用姿態控制系統減小了把手從方向盤移開或者改變正常駕駛手部位置和姿勢 的需要。這些駕駛友好的人體工學提供舒適和便捷，并且對于安全來說可能是理想的。如果呈現整個圖形顯示器并且耦接到姿態控制系統，則另外一組交互行為變得可 用。手指運動可以驅動指示光標在圖形顯示器上的位置，進而允許進行控制模式和設置的 非線性選擇。在實施例中，該圖形顯示器集成到擋風玻璃(例如，在平視配置中，其中固有 的光學功率使得顯示器以針對視覺適應而優化的深度來呈現)或者安裝在方向盤的正上 方和下方的儀表盤部件中。這種配置將圖形顯示器置于“方向盤上方”視角的法線的駕駛 者最近區域內。對于非線性控制類型，手部在正常駕駛位置開始。伸展任一只手的食指激活控制 系統并且在顯示器上顯示指示光標。手指尖的相對運動驅動光標在顯示區域上的水平和垂 直運動。可以通過指示裝置近鄰選擇顯示器上的界面圖形，并且通過一只或兩只手指點擊 以及無指示裝置的手部的把握或者通過無指示裝置的手部上食指的二維手指尖運動來操 控。可以通過食指握緊-伸展來控制簡單(虛擬)開關按鈕。虛擬標尺或滑塊，例如音量 控制如上所述可以由食指和中指來控制。姿態控制系統的第二交互模式包含自由空間控制。在該模式中，用戶(例如，交通 工具操作者或乘客)通過在汽車內部的特定開放區內移動一只手以及結合手指與導航系 統、無線電廣播和/或其他子系統交互。自由空間控制可以與完整圖形顯示器相結合使用， 其中一個實施例可以定位感測音量，并且由此操作者動作定位在顯示器的正前方。在實施例中，指向顯示器的“仿真槍”姿勢激活控制系統。十個姿勢連同他們之間 以及借助手部的細粒度目標和運動改變順序的變換構成了實施例的核心姿態符號集。然 而，姿態符號集并不限于十個姿勢。實施例的十個姿勢通過組合生成‘仿真槍’的‘槍管’ 可以單獨由食指或者由食指和中指一起形成。對于這兩種狀態中的任一個，拇指可以垂直 于‘槍管’(在手部平面中)或者可以平行于‘槍管’向下‘點擊’。而且，對于這四個狀態中 的任一個，整個手和手指幾何關系可以在與重力對齊的平面中以垂直方向，或者在與重力 垂直的平面中以水平方向定向。這給出八種基本姿勢；另外兩個姿勢通過旋轉手部大部分 從而使得‘槍管’基本上指向中間來形成。根據下文，用姿態描述語言(以下具體描述)表示實施例的十個姿勢"" -:-χ( ‘一個手指指向，)"" |:-χ( ‘一個手指點擊，)
一 一X (‘兩個手指點擊’)
一 一VX(‘傾向于兩個手指指向’)
一． 一．一(‘中間兩個手指指向’)
由于控制系統處于有效狀態(隨后首次恢復垂直的拇指向上，一個手指指向)，所以出現用于當前模式的指示光標和背景菜單組件。光標位置通過食指的運動和／或瞄準來驅動。通過把指示裝置定位在組件中并且把拇指移動到向下／點擊(與食指對齊)位置完成在按鈕1滑塊和菜單組件上的基本選擇和控制。將光標移動遠離屏幕到中間側調出高水平菜單列表，光標移動限制在二維(向上和向下)。從高水平菜單中選擇選項操作來改變控制模式(例如，從電話模式到導航系統模式)。I0071] 主交通工具系統的模式可以利用手部的真實三維運動。例如在導航系統模式時，將手傾斜到拇指水平姿勢使得正常選擇組件半透明并且將映射的位置和縮放限制到手的左向1右向1向上1向下，向前和后向運動。返回到拇指垂直姿勢凍結映射視角并且恢復背景菜單和選擇組件。
對于獲得最小舒適水平和對基本系統的熟悉的操作者來說，許多改進是可能的。例如，上面列舉的兩個手指姿勢可以選擇性地被限制到特定的“快捷”功能。駕駛者可以選擇來把共有的無線電廣播功能，即音量控制和電臺預置關聯到兩個手指姿勢，使得這些控制模式始終可用。借助這種激活的定制，交互背景開關不必操控無線電廣播，這種控制動作由此可以出現在距其他正在進行的控制序列的‘條帶之外’。即(對于當前示例)一個手指姿勢進行如上所述動作；兩個手指姿勢直接并且同時起到無線電廣播快捷方式和關聯的反饋圖形的作用，在有效的手部離開控制空間或者返回到與‘標準’控制語義相關聯的一個手指姿勢時，后者隨后消失。本文所述的各種交互可以結合在一起來形成可能巨大的一組控制和接口行為，如下文具體描述的那樣。
標志標簽I0074] 相對于上述的系統和方法，實施例的系統和方法可以使用用戶的一個或多個手指上的標志標簽從而使得系統能夠定位用戶的手部，識別出正在觀看左手還是右手，以及哪些手指是可見的。這允許該系統檢測用戶手部的定位1方位和運動。該信息使得許多姿態將由系統來識別并且由用戶作為命令來使用。
在一個實施例中，標志標簽是物理標簽，包括基板(在本實施例中適于附接到人手上的多個位置)和以唯一標識圖案在基板表面上布置的離散標志。
標志和關聯的外部感測系統可以工作在允許對其三空間位置進行準確、精確和快 速而連續采集的任何域(例如，光學、電磁、靜磁等)。標志自身可以主動(例如，通過發射 結構化電磁脈沖)或被動(例如，如在本實施例中那樣，通過被光學回射)工作。在采集每幀時，檢測系統從儀器實現的工作空間范圍(相機或其他檢測器的可見 范圍內)中的當前的標簽接收包括所有標志的恢復的三空間位置的聚集‘云’。每個標簽上 的標志足夠多樣化并且以唯一圖案布置，使得該檢測系統可以執行以下任務(1)分段，其 中把每個恢復的標志位置分配給形成單個標簽的點的一個和唯一一個子集；( 標注，其 中各個點的分段子集被識別為特定標簽；C3)定位，其中恢復識別的標簽的三空間位置；以 及(4)方位，其中恢復識別的標簽的三空間方位。通過標志圖案的特定特點可能完成任務 (1)和O)，如以下所述并且如在圖2中的一個實施例中所圖示的那樣。在一個實施例中，標簽上的標志附接到規則網格定位的子集。如在本實施例中的 那樣，這種基本網格可以是傳統的笛卡爾類型，或者可以是另外的其他一些規則平面鑲嵌 (例如，三角形/六角形瓦片排列)。針對標志感測系統的已知空間分辨率建立網格的尺度 和間隔，從而可能不會弄混相鄰的網格定位。針對所有標簽對標志圖案的選擇應當滿足以 下約束條件沒有標簽圖案與通過旋轉、轉換或鏡像的任意組合的其他任何標簽圖案的一 致。還可以選擇標志的多樣性和布置從而容許某些特定數量的組成標志的損失(或遮擋) 在任一隨機轉換之后，仍然可能不會將損壞的模塊與其他任何模塊弄亂。現在參考圖2，示出了多個標簽201A-201E (左手)和202A-202E (右手)。各個標 簽為矩形并且在該實施例中由5x7網格陣列組成。選擇矩形形狀輔助確定標簽的方位并且 減小鏡像復制的可能性。在所示的實施例中，各個手的各個手指都有標簽。在一些實施例 中，每只手使用一個、兩個、三個或四個標簽可能足夠。每個標簽具有不同灰度或顏色陰影 的邊界。在該邊界中是3x5網格陣列。以網格陣列把標志(由圖2的黑點表示)置于某些 點處來提供信息。通過將每個圖案分段成‘共有’和‘唯一’子圖案而將符合條件的信息編碼在標簽 的標志圖案中。例如，本實施例規定了兩種可能的‘邊界圖案’，有關矩形邊界的標志分布。 由此建立標簽‘族’-意在用于左手的標簽由此可能都使用與標簽201A-201E所示的相同 邊界圖案，盡管附接到右手手指的那些標簽可以分配有如標簽202A-202E所示的不同的圖 案。選擇這種子圖案從而可以在標簽的所有方位中將左側圖案與右側圖案區分開。在圖示 示例中，左手圖案包括每個角上的標志以及距角網格定位的第二個角上的標志。右手圖案 具有僅在兩個角上的標志和在非角網格定位上的兩個標志。圖案的檢查表明，只要四個標 志中的任意三個可見，就肯定可以將左手圖案與右手圖案區分開。在一個實施例中，邊界的 顏色或陰影還可以用作偏手性的指示器。各標簽仍然當然必須采用唯一內部圖案，在其家族公共邊界內分布的標志。在所 示實施例中，已發現，由于手指的旋轉或方位的原因，內部網格陣列中的兩個標志無需復制 足以唯一地識別出十個手指中的每一個。即使遮擋標志中的一個，標簽的圖案和偏手性的 組合產生唯一標識符。在本實施例中，網格定位可視地呈現在剛性基板上作為對把每個回射標志附接到 其想要定位的(手動)任務的輔助。這些網格和想要的標志定位經由彩色噴墨打印機逐字 地打印到基板上，這里基板是(最初)柔性‘收縮薄膜’的片材。每個模塊從該片材切除并且隨后被烘烤，在熱處理期間每個模塊經過精確和可重復的收縮。針對該過程之后的簡短 間隔，冷卻標簽可以稍微成形-例如遵循手指的縱向曲線，其后，基板適于為剛性并且可以 把標志附接到所指示的網格點。在一個實施例中，標志自身是三維的，如經由粘合劑或其他任何適合方式附接到 基板的小反射球。三維標志可以成為在二維標志上的檢測和定位的輔助。然而，可以在不 脫離實施例的精神和范圍的情況下使用任何一種。目前，經由Velcro或其他適合方式把標簽附接到操作者戴的手套或者可替代地 使用柔和的雙面膠帶直接附接到操作者手指。在第三實施例中，可以與剛性基板一起分配 并且把單獨標志直接附接或‘印刷’到操作者手指和手上。姿態符號集實施例考慮由手部姿勢、方位、手部組合以及方位混合組成的姿態符號集。符號語 言還實現用于以實施例的姿態符號集設計和傳遞姿勢和姿態。姿態符號集是以簡潔的文 本形式表現運動聯接的瞬時‘姿勢狀態’的系統。所討論的聯接可以是生物學的(例如人 手；或者整個人體；或者蝗蟲腿；或獼猴的關節相連的脊骨)或者是非生物學的(例如，機 械臂)。在任一種情況下，聯接可以是簡單的(脊骨)或者分支的(手)。實施例的姿態符 號集系統針對任一特定聯接創建恒定長度的序列；占據序列‘字符定位’的特定ASCII字符 的集合成為聯接的瞬時狀態或‘姿勢’的唯一描述。手部姿勢圖3圖示了姿態符號集的實施例中的手部姿勢。該實施例假設使用了一只手的五 個手指中的每一個。這些手指標記為P-小手指、r-無名指、m-中指、i_食指和t-拇指。 在圖3中定義和圖示了手指和拇指的許多姿勢。姿態符號集序列為聯接中(在此情況下 為手指)各個可表現的自由度創建單個字符位置。而且，各個這種自由度被認為是離散的 (或‘量化的’)，從而可以通過在該序列位置上分配確定數量的標準ASCII字符之一來表現 其整個運動范圍。相對主體特用原點和坐標系(手背、蝗蟲身體的中心；機械臂的底座等) 表現這些自由度。因此使用少量附加的姿態符號集字符位置在更普遍的坐標系中‘作為整 體’表現聯接的位置和方位。仍然參考圖3，使用ASCII字符定義和標識許多姿勢。一些姿勢被劃分在拇指和非 拇指之間。該實施例使用編碼從而使得ASCII符號本身作為對姿勢的提示。然而，不管提 示與否，可以使用任何字符來表示姿勢。另外，對于符號序列不需要使用ASCII字符。可以 在不脫離該實施例的范圍和精神的情況下使用任何適合的符號、數字或其他表示。例如，如 果想要的話，符號可以使用每個手指兩位，或者根據需要使用其他數量的位。蜷起的手指由字符“ ~ ”表示，而蜷起的拇指由“ > ”表示。伸直的手指或向上指的 拇指由“1”指示并且由“\”或“/”指示一定角度。“-”表示指向筆直側向的拇指，而“X”表 示指向平面的拇指。使用這些單獨的手指和拇指描述，根據實施例可以定義和記下手部姿勢的大致數 量。每個姿勢由如上所述的p-r-m-i-t順序的五個字符表示。圖3圖示了許多姿勢并且這 里借助圖示和示例描述一些姿勢。手部保持平直并且與地面平行表示為“11111”。拳頭表 示為>”。“確定”記號表示為“ 11Γ >”。在使用提示字符時，字符串提供了易懂的‘人類可讀性’的機會。一般來說，可以用眼睛選擇描述各自由度的可能的字符集來加快識別和明顯類推。例如，垂直條(‘|’)可 能表示聯接組件是‘平直的’，長度符號(‘L’)可能表示90度彎曲，聲調符號(‘~’)可能 表示銳彎。如上所述，可以根據需要使用任意字符或編碼。采用如本文所述的姿態字符集序列的任何系統得益于序列比較-識別的高計算 效率或者按照文字搜索任何特定姿勢變成期望姿勢序列與瞬時真實序列之間的‘序列比 較’(例如，UNIX的‘strcmpO ’功能)。而且，‘通配符字符’的使用為程序員或系統設計者提 供了額外熟悉的效率和功效瞬時狀態對于匹配無關的自由度可以規定為詢問點(‘？’)； 可以分配另外的通配符含義。方位除了手指和拇指的姿勢之外，手的方位可以表示信息。顯然還可以選擇描述一般 空間方位的字符字符‘<’、‘>’、‘~’，而可以使用‘V’來指示出現在方位字符位置上時的 左、右、上和下的概念。圖4圖示了將姿勢和方位組合的編碼的手部方位描述符和示例。在 實施例中，兩個字符位置首先規定手掌的方向并且隨后規定手指的方向(如果手指伸直， 則與手指的真實彎曲無關)。這兩個位置的可能的字符代表方位的‘以主體為中心’的符 號‘_’、‘ + ’、‘χ’、‘*’、‘~’，而‘V，描繪了中間、橫向、前面(遠離主體向前)、后面(遠離 主體向后)、頭部(向上)和尾部(向下)。在實施例的符號方案中，指示字符的五個手指姿態之后是冒號，并且隨后是定義 完整命令姿勢的兩個方位字符。在一個實施例中，開始位置是指“xyz”姿勢，其中拇指 豎直指向上，食指指向前，中指垂直于食指，在右手做出該姿勢時指向左。這表示為序列 “""xl-:-x”。‘XYZ-手’是采用人手的幾何形狀允許對視覺呈現的三維結構進行全部六個自由 度導航的技術。盡管該技術僅取決于操作者手部的整體轉換和旋轉，從而使得其手指在原 理上可以保持在期望的任意姿勢，但是本實施例寧愿靜態配置，其中食指指向遠離身體，拇 指指向天花板，中指指向左-右。三個手指由此描繪了(粗略地，但是清晰明確的意圖)三 空間坐標系的三個相互垂直的軸這樣的‘XYZ-手’。XYZ-手導航隨后用手、手指進行上述的在操作者的身體前保持預定的‘中立定位’ 的姿勢。以下列固有方式實現對三空間對象(或相機)的三個轉換和三個旋轉自由度的訪 問手部的左右運動(相對于身體固有坐標系)產生沿計算背景的X軸的運動；手部的上下 運動產生沿受控的背景的y軸的運動，而前后的手部運動(向著/遠離操作者身體)產生 背景內的ζ軸運動。類似地，操作者的手部圍繞食指的旋轉造成計算背景的方位的‘滾動’ 變化；分別通過操作者的手部圍繞中指和拇指的旋轉，類似地造成‘傾斜’和‘偏轉’變化。注意，盡管這里使用‘計算背景’來指代由XYZ-手的方法所控制的實體一并且看 上去暗示了合成的三空間對象或者相機，但是應該理解，該技術對于控制真實世界對象的 各個自由度來說同等有效例如，裝備有適當的旋轉致動器的視頻或運動畫面攝像機的平 移/傾斜/偏轉控制。而且，XYZ-手部姿勢所提供的物理自由度在某種程度上可能較少逐 字地映射到虛擬域中。在本實施例中，還使用XYZ-手提供對大型全景顯示圖像的導航訪 問，從而使得操作者的手部的左右和上下運動產生有關圖像的期望的左右和上下‘平移’， 而操作者的手部的前后運動映射到‘縮放’控制。在每種情況下，手部運動與引起的計算轉換/旋轉之間的耦合可以是直接的(即，操作者的手部的位置或旋轉偏移經由一些線性或非線性函數一對一地映射到計算背景中 的對象或相機的位置或旋轉偏移)或者間接的(即，操作者的手部的位置或旋轉偏移經由 一些線性或非線性函數一對一地映射到計算背景中位置/方位的第一或更高次導數；進行 中的結合隨后在計算背景的真實0階位置/方位發生非靜態變化)。后者的這種控制方式 類似于汽車‘油門踏板’的使用，其中踏板的恒定偏移或多或少產生恒定的車輛速度。作為真實世界XYZ-手的本地六自由度坐標原點的‘中立定位’可以被設立(1)作 為空間中的絕對位置和方位(即，相對于封閉室)；(2)作為相對于操作者自身的固定位置 和方位(例如，身體前方8英寸，下巴下方10英寸并且與肩部平面橫向平行)，與操作者的 整體位置和‘航向’無關；或者(3)通過操作者的故意的次要動作(例如使用操作者的‘另 一只’手所作的姿態命令，所述命令指示XYZ-手的當前位置和方位應當此后用作轉換和旋 轉原點)進行交互。進一步方便提供有關XYZ-手的中立定位的‘鎖銷’區(或者‘靜區’)，使得該范 圍內的運動未映射到受控背景中的運動。其他姿勢可以包括[I I I I I :vx]是伸直的手(拇指平行于手指)，手掌朝下手指向前。[| ι ι ι ι :x"]是伸直的手，手掌朝前，手指朝向天花板。[I I I I I :-χ]是伸直的手，手掌朝身體中心(如果是左手則手掌朝右，如果是右手 則手掌朝左)手指向前。是單個手拇指向上(拇指指向天花板)。["" -:-χ]是指向前的仿真槍姿勢。雙手組合實施例考慮單手命令和姿勢以及雙手命令和姿勢。圖5圖示了實施例中的雙手組 合和相關符號的示例。回顧第一示例的符號，“完全停止”表明其包括兩個閉合的拳頭。“快 照”示例具有每個伸展開的手的拇指和食指，拇指相互指向對方，定義了目標后形成的幀。 “方向舵和節氣門開始位置”是向上指向面對屏幕的手掌的手指和拇指。方位混合圖6圖示了實施例中的方位混合的示例。在所示的示例中，通過將方位符號對裝 入手指姿勢序列之后的括號內來表示混合。例如，第一命令示出了所有豎直指向的手指位 置。第一方位命令對將使得手掌向顯示器伸直，第二對具有向屏幕旋轉45度傾角的手。盡 管在該示例中示出了混合對，但是考慮到任意數量的混合。示例命令圖8/1和圖8/2圖示了根據實施例的可以使用的大量可能的命令。盡管本文說明 書的部分在于控制顯示器上的光標，但是該實施例不限于該操作。事實上，該實施例在操控 顯示器上的任何和所有以及部分數據連同顯示器的狀態方面具有重大應用。例如，可以使 用命令在視頻媒體播放期間替代視頻控制。可以使用命令暫停、快進、倒帶等。另外，可以 實現命令放大或縮小圖像以改變圖像的方位、在任意方向上平移等。還可以使用該實施例 來代替如打開、關閉、保存等的菜單命令。換言之，可以使用手部姿態實現可以設想到的任 何命令或者動作。操作
圖7是示出了根據實施例的系統操作的流程圖。在701，檢測系統檢測標志和標 簽。在702，確定是否檢測到標簽和標志。如果否，系統返回到701。如果在702檢測到標 簽和標志，則系統進行到703。在703，系統根據所檢測的標簽和標志識別手、手指和姿勢。 在704，系統識別姿勢的方位。在705，系統識別被檢測的一只手或雙手的三維空間定位(請 注意可以將703、704和705中的任意個或全部相結合)。在706，把信息轉換成如上所述的姿態符號。在707，確定姿勢是否有效。這可以 使用所生成的符號序列通過簡單序列比較來實現。如果姿勢無效，則系統返回到701。如果 姿勢有效，則在708系統把符號和位置信息發送給計算機。在709，計算機響應于該姿態確 定要采取的適合動作并且相應地在710更新顯示。在一個實施例中，701-705由相機上的處理器來完成。在其他實施例中，可以根據 需要由系統計算機完成處理。分析和轉換系統能夠“分析”和“轉換”通過基本系統恢復的低水平姿態流，并且把那些分析 和轉換的姿態變成可以用來控制廣泛的計算機應用和系統的命令流或事件數據。可以在系 統中實現這些技術和算法，該系統包括提供實現這些技術的引擎以及構建利用引擎能力的 計算機應用的平臺兩者的計算機代碼。一個實施例關注于在計算機接口中實現人手的大量姿態使用，但是還能夠識別其 他身體部分做出的姿態(包括但不限于臂、軀干、腿和頭)以及各種非手部的身體工具，所 有固定和關節連接的部分，包括但不限于圓規、羅盤、柔性曲線近似器和各種形狀的指示裝 置。可以把標志和標簽應用到可以根據需要由操作者攜帶和使用的物品和工具。這里所述的系統加入了許多改進，使得能夠構建富于可以識別和做出姿態的范圍 的姿態系統，而同時提供了對應用的簡單結合。在一個實施例中的姿態分析和轉換系統包括1)以幾種不同集合水平規定(編碼以在計算機程序中使用)姿態的簡潔和有效方 法；a. 一只手的“姿勢”(這只手的各部位相互之間的布置和方位)三維空間的一只 手的方位和位置。b.雙手組合，對于考慮姿勢、位置或姿勢和位置兩者的每只手。c.多人組合；該系統可以跟蹤多于兩只手，并且從而一人以上可以協同地(或者 在游戲應用情況下競爭地)控制目標系統。d.其中姿勢順序組合的順序姿態；我們稱這些為“動畫”姿態。e. “語義圖”姿態，其中操作者跟蹤空間中的形狀。2)用于從上面的每個類別登記與給定應用場景相關的特定姿態的編程技術。3)用于分析姿態流從而可以識別該登記的姿態并且可以把封裝那些姿態的事件 傳送到相關的應用場景的算法。借助構成元素(Ia)到(If)，規范系統(1)提供了使用這里所述的系統的姿態分析 和轉換能力的基礎。一只手“姿勢”被表示為以下的序列i)手指與手背之間的相對方位，
ii)量化成少量離散狀態。使用相對結合方位允許這里所述的系統避免不同的手部大小和幾何形狀相關的 問題。對于這種系統不需要“操作者校準”。另外，將姿勢規定為相對方位的序列或集合允 許通過將姿勢表示與另外的濾波器和規范相結合以容易地創建更復雜的姿態規范。針對姿勢規范使用少量離散狀態能夠簡單地指定姿勢并且使用各種基本跟蹤技 術(例如，使用相機的被動光學跟蹤，使用光點和相機的主動光學跟蹤，電磁場跟蹤等)確 保準確的姿勢識別。可以部分地(或者最小地)規定每個類別(Ia)到(If)中的姿態，從而忽略非關 鍵數據。例如，兩個手指的位置是確定的并且其他手指位置是不重要的姿態可以表示為單 個規范，其中給出兩個相關手指的操作位置，并且在同一序列中，為其他手指列出“通配符” 或一般“忽略這些”指示符。針對姿態識別這里描述的所有改進，包括但不限于多層規范技術、相對方位的運 用、數據量化以及針對每個級別的部分或最小規范的余量，將手部姿態的超過規范歸納為 使用其他身體部分和“制造”工具和對象的姿態的規范。用于“登記姿態” O)的編程技術由預定義的應用編程接口集調用函數組成，調用 函數允許編程者定義引擎應當使得哪些姿態對于運行系統的其他部分可用。在應用建立時可以使用這些API線程，創建在運行應用程序的持續時間期間使用 的靜態接口定義。在運行期間也可以使用這些線程，允許接口特性在不工作時發生改變。接 口的這種實時變化使得能夠i)構建復雜場景和條件控制狀態，ii)向控制環境動態地添加遲滯(hysteresis)，以及iii)創建應用，其中用戶能夠改變或擴展運行系統自身的接口符號集。用于分析姿態流(3)的算法將(1)中規定和在( 中登記的姿態與輸入的低水平 姿態數據相比較。在識別出用于登記姿態的匹配時，把代表匹配姿態的事件數據在堆棧上 方傳送到運行的應用。在這種系統的設計中有效的實時匹配是理想的，將指定姿態看作是盡可能快的處 理的概率樹。另外，內部使用以識別指定姿態的初始比較操作符還暴露給應用程序編程者來使 用，使得甚至在應用場景中也可以進行進一步比較(例如在復雜或復合姿態中的靈活的狀 態檢查)。識別“鎖定”語義是本文所述系統的改進。這些語義由登記API (2)(以及，在較小 程度上，嵌入在規范符號集(1)中)來暗示。登記API調用函數包括i) “登入”狀態提示符以及“繼續”狀態提示符，以及ii)姿態優先級指示符。如果識別出姿態，則其“繼續”條件對于相同或較低優先級的姿態占據所有“登入” 條件的優先位置。登入和繼續狀態之間的這種差異明顯增加感知系統可用性。本文所述的系統包括面對真實世界數據誤差和不確定性的魯棒操作的算法。來自 低水平跟蹤系統的數據可能是不完整的(由于多種原因，包括光學跟蹤、網絡中斷或處理 延遲等中標志的遮擋)。
丟失的數據由分析系統做標記，并且根據丟失數據的數量和背景插入“最后已知 的”或“最可能的”狀態。如果丟失有關特定姿態成分的數據(例如，特定接合的方位)，而該特定成分的 “最后已知的”狀態可以作為本質上可能的狀態進行分析，則系統在其實時匹配中使用該最 后已知的狀態。相反，如果最后已知的狀態作為本質上不可能的狀態進行分析，則系統退回到該 成分的“最佳猜測范圍”，并且在其實時匹配中使用該合成數據。本文描述的規范和分析系統被精心設計來支持“偏手性不可知論”，從而針對多個 手部姿態允許任一只手滿足姿勢需求。一致的虛擬/顯示和物理空間系統可以提供這樣一種環境，其中在一個或多個顯示裝置(“屏幕”)上描繪的虛 擬空間被看作與系統的一個或多個操作者所處的物理空間一致。本文描述了這種環境的實 施例。該當前實施例包括固定定位處的三個投影儀驅動屏幕，由單個臺式計算機驅動并且 使用本文描述的姿態符號集和接口系統來控制。然而，注意，任意數量的屏幕得到正在描述 的技術的支持，那些屏幕可以是移動的(而非固定的)，屏幕可以由許多獨立計算機同時驅 動，以及整個系統可以受到任何輸入裝置或技術的控制。本公開中描述的接口系統應當具有確定屏幕在物理空間中的尺寸、方位和位置的 裝置。給定該信息，該系統能夠把這些屏幕作為投影定位(并且存在系統的操作者)的物 理空間動態地映射到在系統上運行的計算機應用的虛擬空間。作為該自動映射的部分，該 系統根據系統所具有的應用的需要以多種方式轉換兩個空間的尺度、角度、深度、尺寸和其 他空間特征。物理和虛擬空間之間的這種連續轉換使得能夠一致和普遍應用難以在現有應用 平臺上實現或者針對在現有平臺上運行的各個應用必須逐個(piece-meal)實現的許多接 口技術。這些技術包括(但不限于)1) “文字指示”的使用-在姿態接口環境中使用手部，或者使用物理指示工具或裝 置-作為普遍和自然接口技術。2)對屏幕移動或重新定位的自動補償。3)根據操作者位置例如模擬視差偏移發生變化以增強深度感受的圖形渲染。4)在屏幕上顯示器中包括物理對象-考慮真實世界位置、方位、狀態等。例如，站 在大型、不透明的屏幕前方的操作者可以看到應用圖形以及屏幕(并且可以正在移動或者 改變方位)后方的比例模型的真實位置的表示。值得注意的是，文字指示不同于在基于鼠標的窗口接口和大多數其他同時期的系 統中使用的抽象指示。在那些系統中，操作者必須學會管理虛擬指示裝置與物理指示裝置 之間的轉換，并且必須有認知地在兩者之間映射。相反，在本公開內容中描述的系統中，不管是從應用還是從用戶角度來說，虛擬和 物理空間之間都不存在差別(只是虛擬空間更受數學運算的影響)，所以不存在操作者的 所需要的認知轉換。本文描述的實施例所提供的文字指示的最接近近似是觸摸敏感屏幕(例如在許 多ATM機器上所見的)。觸摸敏感屏幕在屏幕上的二維顯示空間與屏幕表面的二維輸入空間之間提供一對一的映射。在類似方式中，本文所述的系統在一個或多個屏幕上顯示的虛 擬空間與操作者所處的物理空間之間提供了靈活的映射(可能但并非必須一對一)。盡管 類推的有效性問題，但是值得注意的是，該“映射方法”到三維的擴展，任意大型架構環境以 及多屏幕并非微不足道。除了本文描述的成分之外，系統還可以實現在環境的物理空間與每個屏幕上的顯 示空間之間實現連續、系統級映射(大概通過旋轉、轉換、縮放和其他幾何關系變換修改) 的算法。實施例的系統包括渲染堆棧，其獲得計算對象和映射并且輸出虛擬空間的圖形表
7J\ ο實施例的系統包括輸入事件處理堆棧，其從控制系統獲得事件數據(在當前實施 例中為來自系統和鼠標輸入的姿態和指示數據兩者)并且把空間數據從輸入事件映射到 虛擬空間中的坐標。隨后將轉換后的事件傳送給運行的應用。實施例的系統包括“粘合層”，允許系統具有通過局域網在幾個計算機之間運行的應用。本文所述的實施例包括一種系統，包括交通工具中的多個傳感器，其中所述多個 傳感器映射對象并且輸出表示所述對象所做姿態的姿態數據，其中所述姿態數據是所述對 象在空間中時間點的瞬時狀態，其中所述對象包括用戶的手和手指中的至少一個；處理器， 耦接到所述多個傳感器，所述處理器從所述姿態數據自動檢測所述對象的姿態，所述檢測 包括提取所述對象的位置，所述檢測包括恢復所述對象的量化姿勢和方位矢量，所述檢測 包括把所述姿態數據轉換成姿態信號；以及控制器，耦接到所述處理器并且耦接到交通工 具的多個交通工具子系統，所述控制器響應于所述姿態信號管理與所述多個交通工具子系 統的用戶交互。定位實施例的多個傳感器來查看所述交通工具的座艙。實施例的多個傳感器包括多個相機。實施例的多個相機包括立體視覺系統。實施例的姿態數據包括表示所述對象的三維數據點云。實施例的三維數據點云中的數據點的分辨深度精度大約為1毫米(mm)。實施例的對象的位置包括手的位置。實施例的對象的位置包括一組手指的位置。實施例的對象的量化姿勢包括至少一只手的量化姿勢。實施例的對象的方位矢量包括至少一只手的連續方位矢量。實施例的對象的方位矢量包括一組手指的連續方位矢量。實施例的轉換包括把所述姿態的信息轉換成姿態符號。實施例的姿態符號表示姿態符號集，并且所述姿態信號包括所述姿態符號集的通
fn °實施例的姿態符號集以文本形式表示所述對象的運動聯接的瞬時姿勢狀態。實施例的姿態符號集以文本形式表示所述對象的運動聯接的方位。實施例的姿態符號集以文本形式表示所述對象的運動聯接的方位組合。實施例的姿態符號集包括表示所述對象的運動聯接狀態的字符串。
實施例的系統包括耦接到所述處理器的反饋裝置，所述反饋裝置為用戶提供對應 于所述姿態的指示。實施例的指示包括對所述姿態的解釋。實施例的指示包括響應于所述姿態在所述多個交通工具子系統上實現的效果。實施例的反饋裝置是視覺裝置。實施例的反饋裝置是聽覺裝置。實施例的反饋裝置是音頻-視覺裝置。實施例的反饋裝置是交通工具平視顯示器。實施例的反饋裝置是基于像素的交通工具顯示器。實施例的反饋裝置是至少一個變色發光指示器。實施例的反饋裝置是觸覺顯示器。實施例的控制器使用第一交互模式管理所述用戶交互，所述第一交互模式包括響 應于所述姿態來控制與所述多個交通工具子系統的交互，其中所述姿態包括用戶的手指運 動。實施例的姿態包括手部兩個手指的握緊-再次伸展運動，其中所述控制器響應于 所述姿態而循環經過交通工具子系統的多個控制組件，其中每個控制組件都允許用戶控制 交通工具子系統的參數。實施例的姿態包括用戶手部的手指的握緊-再次伸展運動，其中所述控制器響應 于所述姿態而遞增地改變所述參數的設置。實施例的姿態包括按住第一手指和伸展第二手指，其中所述控制器響應于所述姿 態以恒定速率改變所述參數的設置。實施例的姿態包括用戶第一只手的至少一個手指的伸展，其中所述處理器響應于 所述姿態激活所述控制器。實施例的用戶的手部在所述姿態期間保持與交通工具的導向機構接觸。實施例的至少一個手指是所述用戶的食指、中指和拇指中的至少一個。實施例的姿態包括所述第一只手的兩個手指的握緊-再次伸展運動，其中所述控 制器響應于所述姿態而循環經過交通工具子系統的多個控制模式，其中所述多個控制模式 的每個控制模式都對應于交通工具子系統。實施例的姿態包括第二只手的兩個手指的握緊-再次伸展運動，其中所述控制器 響應于所述姿態而循環經過每個控制模式的多個控制選項，其中所述多個控制選項的每個 控制選項都對應于交通工具子系統。實施例的姿態包括所述用戶手部的手指的握緊-再次伸展運動，其中所述控制器 響應于所述姿態對控件的設置進行控制。實施例的姿態包括所述用戶的手部的第一手指的握緊-再次伸展運動，其中所述 控制器響應于所述姿態通過沿第一方向對所述設置進行步進來遞增地改變所述設置。實施例的姿態包括所述用戶手部的第二手指的握緊-再次伸展運動，其中所述控 制器響應于所述姿態通過沿第二方向對所述設置進行步進來遞增地改變所述設置。實施例的姿態包括按住所述第一手指和伸展所述第二手指，其中所述控制器響應 于所述姿態以恒定速率改變所述設置。
實施例的系統包括耦接到所述處理器的圖形顯示器，所述圖形顯示器為用戶提供 對應于所述姿態的指示，其中所述姿態控制顯示組件在所述圖形顯示器上的位置。實施例的手指運動經由所述顯示組件實現所述交通工具子系統的控制組件的非 線性選擇，其中每個控制組件都允許用戶控制交通工具子系統的參數。實施例的姿態包括所述用戶的第一只手的至少一個手指的伸展，其中所述處理器 響應于所述姿態激活所述控制器并且使得所述顯示組件將被顯示。實施例的姿態包括指尖的相對運動，其中所述處理器響應于所述指尖的相對運動 控制所述顯示組件在所述圖形顯示器上的運動。通過所述顯示組件的近鄰選擇實施例的所述顯示器的界面圖形，其中所述顯示組 件是指示裝置。實施例的界面圖形對應于所述交通工具子系統的控制組件，其中每個控制組件的 界面圖形都允許用戶控制交通工具子系統的參數。實施例的姿態包括所述用戶手部的手指的握緊-再次伸展運動，其中所述控制器 響應于所述姿態經由所述界面圖形改變所述參數的設置。實施例的姿態包括按住第一手指和伸展第二手指，其中所述控制器響應于所述姿 態經由所述界面圖形改變所述參數的設置。實施例的顯示組件包括撥動開關圖標，其中所述姿態包括所述用戶手部的手指的 握緊-再次伸展運動，其中所述姿態控制所述撥動開關的設置。實施例的顯示組件包括滑塊圖標，其中所述姿態包括按住第一手指和伸展第二手 指，其中所述控制器響應于所述姿態以恒定速率改變所述滑塊的設置。實施例的顯示組件包括滑塊圖標，其中所述姿態包括所述用戶手部的手指的握 緊-再次伸展運動，其中所述控制器響應于所述姿態而遞增地改變所述滑塊的設置。實施例的控制器使用第二交互模式管理所述用戶交互，所述第二交互模式包括響 應于所述姿態來控制與所述多個交通工具子系統的交互，其中所述姿態包括所述用戶的手 部運動和手指運動。實施例的控制器響應于所述姿態而循環經過所述交通工具子系統的多個控制組 件，其中每個控制組件都允許用戶控制交通工具子系統的參數。實施例的姿態包括手部的沿第一方向伸展的第一手指。實施例的姿態包括所述手部的沿第二方向伸展的第二手指。實施例的姿態包括所述手部、所述第一手指和所述第二手指的組合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對齊的平面 中。實施例的姿態包括所述手部、所述第一手指和所述第二手指的組合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。實施例的姿態包括所述手部的沿所述第一方向伸展并且與所述第一手指近似對 齊的第三手指。實施例的第二手指在伸展時與所述第一手指近似垂直。實施例的第二手指在伸展時與所述第一手指近似平行。
實施例的姿態包括旋轉到所述第一手指近似中間指向的位置的手部。實施例的系統包括耦接到所述處理器的圖形顯示器，所述圖形顯示器經由所述姿 態為所述用戶提供控制，其中所述控制器響應于所述姿態而循環經過所述交通工具子系統 的多個控制組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。實施例的姿態控制顯示組件在所述圖形顯示器上的位置。實施例的姿態包括手部的沿第一方向伸展的第一手指。實施例的顯示組件包括指示裝置，其中所述指示裝置的位置由所述第一手指的運 動和目標中的至少一個控制。在使用所述第一手指的目標在控制組件內布置所述指示裝置并且所述手部的第 二手指從第一位置移動到第二位置時，實施例的姿態對控制組件的選擇進行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。實施例的姿態包括使所述第一手指瞄準遠離所述圖形顯示器的位置，其中所述控 制器呈現菜單列表。實施例的姿態包括使所述第一手指瞄準菜單項并且把所述第二手指移向所述第 一位置，其中所述控制器選擇所述菜單項作為有效控制組件。實施例的姿態包括所述手部和所述手部的至少一個手指的組合的垂直方位，其中 所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對齊的平面中，其 中所述控制器呈現第一組控制組件。實施例的姿態包括所述手部和所述手部的至少一個手指的組合的水平方位，其中 所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面中，其 中所述控制器呈現不同于第一組控制組件的第二組控制組件。實施例的交通工具子系統包括氣候控制裝置，多功能顯示裝置、音頻裝置、無線電 廣播裝置、數字音頻裝置、電話、導航裝置、巡航控制裝置、自動駕駛裝置、自動導向裝置和 聯網裝置中的至少一個。實施例的多個傳感器包括多個飛行時間深度感測相機。實施例的多個傳感器包括多個結構光三維傳感器。本文所述的實施例包括一種系統，包括多個傳感器，其中所述多個傳感器映射對 象并且輸出表示姿態的姿態數據，其中所述姿態數據是所述對象在空間中時間點的瞬時狀 態，其中所述對象包括手和手指中的至少一個；以及處理器，耦接到所述多個傳感器，所述 處理器從所述姿態數據自動檢測所述對象的姿態，所述檢測包括提取所述對象的位置，所 述檢測包括恢復所述對象的量化姿勢和方位矢量，所述檢測包括把所述姿態數據轉換成姿 態信號并且使用所述姿態信號控制耦接到所述處理器的交通工具子系統。本文所述的實施例包括一種系統，包括安裝在交通工具中的多個傳感器，其中所 述多個傳感器映射對象并且輸出表示所述對象所做姿態的姿態數據，其中所述姿態數據是 所述對象在空間中時間點的瞬時狀態；處理器，耦接到所述多個傳感器，所述處理器從所述 姿態數據自動檢測所述對象的姿態并且把所述姿態數據轉換成姿態信號；控制器，耦接到 所述控制器并且耦接到交通工具的交通工具子系統，所述控制器響應于所述姿態信號來控 制所述交通工具子系統；以及反饋裝置，耦接到所述處理器，所述反饋裝置提供對應于所述 姿態的視覺和音頻反饋中的至少一個。
本文所述的實施例包括一種方法，包括經由交通工具中的多個傳感器接收對象 的圖像并且輸出表示所述對象所做姿態的姿態數據，其中所述姿態數據是所述對象在空間 中時間點的瞬時狀態，其中所述對象包括用戶的手和手指中的至少一個；通過提取所述對 象的位置，恢復所述對象的量化姿勢和方位矢量以及把所述姿態數據轉換成姿態信號來從 所述姿態數據自動檢測所述對象的姿態；以及響應于所述姿態信號來管理與所述多個交通 工具子系統的用戶交互。實施例的方法包括定位所述多個傳感器來查看所述交通工具的座艙，其中所述多 個傳感器包括多個相機。實施例的姿態數據包括表示所述對象的三維數據點云。實施例的對象的位置包括手的位置。實施例的對象的位置包括一組手指的位置。實施例的對象的量化姿勢包括至少一只手的量化姿勢。實施例的對象的方位矢量包括至少一只手的連續方位矢量。實施例的對象的方位矢量包括一組手指的連續方位矢量。實施例的轉換包括把所述姿態的信息轉換成姿態符號，其中所述姿態符號表示姿 態符號集，并且所述姿態信號包括所述姿態符號集的通信。實施例的姿態符號集以文本形式表示所述對象的運動聯接的瞬時姿勢狀態。實施例的姿態符號集以文本形式表示所述對象的運動聯接的方位。實施例的姿態符號集包括表示所述對象的運動聯接狀態的字符串。實施例的方法包括為用戶提供對應于所述姿態的指示，其中所述指示包括對所述 姿態的解釋以及響應于所述姿態在所述多個交通工具子系統上實現的效果中的至少一個。實施例的用戶交互的管理包括使用第一交互模式，所述第一交互模式包括響應于 所述姿態來控制與所述多個交通工具子系統的交互，其中所述姿態包括用戶的手指運動。實施例的姿態包括手部的兩個手指的握緊-再次伸展運動，其中管理用戶交互包 括響應于所述姿態而循環經過交通工具子系統的多個控制組件，其中每個控制組件都允許 用戶控制交通工具子系統的參數。實施例的姿態包括用戶手部的手指的握緊-再次伸展運動，其中管理用戶交互包 括響應于所述姿態而遞增地改變所述參數的設置。實施例的姿態包括按住第一手指和伸展第二手指，其中管理用戶交互包括響應于 所述姿態以恒定速率改變所述參數的設置。實施例的用戶的手部在所述姿態期間保持與交通工具的導向機構接觸。實施例的方法包括為用戶提供對應于所述姿態的指示，其中所述姿態控制顯示組 件在圖形顯示器上的位置。實施例的手指運動經由所述顯示組件實現所述交通工具子系統的控制組件的非 線性選擇，其中每個控制組件都允許用戶控制交通工具子系統的參數。實施例的姿態包括指尖的相對運動，其中管理用戶交互包括響應于所述指尖的相 對運動控制所述顯示組件在所述圖形顯示器上的運動。實施例的方法包括通過所述顯示組件的近鄰選擇所述顯示器的界面圖形，其中所 述顯示組件是指示裝置。
實施例的界面圖形對應于所述交通工具子系統的控制組件，其中每個控制組件的 界面圖形都允許用戶控制交通工具子系統的參數。實施例的用戶交互的管理包括使用第二交互模式，所述第二交互模式包括響應于 所述姿態來控制與所述多個交通工具子系統的交互，其中所述姿態包括所述用戶的手部運 動和手指運動。實施例的方法包括響應于所述姿態而循環經過所述交通工具子系統的多個控制 組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。實施例的姿態包括手部的沿第一方向伸展的第一手指。實施例的姿態包括所述手部的沿第二方向伸展的第二手指。實施例的姿態包括所述手部、所述第一手指和所述第二手指的組合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在與重力對齊的平面 中。實施例的姿態包括所述手部、所述第一手指和所述第二手指的組合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。實施例的姿態包括所述手部的沿所述第一方向伸展并且與所述第一手指近似對 齊的第三手指。實施例的第二手指在伸展時與所述第一手指近似垂直。實施例的第二手指在伸展時與所述第一手指近似平行。實施例的姿態包括旋轉到所述第一手指近似中間指向的位置的手部。實施例的方法包括提供顯示輸出，所述顯示輸出經由所述姿態為用戶提供控制， 其中管理用戶交互包括響應于所述姿態而循環經過所述交通工具子系統的多個控制組件， 其中每個控制組件都允許用戶控制交通工具子系統的參數。 實施例的姿態控制顯示組件在所述顯示輸出上的位置。實施例的姿態包括手部的沿第一方向伸展的第一手指。實施例的顯示組件包括指示裝置，其中所述指示裝置的位置由所述第一手指的運 動和目標中的至少一個控制。在使用所述第一手指的目標在控制組件內布置所述指示裝置并且所述手部的第 二手指從第一位置移動到第二位置時，實施例的姿態對控制組件的選擇進行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。實施例的姿態包括使所述第一手指瞄準遠離所述圖形顯示器的位置，其中所述控 制器呈現菜單列表。實施例的姿態包括使所述第一手指瞄準菜單項并且把所述第二手指移向所述第 一位置，其中所述控制器選擇所述菜單項作為有效控制組件。本文描述的基于姿態的控制系統和方法包括處理系統和/或在處理系統下運行 和/或與處理系統相結合地運行。如本領域已知的，處理系統包括基于處理器的裝置或一 起操作的計算裝置的任意結合，或者處理系統或裝置的元件。例如，處理系統可以包括便攜 式計算機、在通信網絡中運行的便攜式通信裝置和/或網絡服務器中的一個或多個。便攜 式計算機可以是任意數量的個人計算機、蜂窩電話、個人數字助理、便攜式計算裝置和便攜式通信裝置和/或組合，但是不限于此。處理系統可以包括大型計算機系統中的元件。實施例的處理系統包括至少一個處理器和至少一個存儲器裝置或子系統。處理 系統還可以包括至少一個數據庫或者與至少一個數據庫耦接。本文一般意義上使用的術 語“處理器”是指任何邏輯處理單元，諸如一個或多個中央處理單元(CPU)、數字信號處理器 (DSP)、專用集成電路(ASIC)等。處理器和存儲器可以整體集成在單個芯片中，分布在主機 系統的多個芯片或元件中，和/或由一些算法的組合來提供。本文所述的方法可以采取任 意組合形式由(多個)軟件算法、程序、固件、硬件、元件、電路中的一個或多個來實現。實施本文描述的系統和方法的系統元件可以一起定位或者位于單獨的定位。因 此，實施本文描述的系統和方法的系統元件可以是單個系統、多個系統和/或地理位置上 為單獨系統的元件。這些元件還可以是單個系統、多個系統和/或地理位置上為單獨系統 的子元件或子系統。這些元件可以耦接到主機系統或者與該主機系統耦接的系統的一個或 多個其他元件。通信路徑耦接系統元件并且包括在元件當中傳送或傳輸文件的任何介質。通信 路徑包括無線連接、有線連接以及混合無線/有線連接。通信路徑還包括與包括局域網 (LAN)、城域網(MAN)、廣域網(WAN)、專屬網絡、局間網絡或后端網絡以及因特網的網絡的 耦接或連接。而且，通信路徑包括如軟盤、硬盤驅動器和CD-ROM盤的可移除的固定介質，以 及閃速RAM、通用串行總線(USB)連接、RS-232連接、電話線、總線和電子郵件消息。除了另外明確需要的背景，詞語“包括”、“包含”等在說明書通篇被認為包含在內 的意思而與排他或窮盡的意思相反，即，“包括但不限于”的意思。使用單數或復數的詞語 分別還包括多個或單數個。另外，詞語“本文”、“下文”、“上文”、“以下”以及類似引入的詞 匯在本申請中是指作為整體而非本申請的任何特定部分。當引用兩個或多項列表使用詞語 “或”時，該詞匯覆蓋以下對該詞匯的所有解釋列表中的任一項、列表中的所有項以及列表 中各項的任意組合。基于姿態的控制的實施例的以上描述并非意在將所述的系統和方法窮盡或限于 所披露的精確形式。盡管為了說明目的描述了基于姿態的控制的特定實施例以及示例，但 是正如本領域技術人員將認識到的那樣，在其他系統和方法的范圍內的各種等同變型是可 能的。本文提供的基于姿態的控制的指教不僅僅用于上述系統和方法還可以應用于其他處 理系統和方法。上述各個實施例的元素和動作可以結合起來提供另外的實施例。根據以上具體描 述可以對基于姿態的控制做出這些變化或另外變化。通常，在所附權利要求中，所用的術語不應當被解釋為將基于姿態的控制限于在 說明書和權利要求中所披露的特定實施例，而應當解釋為包括根據權利要求運行的所有系 統。因此，基于姿態的控制不限于本公開內容，相反基于姿態的控制的范圍完全由權利要求 來確定。盡管以下以某些權利要求形式呈現基于姿態的控制的某些方面，但是發明人設想 到以任意數量的權利要求形式的基于姿態的控制的各個方面。因此，發明人保留在提交本 申請之后添加附加權利要求的權利從而針對基于姿態的控制的其他方面要求這種附加權 利要求。
權利要求
1.一種系統，包括交通工具中的多個傳感器，其中所述多個傳感器映射對象并且輸出表示所述對象所做 姿態的姿態數據，其中所述姿態數據是所述對象在空間中時間點的瞬時狀態，其中所述對 象包括用戶的手和手指中的至少一個；處理器，耦接到所述多個傳感器，所述處理器從所述姿態數據自動檢測所述對象的姿 態，所述檢測包括提取所述對象的位置，所述檢測包括恢復所述對象的量化姿勢和方位矢 量，所述檢測包括把所述姿態數據轉換成姿態信號；以及控制器，耦接到所述處理器并且耦接到交通工具的多個交通工具子系統，所述控制器 響應于所述姿態信號管理與所述多個交通工具子系統的用戶交互。
2.如權利要求1所述的系統，其中定位所述多個傳感器來查看所述交通工具的座艙。
3.如權利要求1所述的系統，其中所述多個傳感器包括多個相機。
4.如權利要求3所述的系統，其中所述多個相機包括立體視覺系統。
5.如權利要求1所述的系統，其中所述姿態數據包括表示所述對象的三維數據點云。
6.如權利要求5所述的系統，其中所述三維數據點云中的數據點的分辨深度精度大約 為1毫米(mm)。
7.如權利要求1所述的系統，其中所述對象的位置包括手的位置。
8.如權利要求1所述的系統，其中所述對象的位置包括一組手指的位置。
9.如權利要求1所述的系統，其中所述對象的量化姿勢包括至少一只手的量化姿勢。
10.如權利要求1所述的系統，其中所述對象的方位矢量包括至少一只手的連續方位矢量。
11.如權利要求1所述的系統，其中所述對象的方位矢量包括一組手指的連續方位矢量。
12.如權利要求1所述的系統，其中所述轉換包括把所述姿態的信息轉換成姿態符號。
13.如權利要求12所述的系統，其中所述姿態符號表示姿態符號集，并且所述姿態信 號包括所述姿態符號集的通信。
14.如權利要求13所述的系統，其中所述姿態符號集以文本形式表示所述對象的運動 聯接的瞬時姿勢狀態。
15.如權利要求13所述的系統，其中所述姿態符號集以文本形式表示所述對象的運動 聯接的方位。
16.如權利要求13所述的系統，其中所述姿態符號集以文本形式表示所述對象的運動 聯接的方位組合。
17.如權利要求13所述的系統，其中所述姿態符號集包括表示所述對象的運動聯接狀 態的字符串。
18.如權利要求1所述的系統，包括耦接到所述處理器的反饋裝置，所述反饋裝置為用 戶提供對應于所述姿態的指示。
19.如權利要求18所述的系統，其中所述指示包括對所述姿態的解釋。
20.如權利要求18所述的系統，其中所述指示包括響應于所述姿態在所述多個交通工 具子系統上實現的效果。
21.如權利要求18所述的系統，其中所述反饋裝置是視覺裝置。
22.如權利要求18所述的系統，其中所述反饋裝置是聽覺裝置。
23.如權利要求18所述的系統，其中所述反饋裝置是音頻-視覺裝置。
24.如權利要求18所述的系統，其中反饋裝置是交通工具平視顯示器。
25.如權利要求18所述的系統，其中所述反饋裝置是交通工具的基于像素的顯示器。
26.如權利要求18所述的系統，其中所述反饋裝置是至少一個變色發光指示器。
27.如權利要求18所述的系統，其中所述反饋裝置是觸覺顯示器。
28.如權利要求1所述的系統，其中所述控制器使用第一交互模式管理所述用戶交互， 所述第一交互模式包括響應于所述姿態來控制與所述多個交通工具子系統的交互，其中所 述姿態包括用戶的手指運動。
29.如權利要求觀所述的系統，其中所述姿態包括手部兩個手指的握緊-再次伸展運 動，其中所述控制器響應于所述姿態而循環經過交通工具子系統的多個控制組件，其中每 個控制組件都允許用戶控制交通工具子系統的參數。
30.如權利要求四所述的系統，其中所述姿態包括用戶手部的手指的握緊-再次伸展 運動，其中所述控制器響應于所述姿態而遞增地改變所述參數的設置。
31.如權利要求四所述的系統，其中所述姿態包括按住第一手指和伸展第二手指，其 中所述控制器響應于所述姿態以恒定速率改變所述參數的設置。
32.如權利要求觀所述的系統，其中所述姿態包括用戶第一只手的至少一個手指的伸 展，其中所述處理器響應于所述姿態激活所述控制器。
33.如權利要求32所述的系統，其中所述用戶的手部在所述姿態期間保持與交通工具 的導向機構接觸。
34.如權利要求32所述的系統，其中所述至少一個手指是所述用戶的食指、中指和拇 指中的至少一個。
35.如權利要求32所述的系統，其中所述姿態包括所述第一只手的兩個手指的握 緊-再次伸展運動，其中所述控制器響應于所述姿態而循環經過交通工具子系統的多個控 制模式，其中所述多個控制模式的每個控制模式都對應于交通工具子系統。
36.如權利要求35所述的系統，其中所述姿態包括第二只手的兩個手指的握緊-再次 伸展運動，其中所述控制器響應于所述姿態而循環經過每個控制模式的多個控制選項，其 中所述多個控制選項的每個控制選項都對應于交通工具子系統。
37.如權利要求36所述的系統，其中所述姿態包括所述用戶手部的手指的握緊-再次 伸展運動，其中所述控制器響應于所述姿態對控件的設置進行控制。
38.如權利要求37所述的系統，其中所述姿態包括所述用戶手部的第一手指的握 緊-再次伸展運動，其中所述控制器響應于所述姿態通過沿第一方向對所述設置進行步進 來遞增地改變所述設置。
39.如權利要求38所述的系統，其中所述姿態包括所述用戶手部的第二手指的握 緊-再次伸展運動，其中所述控制器響應于所述姿態通過沿第二方向對所述設置進行步進 來遞增地改變所述設置。
40.如權利要求39所述的系統，其中所述姿態包括按住所述第一手指和伸展所述第二 手指，其中所述控制器響應于所述姿態以恒定速率改變所述設置。
41.如權利要求28所述的系統，包括耦接到所述處理器的圖形顯示器，所述圖形顯示器為用戶提供對應于所述姿態的指示，其中所述姿態控制顯示組件在所述圖形顯示器上的位置。
42.如權利要求41所述的系統，其中所述手指運動經由所述顯示組件實現所述交通工 具子系統的控制組件的非線性選擇，其中每個控制組件都允許用戶控制交通工具子系統的參數。
43.如權利要求42所述的系統，其中所述姿態包括所述用戶的第一只手的至少一個 手指的伸展，其中所述處理器響應于所述姿態激活所述控制器并且使得所述顯示組件被顯示。
44.如權利要求43所述的系統，其中所述姿態包括指尖的相對運動，其中所述處理器 響應于所述指尖的相對運動控制所述顯示組件在所述圖形顯示器上的運動。
45.如權利要求44所述的系統，其中通過所述顯示組件的鄰近而選擇所述顯示器的界 面圖形，其中所述顯示組件是指示裝置。
46.如權利要求45所述的系統，其中所述界面圖形對應于所述交通工具子系統的控制 組件，其中每個控制組件的界面圖形都允許用戶控制交通工具子系統的參數。
47.如權利要求46所述的系統，其中所述姿態包括所述用戶手部的手指的握緊-再次 伸展運動，其中所述控制器響應于所述姿態經由所述界面圖形改變所述參數的設置。
48.如權利要求46所述的系統，其中所述姿態包括按住第一手指和伸展第二手指，其 中所述控制器響應于所述姿態經由所述界面圖形改變所述參數的設置。
49.如權利要求41所述的系統，其中所述顯示組件包括撥動開關圖標，其中所述姿態 包括所述用戶手部的手指的握緊-再次伸展運動，其中所述姿態控制所述撥動開關的設 置。
50.如權利要求41所述的系統，其中所述顯示組件包括滑塊圖標，其中所述姿態包括 按住第一手指和伸展第二手指，其中所述控制器響應于所述姿態以恒定速率改變所述滑塊 的設置。
51.如權利要求41所述的系統，其中所述顯示組件包括滑塊圖標，其中所述姿態包括 所述用戶手部的手指的握緊-再次伸展運動，其中所述控制器響應于所述姿態遞增地改變 所述滑塊的設置。
52.如權利要求1所述的系統，其中所述控制器使用第二交互模式管理所述用戶交互， 所述第二交互模式包括響應于所述姿態來控制與所述多個交通工具子系統的交互，其中所 述姿態包括所述用戶的手部運動和手指運動。
53.如權利要求52所述的系統，其中所述控制器響應于所述姿態而循環經過所述交通 工具子系統的多個控制組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。
54.如權利要求52所述的系統，其中所述姿態包括手部的沿第一方向伸展的第一手指。
55.如權利要求M所述的系統，其中所述姿態包括所述手部的沿第二方向伸展的第二 手指。
56.如權利要求55所述的系統，其中所述姿態包括所述手部、所述第一手指和所述第 二手指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指 布置在與重力對齊的平面中。
57.如權利要求55所述的系統，其中所述姿態包括所述手部、所述第一手指和所述第 二手指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指 布置在垂直于重力的平面中。
58.如權利要求55所述的系統，其中所述姿態包括所述手部的沿所述第一方向伸展并 且與所述第一手指近似對齊的第三手指。
59.如權利要求55所述的系統，其中所述第二手指在伸展時與所述第一手指近似垂直。
60.如權利要求55所述的系統，其中所述第二手指在伸展時與所述第一手指近似平行。
61.如權利要求55所述的系統，其中所述姿態包括旋轉到所述第一手指近似中間指向 的位置的手部。
62.如權利要求52所述的系統，包括耦接到所述處理器的圖形顯示器，所述圖形顯示 器經由所述姿態為所述用戶提供控制，其中所述控制器響應于所述姿態而循環經過所述交 通工具子系統的多個控制組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。
63.如權利要求62所述的系統，其中所述姿態控制顯示組件在所述圖形顯示器上的位置。
64.如權利要求63所述的系統，其中所述姿態包括手部的沿第一方向伸展的第一手指。
65.如權利要求64所述的系統，其中所述顯示組件包括指示裝置，其中所述指示裝置 的位置由所述第一手指的運動和目標中的至少一個控制。
66.如權利要求65所述的系統，其中在使用所述第一手指的目標在控制組件內布置所 述指示裝置并且所述手部的第二手指從第一位置移動到第二位置時，所述姿態對控制組件 的選擇進行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近似 平行于所述第一手指延伸。
67.如權利要求66所述的系統，其中所述姿態包括使所述第一手指瞄準遠離所述圖形 顯示器的位置，其中所述控制器呈現菜單列表。
68.如權利要求67所述的系統，其中所述姿態包括使所述第一手指瞄準菜單項并且把 所述第二手指移向所述第一位置，其中所述控制器選擇所述菜單項作為有效控制組件。
69.如權利要求62所述的系統，其中所述姿態包括所述手部和所述手部的至少一個手 指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置 在與重力對齊的平面中，其中所述控制器呈現第一組控制組件。
70.如權利要求69所述的系統，其中所述姿態包括所述手部和所述手部的至少一個手 指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指布置 在垂直于重力的平面中，其中所述控制器呈現不同于所述第一組控制組件的第二組控制組 件。
71.如權利要求1所述的系統，其中所述交通工具子系統包括氣候控制裝置，多功能顯 示裝置、音頻裝置、無線電廣播裝置、數字音頻裝置、電話、導航裝置、巡航控制裝置、自動駕 駛裝置、自動導向裝置和聯網裝置中的至少一個。
72.如權利要求1所述的系統，其中所述多個傳感器包括多個飛行時間深度感測相機。
73.如權利要求1所述的系統，其中所述多個傳感器包括多個結構光三維傳感器。
74.一種系統，包括多個傳感器，其中所述多個傳感器映射對象并且輸出表示姿態的姿態數據，其中所述 姿態數據是所述對象在空間中時間點的瞬時狀態，其中所述對象包括手和手指中的至少一 個；以及處理器，耦接到所述多個傳感器，所述處理器從所述姿態數據自動檢測所述對象的姿 態，所述檢測包括提取所述對象的位置，所述檢測包括恢復所述對象的量化姿勢和方位矢 量，所述檢測包括把所述姿態數據轉換成姿態信號并且使用所述姿態信號控制耦接到所述 處理器的交通工具子系統。
75.一種系統，包括安裝在交通工具中的多個傳感器，其中所述多個傳感器映射對象并且輸出表示所述對 象所做姿態的姿態數據，其中所述姿態數據是所述對象在空間中時間點的瞬時狀態；處理器，耦接到所述多個傳感器，所述處理器從所述姿態數據自動檢測所述對象的姿 態并且把所述姿態數據轉換成姿態信號；控制器，耦接到所述處理器并且耦接到所述交通工具的交通工具子系統，所述控制器 響應于所述姿態信號控制所述交通工具子系統；以及反饋裝置，耦接到所述處理器，所述反饋裝置提供對應于所述姿態的視覺和音頻反饋 中的至少一個。
76.一種方法，包括經由交通工具中的多個傳感器接收對象的圖像并且輸出表示所述對象所做姿態的姿 態數據，其中所述姿態數據是所述對象在空間中時間點的瞬時狀態，其中所述對象包括用 戶的手和手指中的至少一個；通過提取所述對象的位置，恢復所述對象的量化姿勢和方位矢量以及把所述姿態數據 轉換成姿態信號來從所述姿態數據自動檢測所述對象的姿態；以及 響應于所述姿態信號管理與所述多個交通工具子系統的用戶交互。
77.如權利要求76所述的方法，包括定位所述多個傳感器來查看所述交通工具的座 艙，其中所述多個傳感器包括多個相機。
78.如權利要求76所述的方法，其中所述姿態數據包括表示所述對象的三維數據點云。
79.如權利要求76所述的方法，其中所述對象的位置包括手的位置。
80.如權利要求76所述的方法，其中所述對象的位置包括一組手指的位置。
81.如權利要求76所述的方法，其中所述對象的量化姿勢包括至少一只手的量化姿勢。
82.如權利要求76所述的方法，其中所述對象的方位矢量包括至少一只手的連續方位矢量。
83.如權利要求76所述的方法，其中所述對象的方位矢量包括一組手指的連續方位矢量。
84.如權利要求76所述的方法，其中所述轉換包括把所述姿態的信息轉換成姿態符號，其中所述姿態符號表示姿態符號集，并且所述姿態信號包括所述姿態符號集的通信。
85.如權利要求84所述的方法，其中所述姿態符號集以文本形式表示所述對象的運動 聯接的瞬時姿勢狀態。
86.如權利要求84所述的方法，其中所述姿態符號集以文本形式表示所述對象的運動 聯接的方位。
87.如權利要求84所述的方法，其中所述姿態符號集包括表示所述對象的運動聯接狀 態的字符串。
88.如權利要求76所述的方法，包括為用戶提供對應于所述姿態的指示，其中所述指 示包括對所述姿態的解釋以及響應于所述姿態在所述多個交通工具子系統上實現的效果 中的至少一個。
89.如權利要求76所述的方法，其中用戶交互的管理包括使用第一交互模式，所述第 一交互模式包括響應于所述姿態控制與所述多個交通工具子系統的交互，其中所述姿態包 括用戶的手指運動。
90.如權利要求89所述的方法，其中所述姿態包括手部的兩個手指的握緊-再次伸 展運動，其中管理用戶交互包括響應于所述姿態而循環經過交通工具子系統的多個控制組 件，其中每個控制組件都允許用戶控制交通工具子系統的參數。
91.如權利要求90所述的方法，其中所述姿態包括用戶手部的手指的握緊-再次伸展 運動，其中管理用戶交互包括響應于所述姿態遞增地改變所述參數的設置。
92.如權利要求90所述的方法，其中所述姿態包括按住第一手指和伸展第二手指，其 中管理用戶交互包括響應于所述姿態以恒定速率改變所述參數的設置。
93.如權利要求89所述的方法，其中所述用戶的手部在所述姿態期間保持與交通工具 的導向機構接觸。
94.如權利要求89所述的方法，包括為用戶提供對應于所述姿態的指示，其中所述姿 態控制顯示組件在所述圖形顯示器上的位置。
95.如權利要求94所述的方法，其中所述手指運動經由所述顯示組件實現所述交通工 具子系統的控制組件的非線性選擇，其中每個控制組件都允許用戶控制交通工具子系統的參數。
96.如權利要求95所述的方法，其中所述姿態包括指尖的相對運動，其中管理用戶交 互包括響應于所述指尖的相對運動控制所述顯示組件在所述圖形顯示器上的運動。
97.如權利要求96所述的方法，包括通過所述顯示組件的鄰近而選擇所述顯示器的界 面圖形，其中所述顯示組件是指示裝置。
98.如權利要求97所述的方法，其中所述界面圖形對應于所述交通工具子系統的控制 組件，其中每個控制組件的界面圖形都允許用戶控制交通工具子系統的參數。
99.如權利要求76所述的方法，其中所述用戶交互的管理包括使用第二交互模式，所 述第二交互模式包括響應于所述姿態控制與所述多個交通工具子系統的交互，其中所述姿 態包括所述用戶的手部運動和手指運動。
100.如權利要求99所述的方法，包括響應于所述姿態而循環經過所述交通工具子系 統的多個控制組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。
101.如權利要求99所述的方法，其中所述姿態包括手部的沿第一方向伸展的第一手指。
102.如權利要求101所述的方法，其中所述姿態包括所述手部的沿第二方向伸展的第一手指。
103.如權利要求102所述的方法，其中所述姿態包括所述手部、所述第一手指和所述 第二手指的組合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手 指布置在與重力對齊的平面中。
104.如權利要求102所述的方法，其中所述姿態包括所述手部、所述第一手指和所述 第二手指的組合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手 指布置在垂直于重力的平面中。
105.如權利要求102所述的方法，其中所述姿態包括所述手部的沿所述第一方向伸展 并且與所述第一手指近似對齊的第三手指。
106.如權利要求102所述的方法，其中所述第二手指在伸展時與所述第一手指近似垂直。
107.如權利要求102所述的方法，其中所述第二手指在伸展時與所述第一手指近似平行。
108.如權利要求102所述的方法，其中所述姿態包括旋轉到所述第一手指近似中間指 向的位置的手部。
109.如權利要求99所述的方法，包括提供顯示輸出，所述顯示輸出經由所述姿態為用 戶提供控制，其中管理用戶交互包括響應于所述姿態而循環經過所述交通工具子系統的多 個控制組件，其中每個控制組件都允許用戶控制交通工具子系統的參數。
110.如權利要求109所述的方法，其中所述姿態控制顯示組件在所述顯示輸出上的位置。
111.如權利要求110所述的方法，其中所述姿態包括手部的沿第一方向伸展的第一手指。
112.如權利要求111所述的方法，其中所述顯示組件包括指示裝置，其中所述指示裝 置的位置由所述第一手指的運動和目標中的至少一個控制。
113.如權利要求112所述的方法，其中在使用所述第一手指的目標在控制組件內布置 所述指示裝置并且所述手部的第二手指從第一位置移動到第二位置時，所述姿態對控制組 件的選擇進行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近 似平行于所述第一手指延伸。
114.如權利要求113所述的方法，其中所述姿態包括使所述第一手指瞄準遠離所述圖 形顯示器的位置，其中所述控制器呈現菜單列表。
115.如權利要求114所述的方法，其中所述姿態包括使所述第一手指瞄準菜單項并且 把所述第二手指移向所述第一位置，其中所述控制器選擇所述菜單項作為有效控制組件。
全文摘要
描述了用于使用姿態來控制交通工具子系統的系統和方法。控制包括經由交通工具中的傳感器接收對象的圖像并且輸出表示對象所做姿態的姿態數據。對象包括用戶的至少一只手和/或手指。姿態數據是對象在空間中時間點的瞬時狀態。控制包括通過提取對象的位置，恢復對象的量化姿勢和方位矢量并且把姿態數據轉換成姿態信號來自動地從姿態數據檢測對象的姿態。控制包括響應于姿態信號管理與交通工具子系統的用戶交互。
文檔編號G06F3/033GK102112945SQ200980130788
公開日2011年6月29日 申請日期2009年6月18日 優先權日2008年6月18日
發明者克溫德拉·赫爾特曼·克拉默, 約翰·S·昂德科夫勒 申請人:奧布隆工業有限公司