測各種相關數據,諸如但不限于:手掌和手指的定位和位置,由手掌和手指做出的手勢,以及用戶的手距駕駛艙儀表板的定位和位置。一個或多個3D傳感器向手勢控制器102提供相關數據,如下文更詳細描述的。用戶接口 112還可以包括以下各項中一個或多個的任何組合:小鍵盤、觸摸板、鍵盤、鼠標、觸摸屏、操縱桿、旋鈕、麥克風、話音識別或者被適配成從用戶接收輸入的另一個合適設備。
[0027]手勢控制器102處理命令、系統信息、音頻數據和用戶輸入,并且生成適合于控制一個或多個音頻設備108的音頻命令。當音頻命令被應用于音頻設備時,音頻設備通過相應地生成音頻信息或使音頻信息靜聲來進行響應。
[0028]圖2圖示了體積計算解決方案的等距視圖。用戶接口 112中所包括的所述至少一個三維(3D)傳感器在要在手勢控制器102的手勢控制中使用的交互體積的生成中被采用。交互體積的示例性實施例已經投影到顯示器206前方的空間中,然而,能夠領會的是,交互體積不要求相關聯的顯示器。在示例性實施例中,顯示設備118再現如上所述地控制飛行器的功能的區域200。因而,體積202表示對應于區域200的3D手勢交互體積。在所示的實施例中,體積202是對應于顯示120的整個體積204的子集。任何生成的交互體積(諸如體積202)可以用于獲得針對多于一個音頻源的輸入/控制,并且交互體積可以獨立于顯示器而生成。所提出的體積計算引擎根據一個或多個用戶的位置以及一個或多個交互體積(諸如202)的邊界來劃分所感測的用戶交互。在一些實施例中,可以針對右手和針對左手生成交互體積。所提出的體積計算引擎在2013年2月26日提交的、題為“SYSTEM ANDMETHOD FOR INTERACTING WITH A TOUCH SCREEN INTERFACE UTILIZING A HOVER GESTURECONTROLLER ”并且被讓與本受讓人的美國專利申請13/777,737中被描述,其教導通過引用被并入于此。
[0029]為了簡化的緣故,傳感器體積和有效3D手勢交互體積被立方體地繪制,仿佛它們的邊界是清晰的。實際上,和傳感器體積和有效3D交互體積具有被較少限定并且可能逐漸變細而不是被清晰地劃界的邊緣。
[0030]圖3圖示了與諸如圖2的體積計算系統之類的感測體積進行交互的用戶。在圖3中,用戶302在對應于區域306的3D交互體積304內有效地交互。在顯示308外部發生的用戶手勢不生成對應的區域306或對應的有效3D交互體積304,并且因此不被檢測和轉換成系統命令。手勢控制器102可以生成針對每個用戶的專用有效3D手勢交互體積,例如用于機長的專用手勢交互體積和用于副駕駛員的專用手勢交互體積,或者可以生成一個或多個共享的交互體積。在一些實施例中,用戶可以具有針對每只手的交互體積,并且例如,右手可以用于控制方向區域(諸如,向前或后)或右音頻通道,并且左手可以用于控制不同的方向區域(諸如,向前或后)或左音頻通道。在另一示例中,手可以捧握在耳旁以用手勢表示音頻方面的增加。手勢控制器102的示例性實施例使得用戶能夠通過利用與顯示器相關聯的有效交互體積來與駕駛艙系統交互,然而,可以在沒有相關聯的顯示器的情況下生成交互體積。下文更詳細地描述手勢識別。
[0031]在手勢識別期間,實時追蹤飛行員的手掌和手指。以下是縮略的討論,并且詳細討論可以在2014年I月30日提交的、題為“A SYSTEM AND METHOD FOR PROVIDING ANERGONOMIC THREE-DIMENS1NAL, GESTURE BASED, MULTIMODAL INTERFACE FOR USE INFLIGHT DECK APPLICAT1NS”并且被讓與本受讓人的美國專利申請14/168426中找到,其教導通過引用被并入在此。在執行手勢時,手掌和手指的靜態和動態特征的各方面與三維(3D)手勢交互模型中的規則相比較,并且在適當的情況下被識別為整體或部分的有意的手勢輸入。將整體和部分的有意的手勢與手勢交互模型相比較,其以此方式解析有意的手勢輸入并且將其組合到完整手勢的分量中。以下更詳細地描述完整手勢的分量。在生成相關聯的系統命令之前,將完整的手勢與系統命令描述符相比較。
[0032]在對應于飛行員使用3D手勢交互的意圖的保形提示的匹配時發起手勢識別。如果飛行員手勢輸入在之前計算的有效交互體積(諸如3D交互體積304)內,則生成被稱作有效手勢輸入和相關聯的手勢ID和有效性質量數據的變量。有效性質量數據是用于指示手勢識別成功的變量;即,系統設計者可以調整有效性質量,例如以指示如何相對于所計算的有效交互體積而執行手勢。音頻控制手勢規則的庫可以包括用于確定手勢的意圖性的靜態和動態時間要求。時間要求有時被視為“保持”時間或“停留”時間,并且相關聯的信息被用于手勢ID和有效性質量的評估中。以此方式,手勢控制器102標識并驗證用戶的交互意圖,并且支持經由顯示設備118的任何相關聯的用戶反饋,以及生成驅動一個或多個音頻設備108的系統命令。
[0033]根據實施例,音頻控制手勢是被用于生成音頻命令以使音頻數據靜聲、減弱或重新開始的手勢,被謹慎選擇成是直觀的,并且由規則集合組成。例如,在手勢中舉起食指通常用于指示“等待”,或者在手勢中舉起張開的手通常用于指示“停止”。在對話和社交場合的過程中,在個體之間通常使用這些相同的手勢。同樣地,諸如舉起捧握成杯狀的手到耳邊以試圖傾聽,或者通常用于鼓勵另一人向前過來的運動中手掌向上并且手指朝向做手勢的人移動而伸出手之類的手勢可以用于重新開始音頻數據。
[0034]示例性實施例使得用戶能夠根據下文更詳細描述的優先級方案而將給定音頻控制手勢與一個或多個特定音頻設備(目標音頻設備)相關聯。這樣的音頻控制手勢可以以單個設備或多個設備為目標(例如,根據方向優先級或區域優先級,根據左手或右手等等)。在實施例中,用戶可以可選地采用“定時的靜聲”,這通過為音頻靜聲命令持續而設置預定量的時間。在這樣的實施例中,當預定量的時間已經到期時,音頻靜聲命令結束,并且目標音頻設備重新開始生成音頻信息。利用定時的靜聲選項使用戶從執行附加的重新開始手勢以促使音頻設備重新開始生成音頻信息中解脫。
[0035]以上介紹并且存儲在存儲器模塊104中的3D手勢交互模型包括音頻控制手勢規則的庫。3D手勢交互模型包含單獨的手勢分量(手勢分量可以包括以下中的任一個:進入點、手勢開始、手勢主體和手勢結束);每個手勢分量可以具有明確的先決條件、視覺和聽覺反饋以及下一個預期的手勢分量。手勢交互模型提供針對手勢交互所支持的每個系統命令的3D手勢交互規則。控制音頻數據的系統命令(即音頻命令)被包括在手勢交互規則內。
[0036]在示例性實施例中,在3D手勢交互體積內提供的“發起手勢”開始手勢交互。手勢控制器102以識別對應于飛行員使用3D手勢交互的意圖的保形提示而繼續進行。在發起了手勢之后,用戶執行如上文所述的音頻控制手勢。在“執行音頻控制”狀態期間,用戶做手勢并且系統處理對應的任務,從而相應地驅動一個或多個音頻設備108。當用戶在執行手勢輸入的同時,可以提供保形視覺反饋。在示例性實施例中,當用戶期望停止手勢交互時