用于基于情景的自然用戶接口輸入的技術的制作方法
【技術領域】
[0001]本文中所述示例一般涉及解釋到裝置的自然用戶接口輸入。
【背景技術】
[0002]例如膝上型計算機、平板計算機或智能電話等計算裝置可利用傳感器檢測自然用戶接口(UI)輸入。傳感器可嵌入和/或耦合到計算裝置。在一些示例中，基于這些類型的嵌入和/或耦合傳感器收集或獲得的信息，可檢測到給定自然UI輸入事件。例如，檢測到的給定自然UI輸入可以是可指示用戶意圖影響在計算裝置上執行的應用程序的輸入命令(例如，用戶姿勢)。輸入可包括用戶物理觸摸傳感器(例如，觸覺傳感器)，在另一傳感器(例如，圖像傳感器)附近在空中做出姿勢，由仍有的另一傳感器(例如，運動傳感器)檢測到的用戶對計算裝置的至少一部分的有目的的移動或由還有的其它傳感器(例如，麥克風)檢測到的音頻命令。
【附圖說明】
[0003]圖1示出第一裝置的前視圖和后視圖的示例。
[0004]圖2A-B示出用于解釋自然用戶接口輸入事件的示例第一情景。
[0005]圖3A-B示出用于基于情景的自然UI輸入的示例第二情景。
[0006]圖4示出用于解釋自然用戶接口輸入的示例體系結構。
[0007]圖5示出示例映射表格。
[0008]圖6示出用于設備的示例框圖。
[0009]圖7示出邏輯流程的示例。
[0010]圖8示出存儲介質的示例。
[0011]圖9示出第二裝置的示例。
【具體實施方式】
[0012]示例一般涉及用于解釋檢測到的輸入命令以可能影響在計算裝置(下文稱為裝置)上執行的應用程序的改進。如在本公開內容中設想的一樣，輸入命令可包括觸摸姿勢、空中姿勢、裝置姿勢、音頻命令、圖案識別或對象識別。在一些示例中，輸入命令可被解釋為影響在裝置上執行的應用程序的自然UI輸入事件。例如，應用程序可包括消息傳遞應用程序，并且解釋的自然UI輸入事件可促使預確定的文本或媒體內容添加到由消息傳遞應用程序創建的消息。
[0013]在一些示例中，可將預確定的文本或媒體內容添加到消息傳遞應用程序創建的消息而不考慮用戶的情景。添加文本或媒體內容到消息而不考慮用戶的情景可成為問題，例如，在消息的接收人在正式等級方面有所不同。每個正式等級可表示不同情景。例如，響應解釋的自然UI輸入事件，預確定的媒體內容可以是啤酒杯圖標以指示“休息一會？ ”。啤酒杯圖標的預確定的媒體內容可對諸如朋友/同事接收人情景等定義的關系情景是適當的，但可對諸如工作主管收件人情景等另一類型的定義的關系情景是不適當的。
[0014]在一些其它示例中，用戶的情景可基于用戶可在執行的實際物理活動。對于這些示例，用戶可以是跑步或慢跑，并且解釋的自然UI輸入事件可影響在裝置上執行的音樂播放器應用程序。例如，諸如裝置姿勢等包括搖晃裝置的命令輸入可促使音樂播放器應用程序隨機播放音樂選擇。在作為用戶的移動的跑步或慢跑可造成音樂選擇不利地隨機播放，并且因此降低影響不間斷音樂的用戶體驗時，這可成為問題。
[0015]在一些示例中，實現了用于基于情景到在裝置上執行的應用程序的自然UI輸入的技術。這些技術可包括在裝置檢測第一輸入命令。可將第一命令輸入解釋為第一自然UI輸入事件。隨后，可基于與輸入命令有關的情景信息，將第一自然UI輸入事件與情景相關聯。對于這些示例，可做出基于情景，是否處理第一自然UI輸入事件的確定。對于一些示例，可基于情景處理第一自然UI輸入事件。第一自然UI輸入的處理可包括確定情景是否造成從第一媒體檢索模式到第二媒體檢索模式的交換。隨后，可基于第一或所述第二媒體檢索模式，為應用程序檢索媒體內容。
[0016]圖1示出第一裝置100的前視圖和后視圖的示例。在一些示例中，裝置100具有如圖1所示的正面105和背面125。對于這些示例，正面105可對應于包括觸摸屏/顯示屏110的裝置100的一面，觸摸屏/顯示器110向裝置100的用戶提供執行應用程序112的視圖。同時，從顯示視圖面而言，背面125可以是裝置100的相對面/背面。雖然在一些示例中顯示屏也可在背面125上存在，但為便于解釋，圖1不包括背面顯示屏。
[0017]根據一些示例，正面105包括在從正面105查看裝置100時可對用戶至少部分可見的元素/特征(例如，通過外殼101的表面或在外殼的表面上可見)。此外，在從正面105查看裝置100時，一些元素/特征可對用戶不可見。對于這些示例，實線框可表示可至少部分可見的那些特征，并且虛線框可表示可對用戶不可見的那些元素/特征。例如，收發器/通信接口 102可對用戶不可見，然而，至少一部分發攝像裝置104、音頻揚聲器106、輸入按鈕108、麥克風108或觸摸屏/顯示屏110可對用戶可見。
[0018]在一些示例中，背面125包括在從背面125查看裝置100時可對用戶至少部分可見的元素/特征。此外，在從背面125查看裝置100時，一些元素/特征可對用戶不可見。對于這些示例，實線框可表示可至少部分可見的那些特征，并且虛線框可表示可能不可見的那些元素/特征。例如，全球定位系統(GPS) 128、加速計130、陀螺儀132、存儲器140或處理器組件150可對用戶不可見，然而至少一部分環境傳感器122、攝像裝置124和生物統計傳感器/接口 126可對用戶可見。
[0019]根據一些示例，如圖1所示，通信鏈路101可經收發器/通信接口 102以無線方式耦合裝置100。對于這些示例，收發器/通信接口 102可配置成和/或能夠根據一個或更多個無線通信標準操作以經通信鏈路103與網絡(未示出)建立網絡連接。網絡連接可允許裝置100接收/傳送數據和/或允許通過網絡的話音通信。
[0020]在一些示例中，裝置100的各種元素/特征可能能夠提供與檢測到的輸入命令(例如，用戶姿勢或音頻命令)相關聯的傳感器信息到邏輯、特征或模塊以供處理器組件150執行。例如，觸摸屏/顯示屏110可檢測到觸摸姿勢。攝像裝置104或124可檢測到空間/空中姿勢或圖案/對象識別。加速計130和/或陀螺儀132可檢測到裝置姿勢。麥克風109可檢測到音頻命令。如下更詳細所述，提供的傳感器信息可向要由處理器組件150執行的模塊指示，檢測到的輸入命令可能將影響執行應用程序112，并且可將檢測到的輸入命令解釋為自然UI輸入事件。
[0021]在一些其它示例中，一系列檢測到的輸入命令或檢測到的輸入命令的組合可向供處理器組件150執行的模塊指示，用戶有意影響執行應用程序112，并且隨后將輸入命令的檢測到的系列解釋為自然UI輸入事件。例如，第一檢測到的輸入命令可以是激活麥克風109，并且第二檢測到的輸入命令可以是由麥克風109檢測到的用戶生成的口頭或音頻命令。對于此示例，隨后可基于由麥克風109檢測到的用戶生成的口頭或音頻命令，解釋自然UI輸入事件。在其它示例中，第一檢測到的輸入命令可以是激活攝像裝置104或124中的某個攝像裝置。對于這些其它示例，隨后，可基于攝像裝置檢測到的對象或圖案識別(例如，經面部識別等)，解釋自然UI輸入事件。
[0022]在一些示例中，裝置100的各種元素/特征可能能夠提供與檢測到的輸入命令有關的傳感器信息。與輸入命令有關的情景信息可包括由/通過一個或更多個環境傳感器/接口 122或生物統計傳感器/接口 126收集的傳感器信息。與輸入命令有關的情景信息也可包括但不限于由一個或更多個攝像裝置104/124、麥克風109、GPS 128、加速計130或陀螺儀132收集的傳感器信息。
[0023]根據一些示例，與輸入命令有關情景信息可包括日時間、從GPS 128收到的GPS信息、從陀螺儀132收到的裝置定向信息、從加速計130收到的裝置移動速率信息、從攝像裝置104/124收到的圖像或對象識別信息中的一項或更多項。在一些示例中，時間、GPS、裝置定向、裝置移動速率或圖像/對象識別信息可由供處理器組件150執行的模塊收到，并且隨后情景可與從檢測到的輸入事件解釋的自然UI輸入事件相關聯。換而言之，上面提及的時間、位置、定向、移動或圖像識別信息可由模塊用于確定輸入命令發生的情景，并且隨后將該情景與自然UI輸入事件相關聯。
[0024]在一些示例中，與輸入命令有關的情景信息也可包括可指示用戶活動的類型的用戶輸入的信息。例如，用戶可使用輸入按鈕108或者經觸摸/空中/裝置姿勢或音頻命令使用自然UI輸入，手動輸入用戶活動的類型以指示用戶活動的類型。用戶活動的類型可包括但不限于鍛煉活動、工作場所活動、家庭活動或公共活動。在一些示例中，用戶活動的類型可由供處理器組件150執行的模塊用于將情景與從檢測到的輸入事件解釋的自然UI輸入事件相關聯。換而言之，用戶活動的類型可由模塊用于確定輸入命令發生的情景，并且隨后將該情景與自然UI輸入事件相關聯。
[0025]根據一些示例，由/通過環境傳感器/接口 122收集的傳感器信息可包括在檢測到的輸入期間在裝置100或其附近的周圍環境傳感器信息。周圍環境信息可包括但不限于噪聲級別、空氣溫度、光強度或大氣壓。在一些示例中，周圍環境傳感器信息可由供處理器組件150執行的模塊收到，并且隨后情景可與從檢測到的輸入事件解釋的自然UI輸入事件相關聯。換而言之，周圍環境信息可由模塊用于確定輸入命令發生的情景，并且隨后將該情景與自然UI輸入事件相關聯。
[0026]在一些示例中，基于周圍環境信息確定的情景可指示用戶活動的類型。例如，指示高海拔、冷溫度、高光強度或位置的頻繁更改的周圍環境信息可指示用戶參與室外活動，室外活動可包括騎自行車、登山、徒步、滑雪或跑步。在其它示例中，指示適中溫度、適中光強度、位置的更不頻繁更改和適中周圍噪聲級別的周圍環境信息可指示用戶參與工作場所或家庭活動。在仍有的其它示例中，指示適中溫度、適中或低光強度、位置的一些更改和高周圍噪聲級別的周圍環境信息可指示用戶參與公共活動，并且是在諸如購物中心等公共位置或靠著公共人行道或街道。
[0027]根據一些示例，由/通過生物統計傳感器/接口 126收集的傳感器信息可包括在輸入命令期間與裝置100的用戶相關聯的生物統計信息。生物統計信息可包括但不限于用戶的心率、呼吸率或體溫。在一些示例中，生物統計傳感器信息可由供處理器組件150執行的模塊收到，并且隨后情景可與從檢測到的輸入事件解釋的自然UI輸入事件相關聯。換而言之，用于用戶的生物統計環境信息可由模塊用于確定經其發生輸入命令的情景，并且隨后將該情景與自然UI輸入事件相關聯。
[0028]在一些示例中，基于用戶生物統計信息確定的情景可指示用戶活動的類型。例如，高心率、呼吸率和體溫可指示某種消耗體力的用戶活動(例如，跑步、騎自行車、徒步、滑雪等)。此外，較低或穩定的心率/呼吸率和正常的體溫可指示非體力型用戶活動(例如，在家中或者在工作中)。用戶生物統計信息可與周圍環境信息一起用于允許模塊確定經其發生輸入命令的情景。例如，指示高海拔與指示高心率的生物統計信息組合的環境信息可指示徒步或登山。備選，指示低高海拔與指示高心率的生物統計信息組合的環境信息可指示騎自行車或跑步。
[0029]根據一些示例，用于執行應用程序112的應用程序的類型也可提供與檢測到的輸入命令有關的信息。對于這些示例，至少部分基于應用程序的類型，可將情景與從檢測到的輸入命令解釋的自然UI輸入事件相關聯。例如，應用程序的類型可包括但不限于文本消息傳遞應用程序、視頻聊天應用程序、電子郵件應用程序、視頻播放器應用程序、游戲應用程序、工作生產率應用程序、圖像捕捉應用程序、web瀏覽器應用程序、社交媒體應用程序或音樂播放器應用程序之一。
[0030]在一些示例中，用于執行應用程序112的應用程序