利用用戶接口的事件的設(shè)備和方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種利用用戶接口的事件的設(shè)備和方法。提供一種用于用戶接口的設(shè)備和用戶接口的方法。所述設(shè)備可包括：分類(lèi)器，被配置為將事件歸類(lèi)為與至少兩類(lèi)中的一類(lèi)對(duì)應(yīng)；更新器，被配置為更新關(guān)于與事件對(duì)應(yīng)的類(lèi)的類(lèi)信息；處理器，被配置為基于更新后的類(lèi)信息確定與事件對(duì)應(yīng)的用戶輸入。
【專(zhuān)利說(shuō)明】利用用戶接口的事件的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 下面的描述涉及一種提供用戶接口的設(shè)備和實(shí)現(xiàn)用戶接口的方法，以及一種處理 用戶輸入事件的設(shè)備和方法。
【背景技術(shù)】
[0002] 人機(jī)交互（HCI)涉及改善用戶和計(jì)算機(jī)之間的交互的研究。各種可用的用戶接口 使用鼠標(biāo)、鍵盤(pán)、觸摸屏等來(lái)將來(lái)自用戶的輸入傳送到計(jì)算機(jī)。可通過(guò)硬件組件、軟件組件 或兩者的組合來(lái)實(shí)現(xiàn)這樣的用戶接口。
[0003]例如，移動(dòng)終端（諸如，智能電話）的觸摸屏上的圖形用戶接口可包括諸如用于檢 測(cè)用戶的輸入的觸摸屏的硬件組件，以及將按鈕或圖標(biāo)的適當(dāng)顯示提供給用戶來(lái)在觸摸屏 上做出選擇的軟件組件。
[0004] 隨著電子裝置中的相機(jī)、麥克風(fēng)以及其它交互組件的廣泛應(yīng)用，期望進(jìn)一步改善 用戶和計(jì)算機(jī)之間的交互的用戶接口，來(lái)充分利用可通過(guò)電子裝置獲得的各種功能。
【發(fā)明內(nèi)容】
[0005]提供本
【發(fā)明內(nèi)容】
來(lái)以簡(jiǎn)潔的形式介紹下面在【具體實(shí)施方式】中進(jìn)一步描述的構(gòu)思 的選擇。本
【發(fā)明內(nèi)容】
并不意圖標(biāo)識(shí)要求主題的關(guān)鍵特征或基本特征，也不意圖用于幫助確 定要求的主題的范圍。
[0006]在一個(gè)總體方面，用于用戶接口的設(shè)備包括：分類(lèi)器，被配置為將事件歸類(lèi)為與至 少兩類(lèi)中的類(lèi)對(duì)應(yīng)；更新器，被配置為更新與對(duì)應(yīng)于事件的類(lèi)相關(guān)的類(lèi)信息；處理器，被配 置為基于更新后的類(lèi)信息確定與事件對(duì)應(yīng)的用戶輸入。
[0007] 分類(lèi)器可被配置為基于與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的代表值，將事件歸類(lèi)為與所述至 少兩個(gè)類(lèi)中的類(lèi)對(duì)應(yīng)。
[0008]代表值可與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)的坐標(biāo)或位置相關(guān)信息對(duì)應(yīng)，或者與 關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)的頻率、振幅或強(qiáng)度相關(guān)信息對(duì)應(yīng)。
[0009] 分類(lèi)器可包括：比較器，被配置為將與事件對(duì)應(yīng)的事件值與代表值進(jìn)行比較；檢 測(cè)器，被配置為檢測(cè)具有與事件值最近似的代表值的類(lèi)。
[0010] 更新后的類(lèi)信息可包括：代表經(jīng)過(guò)歸類(lèi)的事件的類(lèi)的代表值。
[0011] 所述至少兩個(gè)類(lèi)可與和用戶輸入相關(guān)聯(lián)的至少兩個(gè)對(duì)象對(duì)應(yīng)。
[0012] 處理器可被配置為跟蹤所述至少兩個(gè)對(duì)象來(lái)確定用戶輸入。
[0013]所述設(shè)備的總體方面可還包括：至少一個(gè)基于事件的傳感器，被配置為檢測(cè)事件。
[0014]所述至少一個(gè)基于事件的傳感器可包括基于事件的視覺(jué)傳感器、基于事件的聲音 傳感器和基于事件的觸摸傳感器中的至少一個(gè)。
[0015] 處理器可包括：光流計(jì)算器，被配置為計(jì)算與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的光流；速度 分量計(jì)算器，被配置為基于計(jì)算出的光流計(jì)算與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的速度分量。
[0016]速度分量可包括以下速度分量中的至少一個(gè)：第一速度分量，產(chǎn)生事件的對(duì)象以 所述第一速度分量在用于檢測(cè)事件的虛擬平面上沿X軸方向移動(dòng)；第二速度分量，對(duì)象以 所述第二速度分量在虛擬平面上沿y軸方向移動(dòng)；第三速度分量，對(duì)象以所述第三速度分 量沿與虛擬平面正交的方向移動(dòng)；第四速度分量，對(duì)象以所述第四速度分量在虛擬平面上 旋轉(zhuǎn)。
[0017] 處理器還可包括：識(shí)別器，被配置為通過(guò)基于用戶輸入情境分析速度分量來(lái)識(shí)別 用戶輸入。
[0018] 處理器還可包括：識(shí)別器，被配置為通過(guò)基于速度分量分析經(jīng)過(guò)分類(lèi)的事件的類(lèi) 和至少一個(gè)其余類(lèi)之間的相對(duì)速度，來(lái)識(shí)別用戶輸入。
[0019] 處理器可包括：識(shí)別器，被配置為通過(guò)基于用戶輸入情境分析代表經(jīng)過(guò)分類(lèi)的事 件的類(lèi)的代表值和代表至少一個(gè)其余類(lèi)的代表值來(lái)識(shí)別用戶輸入。
[0020] 在另一個(gè)總體方面，用戶接口的方法包括：接收包括事件的時(shí)間戳和事件的標(biāo)識(shí) 信息的信號(hào)；基于標(biāo)識(shí)信息從多個(gè)預(yù)定類(lèi)選擇類(lèi)；基于標(biāo)識(shí)信息更新選擇的類(lèi)的代表值； 基于時(shí)間戳更新與事件圖中的事件對(duì)應(yīng)的元素的值；基于事件圖和所述多個(gè)類(lèi)的代表值中 的至少一個(gè)，確定與事件對(duì)應(yīng)的用戶輸入。
[0021] 事件的標(biāo)識(shí)信息可包括：標(biāo)識(shí)事件的索引、事件的坐標(biāo)或位置相關(guān)信息、或關(guān)于事 件的頻率、振幅或強(qiáng)度相關(guān)信息；更新的步驟可包括更新存儲(chǔ)在存儲(chǔ)器中的元素的值。
[0022] 選擇的步驟可包括：將索引和所述多個(gè)類(lèi)的代表值進(jìn)行比較；檢測(cè)具有與索引最 近似的代表值的類(lèi)。
[0023] 確定的步驟可包括：基于更新后的元素和更新后的元素的周?chē)兀?jì)算與更新 后的元素對(duì)應(yīng)的速度矢量；基于與更新后的元素對(duì)應(yīng)的計(jì)算出的速度矢量，計(jì)算與選擇出 的類(lèi)對(duì)應(yīng)的多個(gè)速度分量；通過(guò)分析計(jì)算出的多個(gè)速度分量來(lái)識(shí)別用戶輸入。
[0024] 計(jì)算速度矢量的步驟可包括：計(jì)算更新后的元素與周?chē)刂g的時(shí)間差；計(jì)算 更新后的元素與周?chē)刂g的距離差；基于計(jì)算出的時(shí)間差和計(jì)算出的距離差，計(jì)算與 更新后的元素對(duì)應(yīng)的速度矢量。
[0025] 所述多個(gè)速度分量可包括：第一速度分量，產(chǎn)生事件的對(duì)象以所述第一速度分量 在用于檢測(cè)事件的虛擬平面上沿X軸方向移動(dòng)；第二速度分量，對(duì)象以所述第二速度分量 在虛擬平面上沿y軸方向移動(dòng)；第三速度分量，對(duì)象以所述第三速度分量沿與虛擬平面正 交的方向移動(dòng)；第四速度分量，對(duì)象以所述第四速度分量在虛擬平面上旋轉(zhuǎn)。
[0026] 計(jì)算所述多個(gè)速度分量的步驟可包括：從所述多個(gè)元素提取與選擇出的類(lèi)對(duì)應(yīng)的 元素；通過(guò)對(duì)提取出的元素的速度矢量取平均，來(lái)計(jì)算第一速度分量和第二速度分量；基 于提取出的元素的速度矢量的大小，計(jì)算選擇出的類(lèi)的中心點(diǎn)；通過(guò)計(jì)算提取出的元素的 速度矢量和從中心點(diǎn)朝向提取出的元素的矢量的內(nèi)積，來(lái)計(jì)算第三速度分量；通過(guò)計(jì)算提 取出的元素的速度矢量和從中心點(diǎn)朝向提取出的元素的矢量的外積，來(lái)計(jì)算第四速度分 量。
[0027] 確定的步驟可包括：分析選擇出的類(lèi)的更新后的代表值和其余類(lèi)的代表值。
[0028] 信號(hào)可包括被配置為檢測(cè)事件的基于事件的傳感器的輸出信號(hào)。
[0029] 在另一個(gè)總體方面，提供一種用戶接口的方法，所述方法包括：接收與多個(gè)對(duì)象對(duì) 應(yīng)的事件；將每個(gè)事件歸類(lèi)為與對(duì)應(yīng)于所述多個(gè)對(duì)象的多個(gè)類(lèi)中的類(lèi)對(duì)應(yīng)；基于經(jīng)過(guò)歸類(lèi) 的事件，更新與所述多個(gè)類(lèi)中的一個(gè)或更多個(gè)相關(guān)的類(lèi)信息；基于更新后的類(lèi)信息，確定用 戶輸入。
[0030] 分類(lèi)的步驟可包括：針對(duì)每個(gè)事件，在所述多個(gè)類(lèi)中檢測(cè)具有與對(duì)應(yīng)事件的值最 近似的代表值的類(lèi)。
[0031] 類(lèi)信息可包括：包括在類(lèi)中的像素、包括在類(lèi)中的事件和存儲(chǔ)在存儲(chǔ)器中的類(lèi)的 代表值中的至少一種。
[0032] 確定的步驟可包括：針對(duì)類(lèi)計(jì)算光流；基于計(jì)算出的光流計(jì)算類(lèi)的速度分量；基 于類(lèi)的速度分量，識(shí)別用于處理用戶輸入的命令。
[0033] 在另一個(gè)總體方面，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括程序，其中，所述程序 包括用于使得計(jì)算機(jī)執(zhí)行上面描述的方法的指令。
[0034] 在另一個(gè)總體方面，一種用于用戶接口的設(shè)備，所述設(shè)備包括：分類(lèi)器，被配置為 將事件分類(lèi)為與所述多個(gè)對(duì)象中的對(duì)象對(duì)應(yīng)；更新器，被配置為基于經(jīng)過(guò)歸類(lèi)的事件，更新 與所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象對(duì)應(yīng)的代表值；處理器，被配置為基于更新后的代表值， 確定與事件對(duì)應(yīng)的用戶輸入。
[0035] 事件可包括：由傳感器檢測(cè)到的亮度變化事件、聲音變化事件或觸摸事件中的至 少一種。
[0036] 代表值可與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)的坐標(biāo)或位置相關(guān)信息對(duì)應(yīng)，或者與 關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)的頻率、振幅或強(qiáng)度相關(guān)信息對(duì)應(yīng)。
[0037] 處理器可被配置為通過(guò)基于更新后的代表值確定關(guān)于所述多個(gè)對(duì)象中的一個(gè)或 更多個(gè)對(duì)象的變化的方向，來(lái)確定用戶輸入。
[0038] 處理器可被配置為通過(guò)確定所述多個(gè)對(duì)象中的一個(gè)對(duì)象相對(duì)于另一個(gè)對(duì)象的相 對(duì)運(yùn)動(dòng)或所述多個(gè)對(duì)象中的一個(gè)或更多個(gè)對(duì)象產(chǎn)生的聲音的頻率、振幅或強(qiáng)度的變化，來(lái) 基于更新后的代表值確定用戶輸入。
[0039] 從下面的【具體實(shí)施方式】、附圖和權(quán)利要求中，其它特征和方面將是清楚的。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0040] 圖1是示出用于用戶接口的設(shè)備的示例的框圖。
[0041] 圖2是示出用于用戶接口的設(shè)備的另一示例的框圖。
[0042] 圖3是示出對(duì)事件進(jìn)行分類(lèi)和更新類(lèi)信息的方法的示例的示圖。
[0043] 圖4是示出事件圖的示例的示圖。
[0044] 圖5是示出處理器的示圖的框圖。
[0045] 圖6是示出光流計(jì)算器的示例的示圖。
[0046] 圖7是示出使用速度分量的輸入方法的示例的示圖。
[0047] 圖8是示出計(jì)算光流中心的方法的示例的示圖。
[0048] 圖9是示出計(jì)算z軸速度和角速度的方法的示例的示圖。
[0049] 圖10是示出用戶接口的方法的示例的流程圖。
[0050] 圖IlA和圖IlB是示出事件圖的示例的示圖。
[0051] 圖12是示出用于用戶接口的設(shè)備的另一示例的框圖。
[0052] 圖13是示出跟蹤對(duì)象的方法的示例的示圖。
[0053] 圖14是示出用于用戶接口的設(shè)備的另一示例的示圖。
[0054] 圖15是示出用于用戶接口的設(shè)備的另一示例的示圖。
[0055] 圖16A和圖16B是示出提供用戶接口的方法的另一示例的示圖。
[0056] 圖17是示出用于用戶接口的設(shè)備的另一示例的示圖。
[0057] 在整個(gè)附圖和詳細(xì)描述中，除非另有提供或描述，否則相同的標(biāo)號(hào)將被理解為指 示相同的元件、特征和結(jié)構(gòu)。附圖可不被縮放，并且為了清楚、示出和方便起見(jiàn)，可夸大附圖 中的元素的相對(duì)大小、比例和描述。
【具體實(shí)施方式】
[0058] 提供下面的詳細(xì)描述以幫助讀者對(duì)這里描述的方法、設(shè)備和/或系統(tǒng)獲得全面的 理解。然而，這里描述的系統(tǒng)、設(shè)備和/或方法的各種改變、修改以及等同物將對(duì)本領(lǐng)域的 普通技術(shù)人員而言是清楚的。描述的處理步驟和/或操作的進(jìn)行是示例；然而，步驟和/ 或操作的順序不限于在此闡明的順序，除了必須按照特定的順序發(fā)生的步驟和/或操作以 夕卜，所述步驟和/或操作的順序可如本領(lǐng)域中公知的被改變。此外，為了提高清楚性和簡(jiǎn)明 性，對(duì)本領(lǐng)域的普通技術(shù)人員公知的功能和結(jié)構(gòu)的描述可被省略。
[0059] 這里描述的特征可以以不同的形式來(lái)實(shí)現(xiàn)，并且不應(yīng)當(dāng)被解釋為局限于這里描述 的示例。相反，已經(jīng)提供這里描述的實(shí)施例，使得本公開(kāi)將是徹底和完整的，并且將為本領(lǐng) 域的普通技術(shù)人員傳達(dá)本公開(kāi)的全部范圍。
[0060] 圖1示出提供用戶接口的設(shè)備100的示例。
[0061] 設(shè)備100可檢測(cè)或監(jiān)視事件的發(fā)生。事件可指用戶接口事件。事件可與用于與 設(shè)備交互的用戶輸入對(duì)應(yīng)，并可包括，但不限于，各種可檢測(cè)的輸入事件，諸如，亮度變化事 件、聲音變化事件、觸摸事件等?？赏ㄟ^(guò)各種基于事件的傳感器來(lái)檢測(cè)和/或輸出事件。
[0062] 例如，可由拍攝對(duì)象的拍攝圖像的基于事件的視覺(jué)傳感器來(lái)檢測(cè)和輸出事件。基 于事件的視覺(jué)傳感器可獲得對(duì)象的拍攝圖像，并可檢測(cè)拍攝圖像中的入射光的亮度隨時(shí)間 的變化?；谑录囊曈X(jué)傳感器可隨后與已發(fā)生的亮度變化事件的時(shí)間異步地輸出事件信 號(hào)。例如，響應(yīng)于檢測(cè)到由相機(jī)拍攝的拍攝圖像的預(yù)定像素處的亮度的增加，設(shè)備100可確 定已發(fā)生了亮度增加事件。作為響應(yīng)，基于事件的視覺(jué)傳感器可針對(duì)預(yù)定像素輸出ON事 件?？蛇x擇地，響應(yīng)于基于事件的視覺(jué)傳感器檢測(cè)到預(yù)定像素中的亮度的減少，設(shè)備100可 確定已發(fā)生了亮度減小時(shí)間，并且基于事件的視覺(jué)傳感器可輸出與預(yù)定像素對(duì)應(yīng)的OFF事 件。
[0063] 基于事件的視覺(jué)傳感器可以是異步視覺(jué)傳感器。相比基于幀的視覺(jué)傳感器，基于 事件的視覺(jué)傳感器輸出亮度已變化的圖像的部分的像素?cái)?shù)據(jù)，而不是以逐幀為基礎(chǔ)掃描每 個(gè)像素的光電二級(jí)管的輸出?？捎蓪?duì)象的移動(dòng)造成進(jìn)入視覺(jué)傳感器的光的亮度的變化。例 如，在光源相對(duì)于對(duì)象正移動(dòng)的時(shí)間幀被基本固定在它的位置的情況下，對(duì)象不獨(dú)立地發(fā) 射光而是反射光，進(jìn)入視覺(jué)傳感器的光與從光源發(fā)射并由對(duì)象的表面反射的光對(duì)應(yīng)。在對(duì) 象相對(duì)于光源靜止的情況下，由靜止對(duì)象反射的光可基本不變。因此，對(duì)于靜止對(duì)象，進(jìn)入 基于事件的視覺(jué)傳感器的光的亮度沒(méi)有變化。然而，對(duì)于在監(jiān)視對(duì)象期間正移動(dòng)的對(duì)象，由 于對(duì)象的移動(dòng)，由移動(dòng)對(duì)象反射的光可變化。因此，由視覺(jué)傳感器檢測(cè)到的光的亮度的變化 可傳達(dá)關(guān)于對(duì)象的移動(dòng)的信息。
[0064] 由基于事件的視覺(jué)傳感器響應(yīng)于檢測(cè)到對(duì)象移動(dòng)而輸出的事件信號(hào)可與和從人 類(lèi)視網(wǎng)膜傳送到大腦的視神經(jīng)信號(hào)類(lèi)似的異步產(chǎn)生的信息相應(yīng)。例如，基于事件的視覺(jué)傳 感器可對(duì)于靜止對(duì)象不產(chǎn)生任何事件信號(hào)，并可響應(yīng)于檢測(cè)到移動(dòng)對(duì)象而產(chǎn)生事件信號(hào)， 這與響應(yīng)于人類(lèi)視網(wǎng)膜檢測(cè)到移動(dòng)對(duì)象而產(chǎn)生視神經(jīng)信號(hào)非常相似。
[0065] 雖然上面描述了利用給定像素處的亮度的變化的基于事件的視覺(jué)傳感器作為示 例，但是基于事件的視覺(jué)傳感器不限于此。在另一示例中，視覺(jué)傳感器可檢測(cè)顏色的變化、 深度的變化、福射的變化等，而不是亮度的變化，來(lái)檢測(cè)對(duì)象的移動(dòng)。例如，基于事件的視覺(jué) 傳感器可檢測(cè)像素處的顏色變化，而不是亮度變化。可使用例如來(lái)自國(guó)際照明委員會(huì)的顏 色空間色度圖將檢測(cè)到的顏色轉(zhuǎn)換為數(shù)值，數(shù)值可被用于將顏色變化事件歸類(lèi)為與多個(gè)類(lèi) 中的類(lèi)對(duì)應(yīng)。在另一示例中，紅外線相機(jī)可用作基于事件的視覺(jué)傳感器，來(lái)拍攝產(chǎn)生紅外 線輻射的對(duì)象的圖像，由紅外線相機(jī)檢測(cè)到的紅外線輻射的量的變化可用于監(jiān)視對(duì)象的移 動(dòng)。紅外線輻射也可用于確定所述對(duì)象是否是產(chǎn)生體熱的活的對(duì)象。
[0066] 在另一示例中，相比基于事件的視覺(jué)傳感器，基于事件的聲音傳感器可用于檢測(cè) 環(huán)境的聲音變化，并可輸出事件信號(hào)?；谑录穆曇魝鞲衅骺蓹z測(cè)接收到的聲音的變化， 并可異步地輸出事件信號(hào)。例如，響應(yīng)于在預(yù)定頻帶內(nèi)增加的聲音振幅，基于事件的聲音傳 感器可檢測(cè)到正發(fā)生響度增加事件，并可針對(duì)相應(yīng)的頻帶輸出ON事件。在另一方面，在基 于事件的聲音傳感器檢測(cè)到預(yù)定頻帶中聲音的振幅的減少的情況下，基于事件的聲音傳感 器可確定已發(fā)生響度減少事件，并可針對(duì)相應(yīng)的頻帶輸出OFF事件。
[0067] 在另一示例中，基于事件的觸摸傳感器可檢測(cè)觸摸或觸摸的變化，并可輸出事件 信號(hào)?；谑录挠|摸傳感器可檢測(cè)施加的觸摸的變化，并可相對(duì)于時(shí)間異步地輸出事件 信號(hào)。例如，在在觸摸屏、觸摸板等的預(yù)定位置檢測(cè)到觸摸輸入事件的情況下，基于事件的 觸摸傳感器可針對(duì)發(fā)生觸摸輸入的相應(yīng)位置輸出ON事件。響應(yīng)于在預(yù)定位置檢測(cè)到的觸 摸釋放事件，基于事件的觸摸傳感器可針對(duì)相應(yīng)的位置輸出OFF事件。
[0068] 參照?qǐng)D1，根據(jù)一個(gè)示例，用戶接口設(shè)備100包括分類(lèi)器110、更新器120和處理器 130。
[0069] 分類(lèi)器110將檢測(cè)到的事件歸類(lèi)為屬于多個(gè)事件類(lèi)中的一類(lèi)的事件。可預(yù)先確定 用于分類(lèi)的可用的事件類(lèi)，也就是說(shuō)，可在檢測(cè)事件之前確定或設(shè)置多個(gè)事件類(lèi)。在一個(gè)示 例中，分類(lèi)器110可確定與檢測(cè)到的事件最相似的類(lèi)，并可將檢測(cè)到的事件歸類(lèi)為屬于所 確定的類(lèi)的事件。
[0070] 由分類(lèi)器110用于分類(lèi)的多個(gè)類(lèi)可包括相同類(lèi)型的類(lèi)。例如，所述多個(gè)類(lèi)可包括 與用戶的左手相應(yīng)的第一類(lèi)和與用戶的右手相應(yīng)的第二類(lèi)。響應(yīng)于接收到新事件，分類(lèi)器 110可確定接收到的事件與第一類(lèi)還是第二類(lèi)對(duì)應(yīng)。
[0071] 可使用事件值表示事件。例如，響應(yīng)于檢測(cè)到亮度變化事件，可使用指示亮度已變 化的像素的事件值表示相應(yīng)的事件。類(lèi)似地，響應(yīng)于檢測(cè)到聲音變化事件，可使用指示聲音 已變化的頻帶的事件值表示相應(yīng)的事件。此外，響應(yīng)于檢測(cè)到觸摸事件，可用指示已發(fā)生觸 摸輸入的位置的事件值表示相應(yīng)的事件。
[0072] 根據(jù)一個(gè)示例，所述多個(gè)類(lèi)中的每一類(lèi)包括表示相應(yīng)類(lèi)的代表值。每個(gè)類(lèi)包括被 預(yù)先歸類(lèi)的多個(gè)事件?；诒粴w類(lèi)為相應(yīng)類(lèi)的事件的事件值計(jì)算表示每個(gè)類(lèi)的代表值。例 如，與用戶的左手對(duì)應(yīng)的像素的亮度變化可被確定為第一類(lèi)，與用戶的右手對(duì)應(yīng)的像素的 亮度變化可被確定為第二類(lèi)。響應(yīng)于接收到亮度變化事件，可基于指示亮度已變化的像素 的事件值計(jì)算第一類(lèi)和第二類(lèi)中的每一類(lèi)的代表值。
[0073] 在這個(gè)示例中，分類(lèi)器110將事件值與類(lèi)的代表值進(jìn)行比較，并計(jì)算接收到的事 件和每個(gè)類(lèi)之間的相似度。分類(lèi)器110基于相似度確定接收到的事件與第一類(lèi)還是第二類(lèi) 對(duì)應(yīng)。例如，分類(lèi)器110可在第一類(lèi)和第二類(lèi)之間選擇具有更高相似度的類(lèi)，并可將接收到 的事件歸類(lèi)為所選擇的類(lèi)。
[0074] 依據(jù)檢測(cè)到的事件，所述多個(gè)類(lèi)可包括不同類(lèi)型的類(lèi)。例如，除了第一類(lèi)和第二類(lèi) 以外，所述多個(gè)類(lèi)可還可包括關(guān)于聲音變化事件的第三類(lèi)。在這個(gè)示例中，分類(lèi)器110可利 用接收到的事件的類(lèi)型對(duì)相應(yīng)事件進(jìn)行分類(lèi)。響應(yīng)于接收到聲音變化事件，分類(lèi)器110可 確定接收到的事件與第三類(lèi)最相似，并可將相應(yīng)事件歸類(lèi)為第三類(lèi)。
[0075] 響應(yīng)于分類(lèi)器110基于事件類(lèi)對(duì)事件進(jìn)行分類(lèi)，更新器120可更新關(guān)于經(jīng)過(guò)分類(lèi) 的事件的類(lèi)信息。關(guān)于事件的類(lèi)的信息（以下稱(chēng)為類(lèi)信息）可包括但不限于，像素識(shí)別信 息、事件或事件類(lèi)的代表值。更新器120可使用各種方案來(lái)更新類(lèi)信息。例如，更新器120 可將新歸類(lèi)為相應(yīng)類(lèi)的事件添加到先前被歸類(lèi)為相應(yīng)類(lèi)的事件，并可基于所有事件重新計(jì) 算表示相應(yīng)類(lèi)的代表值。在另一示例中，更新器120可基于類(lèi)的先前代表值和新經(jīng)過(guò)歸類(lèi) 的事件的事件值來(lái)更新所述類(lèi)的代表值。例如，更新器120可使用下面的等式1更新檢測(cè) 到的事件的類(lèi)：
[0076] [等式 1]
[0077]
【權(quán)利要求】
1. 一種用于用戶接口的設(shè)備，所述設(shè)備包括： 分類(lèi)器，被配置為將事件歸類(lèi)為與至少兩類(lèi)中的類(lèi)對(duì)應(yīng)； 更新器，被配置為更新與對(duì)應(yīng)于事件的類(lèi)相關(guān)的類(lèi)信息； 處理器，被配置為基于更新后的類(lèi)信息確定與事件對(duì)應(yīng)的用戶輸入。
2. 如權(quán)利要求1所述的設(shè)備，其中，分類(lèi)器被配置為基于與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的代 表值，將事件歸類(lèi)為與所述至少兩個(gè)類(lèi)中的所述類(lèi)對(duì)應(yīng)。
3. 如權(quán)利要求2所述的設(shè)備，其中，代表值與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)類(lèi)的坐 標(biāo)或位置相關(guān)信息對(duì)應(yīng)，或者與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)類(lèi)的頻率、振幅或強(qiáng)度相 關(guān)信息對(duì)應(yīng)。
4. 如權(quán)利要求2所述的設(shè)備，其中，分類(lèi)器包括： 比較器，被配置為將與事件對(duì)應(yīng)的事件值與代表值進(jìn)行比較； 檢測(cè)器，被配置為檢測(cè)具有與所述事件值最近似的代表值的類(lèi)。
5. 如權(quán)利要求1所述的設(shè)備，其中，更新后的類(lèi)信息包括：代表經(jīng)過(guò)歸類(lèi)的事件的類(lèi)的 代表值。
6. 如權(quán)利要求1所述的設(shè)備，其中，所述至少兩個(gè)類(lèi)與和用戶輸入相關(guān)聯(lián)的至少兩個(gè) 對(duì)象對(duì)應(yīng)。
7. 如權(quán)利要求6所述的設(shè)備，其中，處理器被配置為跟蹤所述至少兩個(gè)對(duì)象來(lái)確定用 戶輸入。
8. 如權(quán)利要求1所述的設(shè)備，還包括： 至少一個(gè)基于事件的傳感器，被配置為檢測(cè)事件。
9. 如權(quán)利要求8所述的設(shè)備，其中，所述至少一個(gè)基于事件的傳感器包括基于事件的 視覺(jué)傳感器、基于事件的聲音傳感器和基于事件的觸摸傳感器中的至少一個(gè)。
10. 如權(quán)利要求1所述的設(shè)備，其中，處理器包括： 光流計(jì)算器，被配置為計(jì)算與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的光流； 速度分量計(jì)算器，被配置為基于計(jì)算出的光流計(jì)算與所述至少兩個(gè)類(lèi)對(duì)應(yīng)的速度分 量。
11. 如權(quán)利要求10所述的設(shè)備，其中，速度分量包括以下速度分量中的至少一個(gè)： 第一速度分量，產(chǎn)生事件的對(duì)象以所述第一速度分量在用于檢測(cè)事件的虛擬平面上沿 X軸方向移動(dòng)； 第二速度分量，對(duì)象以所述第二速度分量在虛擬平面上沿y軸方向移動(dòng)； 第三速度分量，對(duì)象以所述第三速度分量沿與虛擬平面正交的方向移動(dòng)； 第四速度分量，對(duì)象以所述第四速度分量在虛擬平面上旋轉(zhuǎn)。
12. 如權(quán)利要求10所述的設(shè)備，其中，處理器還包括： 識(shí)別器，被配置為通過(guò)基于用戶輸入情境分析速度分量來(lái)識(shí)別用戶輸入。
13. 如權(quán)利要求10所述的設(shè)備，其中，處理器還包括： 識(shí)別器，被配置為通過(guò)基于速度分量分析經(jīng)過(guò)歸類(lèi)的事件的類(lèi)和至少一個(gè)其余類(lèi)之間 的相對(duì)速度，來(lái)識(shí)別用戶輸入。
14. 如權(quán)利要求1所述的設(shè)備，其中，處理器包括： 識(shí)別器，被配置為通過(guò)基于用戶輸入情境分析代表經(jīng)過(guò)歸類(lèi)的事件的類(lèi)的代表值和代 表至少一個(gè)其余類(lèi)的代表值來(lái)識(shí)別用戶輸入。
15. -種提供用戶接口的方法，所述方法包括： 接收包括事件的時(shí)間戳和事件的標(biāo)識(shí)信息的信號(hào)； 基于標(biāo)識(shí)信息從多個(gè)預(yù)定類(lèi)選擇類(lèi)； 基于標(biāo)識(shí)信息更新被選擇的類(lèi)的代表值； 基于時(shí)間戳更新與事件圖中的事件對(duì)應(yīng)的元素的值； 基于事件圖和所述多個(gè)類(lèi)的代表值中的至少一個(gè)，確定與事件對(duì)應(yīng)的用戶輸入。
16. 如權(quán)利要求14所述的方法，其中，事件的標(biāo)識(shí)信息包括：標(biāo)識(shí)事件的索引、事件的 坐標(biāo)或位置相關(guān)信息或關(guān)于事件的頻率、振幅或強(qiáng)度相關(guān)信息； 更新的步驟包括更新存儲(chǔ)在存儲(chǔ)器中的元素的值。
17. 如權(quán)利要求16所述的方法，其中，選擇的步驟包括： 將索引和所述多個(gè)類(lèi)的代表值進(jìn)行比較； 檢測(cè)具有與索引最近似的代表值的類(lèi)。
18. 如權(quán)利要求16所述的方法，其中，所述確定的步驟包括： 基于更新后的元素和所述更新后的元素的周?chē)兀?jì)算與所述更新后的元素對(duì)應(yīng)的 速度矢量； 基于與更新后的元素對(duì)應(yīng)的計(jì)算出的速度矢量，計(jì)算與選擇出的類(lèi)對(duì)應(yīng)的多個(gè)速度分 量； 通過(guò)分析計(jì)算出的多個(gè)速度分量，識(shí)別用戶輸入。
19. 如權(quán)利要求18所述的方法，其中，計(jì)算速度矢量的步驟包括： 計(jì)算更新后的元素與周?chē)刂g的時(shí)間差； 計(jì)算更新后的元素與周?chē)刂g的距離差； 基于計(jì)算出的時(shí)間差和計(jì)算出的距離差，計(jì)算與更新后的元素對(duì)應(yīng)的速度矢量。
20. 如權(quán)利要求18所述的方法，其中，所述多個(gè)速度分量包括： 第一速度分量，產(chǎn)生事件的對(duì)象以所述第一速度分量在用于檢測(cè)事件的虛擬平面上沿x軸方向移動(dòng)； 第二速度分量，對(duì)象以所述第二速度分量在虛擬平面上沿y軸方向移動(dòng)； 第三速度分量，對(duì)象以所述第三速度分量沿與虛擬平面正交的方向移動(dòng)； 第四速度分量，對(duì)象以所述第四速度分量在虛擬平面上旋轉(zhuǎn)。
21. 如權(quán)利要求20所述的方法，其中，計(jì)算所述多個(gè)速度分量的步驟包括： 從所述多個(gè)元素提取與選擇出的類(lèi)對(duì)應(yīng)的元素； 通過(guò)對(duì)提取出的元素的速度矢量取平均，來(lái)計(jì)算第一速度分量和第二速度分量； 基于提取出的元素的速度矢量的大小，計(jì)算選擇出的類(lèi)的中心點(diǎn)； 通過(guò)計(jì)算提取出的元素的速度矢量與從中心點(diǎn)朝向提取出的元素的矢量的內(nèi)積，來(lái)計(jì) 算第三速度分量； 通過(guò)計(jì)算提取出的元素的速度矢量和從中心點(diǎn)朝向提取出的元素的矢量的外積，來(lái)計(jì) 算第四速度分量。
22. 如權(quán)利要求15所述的方法，其中，所述確定的步驟包括：分析選擇出的類(lèi)的更新后 的代表值和其余類(lèi)的代表值。
23. 如權(quán)利要求15所述的方法，其中，所述信號(hào)包括被配置為檢測(cè)事件的基于事件的 傳感器的輸出信號(hào)。
24. -種提供用戶接口的方法，所述方法包括： 接收與多個(gè)對(duì)象對(duì)應(yīng)的事件； 將每個(gè)事件歸類(lèi)為與對(duì)應(yīng)于所述多個(gè)對(duì)象的多個(gè)類(lèi)中的類(lèi)對(duì)應(yīng)； 基于經(jīng)過(guò)歸類(lèi)的事件，更新與所述多個(gè)類(lèi)中的一個(gè)或更多個(gè)類(lèi)相關(guān)的類(lèi)信息； 基于更新后的類(lèi)信息，確定用戶輸入。
25. 如權(quán)利要求24所述的方法，其中，歸類(lèi)的步驟包括：針對(duì)每個(gè)事件，在所述多個(gè)類(lèi) 中檢測(cè)具有與對(duì)應(yīng)事件的值最近似的代表值的類(lèi)。
26. 如權(quán)利要求24所述的方法，其中，類(lèi)信息包括：包括在所述多個(gè)類(lèi)中的像素、包括 在所述多個(gè)類(lèi)中的事件和存儲(chǔ)在存儲(chǔ)器中的所述多個(gè)類(lèi)的代表值中的至少一種。
27. 如權(quán)利要求24所述的方法，其中，所述確定的步驟包括： 針對(duì)類(lèi)計(jì)算光流； 基于計(jì)算出的光流計(jì)算類(lèi)的速度分量； 基于類(lèi)的速度分量，識(shí)別用于處理用戶輸入的命令。
28. -種用于用戶接口的設(shè)備，所述設(shè)備包括： 分類(lèi)器，被配置為將事件歸類(lèi)為與所述多個(gè)對(duì)象中的對(duì)象對(duì)應(yīng)； 更新器，被配置為基于經(jīng)過(guò)歸類(lèi)的事件，更新與所述多個(gè)對(duì)象中的至少一個(gè)對(duì)象對(duì)應(yīng) 的代表值； 處理器，被配置為基于更新后的代表值，確定與事件對(duì)應(yīng)的用戶輸入。
29. 如權(quán)利要求28所述的設(shè)備，其中，事件包括：由傳感器檢測(cè)到的亮度變化事件、聲 音變化事件或觸摸事件中的至少一個(gè)。
30. 如權(quán)利要求28所述的設(shè)備，其中，代表值與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)類(lèi)的 坐標(biāo)或位置相關(guān)信息對(duì)應(yīng)，或者與關(guān)于所述至少兩個(gè)類(lèi)中的每一個(gè)類(lèi)的頻率、振幅或強(qiáng)度 相關(guān)信息對(duì)應(yīng)。
31. 如權(quán)利要求28所述的設(shè)備，其中，處理器被配置為通過(guò)基于更新后的代表值確定 關(guān)于所述多個(gè)對(duì)象中的一個(gè)或更多個(gè)對(duì)象的變化的方向，來(lái)確定用戶輸入。
32. 如權(quán)利要求28所述的設(shè)備，其中，處理器被配置為通過(guò)基于更新后的代表值確定 所述多個(gè)對(duì)象中的一個(gè)對(duì)象相對(duì)于另一個(gè)對(duì)象的相對(duì)運(yùn)動(dòng)或所述多個(gè)對(duì)象中的一個(gè)或更 多個(gè)對(duì)象產(chǎn)生的聲音的頻率、振幅或強(qiáng)度的變化，來(lái)確定用戶輸入。
【文檔編號(hào)】G06F3/01GK104516499SQ201410361004
【公開(kāi)日】2015年4月15日 申請(qǐng)日期:2014年7月25日 優(yōu)先權(quán)日:2013年10月1日
【發(fā)明者】李圭彬, 柳賢錫 申請(qǐng)人:三星電子株式會(huì)社