專利名稱：使用全息圖的用戶界面和用于該用戶界面的方法
技術領域：
本文公開的是使用全息圖的用戶界面和用于該用戶界面的方法。
背景技術：
本申請要求2010年1月四日提交的韓國專利申請No. 10-2010-0008733的優先 權和權益，此處以引證的方式并入其內容，就像在此進行了完整闡述一樣。當前，在諸如膝上型計算機、桌上型計算機或移動終端的終端中提供了觸摸式用 戶界面，該觸摸式用戶界面識別經由外部接觸的輸入。在這樣的終端中，通過識別經由觸摸 式用戶界面輸入的用戶接觸來執行各種功能。一般而言，觸摸式用戶界面包括觸摸板、觸摸屏等，它們通過畫面提供了二維觸摸 式用戶界面。此時，在畫面上顯示諸如圖標等用于用戶輸入的各種虛擬對象。如果畫面上出現用戶接觸，這樣的觸摸式用戶界面識別出由用戶選擇了用戶接觸 在畫面上出現的位置所顯示的虛擬對象，并識別出由用戶輸入了用于執行與所選擇的虛擬 對象相對應的指定功能的指令。因此，用戶界面使終端能夠執行與在畫面上顯示的虛擬對 象中由用戶接觸選中的虛擬對象相對應的指定功能。同時，作為該二維觸摸式用戶界面的擴展，最近開發了一種用戶界面，該用戶界面 提供了使用全息圖的三維觸摸式用戶界面。在這樣的使用全息圖的用戶界面中，在空間中的任意區域顯示全息圖顯示區，并 且在全息圖顯示區中顯示用于用戶輸入的各種虛擬對象。用戶界面識別出由用戶選擇了所 顯示的虛擬對象中的虛擬對象，并識別出由用戶輸入了用于執行與所選擇的虛擬對象相對 應的指定功能的指令。因此，用戶界面使終端能夠執行與由用戶接觸選擇的虛擬對象相對 應的指定功能。然而，如果出現了與顯示的虛擬對象的接觸，則使用全息圖的用戶界面識別出由 用戶選擇了該虛擬對象，并識別出由用戶輸入了用于執行與所選擇的虛擬對象相對應的指 定功能的指令。因此，當真實對象(諸如用戶身體的一部分)僅僅經過空間中顯示的全息 圖顯示區時，即，當真實對象經過全息圖顯示區同時與指定的虛擬對象相接觸時，用戶界面 識別出由用戶選擇了指定的虛擬對象，并識別出由用戶輸入了用于執行與所選擇的虛擬對 象相對應的指定功能的指令。因此，可能導致終端故障。
發明內容
本文公開了一種使用全息圖的用戶界面，該用戶界面利用全息圖在空間中顯示用 于用戶輸入的虛擬對象，并識別經由所顯示的虛擬對象的各種用戶輸入。并且，本文還公開了一種使用全息圖的用戶界面，該用戶界面可以經由視覺或觸 覺效果向用戶提供反饋。本發明的附加特征將在下面的描述中描述且將從描述中部分地顯現，或者可以通 過本發明的實踐來了解。
一種示例性實施方式提供了一種用戶界面，該用戶界面包括存儲單元，其存儲關 于虛擬對象的形狀、功能、位置和運動摸式的信息；全息圖輸出單元，其投射出全息圖顯示 區并且在所投射的全息圖顯示區中顯示所述虛擬對象；真實對象感應單元，其感應所述全 息圖顯示區中的真實對象并且生成關于所述真實對象的位置和運動摸式的信息；接觸識別 單元，其根據由所述真實對象感應單元生成的關于所述真實對象的位置和運動摸式的信息 以及所述存儲單元中存儲的信息，來確定所述全息圖顯示區中的各個虛擬對象和所述真實 對象的位置和運動摸式，以識別所述虛擬對象和所述真實對象之間的接觸；以及控制單元， 其確定所述虛擬對象和所述真實對象之間的所識別的接觸是否對應于用于選擇所述虛擬 對象的輸入。一種示例性實施方式提供了一種用戶界面，該用戶界面包括存儲單元，其存儲關 于虛擬對象的形狀、功能、位置和運動摸式的信息；全息圖輸出單元，其投射出全息圖顯示 區并且在所投射的全息圖顯示區中顯示虛擬對象；通信單元，其接收從發送無線信號的真 實對象發送的所述無線信號，該無線信號包含信息；真實對象感應單元，其從所述通信單元 接收所述無線信號，提取所述無線信號中包含的所述信息，并且根據所述無線信號生成關 于所述全息圖顯示區中的所述真實對象的位置和運動摸式的信息；接觸識別單元，其根據 由所述真實對象感應單元生成的關于所述真實對象的位置和運動摸式的信息以及所述存 儲單元中存儲的信息來確定所述全息圖顯示區中的各個虛擬對象和所述真實對象的位置 和運動摸式，以識別所述虛擬對象和所述真實對象之間的接觸；以及控制單元，其根據由所 述真實對象感應單元提取的所述真實對象的信息來確定與所述虛擬對象接觸的所述真實 對象的功能。一種示例性實施方式提供了一種用戶界面，該用戶界面包括存儲單元，其存儲關 于虛擬對象的信息；全息圖輸出單元，其在全息圖顯示區中投射出所述虛擬對象；真實對 象感應單元，其感應所述全息圖顯示區中的真實對象；接觸識別單元，其根據關于所述虛擬 對象的信息以及關于所感應的真實對象的信息來確定所述真實對象和所述虛擬對象之間 的接觸；以及控制單元，其確定所識別的接觸是否對應于用于選擇所述虛擬對象的輸入。一種示例性實施方式提供了一種用于用戶界面的方法，該方法包括以下步驟在 全息圖顯示區中顯示虛擬對象；確定真實對象和所述虛擬對象之間是否發生接觸；確定所 述真實對象和所述虛擬對象之間的所述接觸是否對應于用于選擇所述虛擬對象的輸入；根 據所述真實對象的運動來使所選擇的虛擬對象運動；以及根據所選擇的虛擬對象的運動來 執行與所選擇的虛擬對象相對應的功能。一種示例性實施方式提供了一種用于用戶界面的方法，該方法包括以下步驟在 全息圖顯示區中顯示虛擬對象；確定真實對象和所述虛擬對象之間是否發生接觸；如果發 生接觸，則確定所述真實對象的功能；以及針對所述虛擬對象執行所述真實對象的功能。應當理解，上述一般描述和下述詳細描述是示例性和說明性的，且旨在提供所要 求保護的本發明的進一步解釋。根據下述詳細描述、附圖以及權利要求書，其它特征和方面 將變得明顯。
附圖被包括在本說明書中以提供對本發明的進一步理解，并結合到本說明書中且構成本說明書的一部分，附圖示出了本發明的實施方式，且與說明書一起用于解釋本發明 的原理。圖1是示出根據示例性實施方式的使用全息圖的用戶界面的框圖。圖2是示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法 的流程圖。圖3、圖4、圖5、圖6和圖7示出根據示例性實施方式的使用全息圖來識別用戶界 面中的輸入的方法。圖8是示出根據示例性實施方式的使用全息圖的用戶界面的構造的框圖。圖9是示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法 的流程圖。圖10示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。
具體實施例方式以下參考附圖更全面地描述本發明，在附圖中示出了示例性實施方式。然而，可以 以各種不同的形式來實施本公開，而不應該將其理解為限于此處闡釋的示例性實施方式。 相反，提供這些示例性實施方式使得本公開詳盡，并且向本領域技術人員全面傳達本公開 的范圍。在描述中，為了避免不必要地使所示出的實施方式模糊不清，將省去公知的特征和 技術的細節。本文所使用的術語僅為了描述具體實施方式
，而不是為了限制本公開。除非另行 明確地說明，否則如本文中所使用的，單數形式的“一”、“該”及“所述”旨在同樣包括復數 形式。此外，使用術語“一”等不表示對數量的限制，而是表示至少一個所引用的項目的存 在。使用術語“第一”、“第二”等不表示任何特定的順序，而是將它們包括以標識各個要素。 此外，使用術語“第一”、“第二”等不表示任何順序或重要性，而是使用術語“第一”、“第二” 以將要素彼此區分。進一步可以理解，當用在本說明書中時，術語“包括”或“包含”指的是 存在所述的特征、區域、整體、步驟、操作、要素和/或組件，但不排除存在或添加一個或更 多個其它的特征、區域、整體、步驟、操作、要素、組件和/或其組合。除非另行定義，否則這里所用的所有術語(包括科技術語)具有與本領域的普通 技術人員所通常理解的相同含義。進一步可以理解的是，諸如那些在通常使用的辭典中定 義的術語應當被理解為具有與其在相關技術和本公開的上下文環境中的含義相一致的含 義，并且，除非在此明確地定義，否則不應當以理想化或過于形式的方式來理解。在附圖中，相同的標號表示相同的元件。為清楚起見，可能會夸大地表示附圖的形 狀、尺寸和區域等。以下，將參考附圖詳細地描述根據示例性實施方式的使用全息圖的用戶界面以及 識別用戶界面的輸入的方法。圖1是示出根據示例性實施方式的使用全息圖的用戶界面的框圖。如圖1所示，根 據示例性實施方式的使用全息圖的觸摸式用戶界面100包括存儲單元110、全息圖輸出單 元120、真實對象感應單元130、觸覺提供單元140、接觸識別單元150和控制單元160。盡 管此處被描述為觸摸式用戶界面100，但是，就各方面而言，用戶界面100并非必須是觸摸 式的。
存儲單元110存儲關于各個虛擬對象的形狀、功能、初始位置和初始運動模式的 信息。關于初始位置的信息包括三維位置坐標等。關于初始運動模式的信息包括三維位置 坐標、向量值(即，運動距離、方向和速度)等。全息圖輸出單元120在控制單元160的控制下在空間中的任意區域中投射全息圖 顯示區，并在所投射的全息圖顯示區中顯示虛擬對象。投射了全息圖顯示區的空間可以與 觸摸式用戶界面100相鄰和/或在其外部。真實對象感應單元130感應全息圖顯示區中存在的真實對象，并生生關于真實對 象10(圖3所示)的位置和運動模式的信息。真實對象感應單元130獲取全息圖顯示區中 存在的真實對象10的三維位置坐標，并利用所獲取的三維位置坐標生成關于真實對象10 的位置的信息。然后，真實對象感應單元130利用真實對象10的三維位置坐標的變化來計 算基于真實對象10的位置變化的向量值，并利用所計算出的向量值生成關于真實對象10 的運動模式的信息。真實對象10包括用戶手指、具有無線信號發送功能的小尺寸設備等。 可以以可附接到用戶手指的形狀來形成所述小尺寸設備。真實對象感應單元130利用電容性觸摸屏方法、紅外(IR)觸摸屏方法、電磁共振 (EMR electromagnetic resonance)數字轉換器方法和圖像識別方法等中的一種方法來獲 取全息圖顯示區中存在的真實對象10的三維坐標。真實對象感應單元130接收從真實對象10發送的無線信號，并利用所接收的無線 信號的接收強度來確定與真實對象10的距離。然后，真實對象感應單元130利用所確定的 與真實對象10的距離以及無線信號的接收方向來確定真實對象10的三維位置坐標。真實 對象感應單元130具有通信單元(未示出)來執行與真實對象10的無線通信。觸覺提供單元140通過在控制單元160的控制下輻射聲波來向全息圖顯示區提供 聲輻射壓。結果，全息圖顯示區中存在的真實對象10受到由觸覺提供單元140提供的聲輻 射壓的影響。接觸識別單元150利用由真實對象感應單元130生成的關于真實對象10的位置 和運動模式的信息以及存儲單元110中存儲的信息，來實時地識別由全息圖輸出單元120 投射的全息圖顯示區中的各個真實對象10和虛擬對象的位置和運動模式。因此，接觸識別 單元150確定在全息圖顯示區中是否發生虛擬對象和真實對象10之間的接觸。如果接觸 識別單元150確定了在全息圖顯示區中發生虛擬對象和真實對象10之間的接觸，則接觸識 別單元150檢測虛擬對象與真實對象10相接觸的接觸部分。如果通過實時地識別全息圖 顯示區中的各個真實對象10和虛擬對象的位置和運動模式，在全息圖顯示區中出現了相 互交疊的各個虛擬對象和真實對象10的三維位置坐標的一部分，則接觸識別單元150識別 出在虛擬對象和真實對象10之間發生了接觸。接觸識別單元150還將與在全息圖顯示區 中出現的相互交疊的各個虛擬對象和真實對象10的三維位置坐標的一部分相對應的三維 位置坐標識別為虛擬對象與真實對象10接觸的接觸部分的三維位置坐標。同時，控制單元160控制全息圖輸出單元120以投射全息圖顯示區，并控制將要顯 示在所投射的全息圖顯示區中的虛擬對象。控制單元160利用存儲單元110中存儲的信息 來控制虛擬對象以提供將分別在它們的初始位置處顯示或者將分別以它們的初始模式運 動的各種功能。如果接觸識別單元150識別出在全息圖顯示區中發生了虛擬對象和真實對象10之間的接觸，則控制單元160確定虛擬對象和真實對象10之間的接觸是否是用于虛擬對象 選擇的輸入。結果，如果控制單元160確定了虛擬對象和真實對象10之間的接觸是用于選 擇虛擬對象的輸入，則控制單元160通過搜索存儲單元110中存儲的信息來檢測與真實對 象10接觸的虛擬對象的功能，并識別出用于執行所檢測到的功能的指令被輸入。如果接觸識別單元150識別出在全息圖顯示區中發生了虛擬對象和真實對象10 之間的接觸，則控制單元160確定虛擬對象和真實對象10之間的接觸是虛擬對象的選擇。 結果，如果控制單元160確定了虛擬對象和真實對象10之間的接觸是用于選擇虛擬對象的 輸入或者用于取消虛擬對象的輸入，則控制單元160控制全息圖輸出單元120，由此改變與 真實對象10接觸的虛擬對象的顏色或形狀。因此，用戶可以可視地識別出是否選擇了虛擬 對象。控制單元160控制觸覺提供單元140以向全息圖顯示區提供聲輻射壓。結果，當真 實對象10對應于用戶身體的一部分時，用戶可以經由觸覺來識別是否選擇了虛擬對象。當真實對象10與虛擬對象接觸的時間比基準時間更長時或者當真實對象10同時 與虛擬對象的部分處存在的多個標記相接觸時，控制單元160可以確定虛擬對象和真實對 象10之間的接觸是用于選擇虛擬對象的輸入。可預先確定或者選擇該基準時間。如果確定了虛擬對象和真實對象10之間的接觸是用于選擇虛擬對象的輸入，則 控制單元160利用由真實對象感應單元130生成的關于真實對象10的運動模式的信息來 實時地跟蹤真實對象10在全息圖顯示區中的運動。控制單元160通過確定與虛擬對象接 觸的真實對象10是否處于全息圖顯示區之外，即，是否處于由真實對象感應單元130感應 的范圍之外。如果控制單元160確定了真實對象10處于所述范圍之外或者退出所述范圍， 或者真實對象10與真實對象10所同時接觸的多個標記中的一個脫離接觸，則控制單元160 確定了取消用于選擇虛擬對象的輸入，并控制全息圖輸出單元120改變與真實對象10接觸 的虛擬對象的顏色或形狀。控制單元160還控制觸覺提供單元140以向全息圖顯示區提供 聲輻射壓。如果確定了虛擬對象和真實對象10之間的接觸是用于選擇虛擬對象的輸入，則 控制單元160利用由真實對象感應單元130生成的關于真實對象10的運動模式的信息來 實時地跟蹤真實對象10在全息圖顯示區中的運動。控制單元160還控制全息圖輸出單元 120，使得與真實對象10接觸的虛擬對象能夠與真實對象10的運動相對應地運動。基于所 述虛擬對象的運動，控制單元160識別出由用戶輸入了用于執行指定功能的指令或者由所 述用戶輸入了用于取消所述指定功能的執行的指令。例如，控制單元160控制全息圖輸出單元120，以基于與虛擬對象接觸的真實對象 10的旋轉運動來旋轉虛擬對象，或者基于與虛擬對象接觸的真實對象10的運動來將虛擬 對象拖動到真實對象10的運動位置。基于虛擬對象的旋轉或拖動位置，控制單元160識別 出由用戶輸入了用于執行指定功能的指令，或者由所述用戶輸入了用于取消所述指定功能 的執行的指令。例如，如果虛擬對象在任意方向以任意角度旋轉；如果虛擬對象被拖動到諸 如圖標的任意虛擬對象所處的位置，以提供在全息圖顯示區中顯示的執行或取消功能；或 者如果用于提供執行或取消功能的諸如圖標的任意虛擬對象被拖動到在全息圖顯示區中 顯示將要執行或取消的虛擬對象的位置，則控制單元160識別出由用戶輸入了用于執行指 定功能的指令或者由所述用戶輸入了用于取消所述指定功能的指令。如果利用由真實對象感應單元120生成的關于真實對象10的運動模式的信息來將真實對象10的運動模式與指定運動模式進行匹配，則控制單元160識別出由用戶輸入了 用于執行指定功能的指令或者由所述用戶輸入了用于取消所述指定功能的指令。如果控制單元160識別出由用戶輸入了用于執行指定功能的指令或者由所述用 戶輸入了用于取消所述指定功能的指令，則控制單元160控制全息圖輸出單元120改變全 息圖顯示區的顏色或形狀或者全息圖顯示區中所顯示的虛擬對象的顏色或形狀。控制單元 160控制觸覺提供單元140向全息圖顯示區提供聲輻射壓。以下，將參照圖2描述根據示例性實施方式的使用全息圖來識別用戶界面中的輸 入的方法。圖2是示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法 的流程圖。首先，使用全息圖的用戶界面100在空間中投射全息圖顯示區，并在所投射的全 息圖顯示區中顯示虛擬對象(S200)。如果真實對象10和操作S200中顯示的虛擬對象中的一個之間發生了接觸 (S210)，則控制單元160確定虛擬對象和真實對象10之間的接觸是否對應于用于選擇虛擬 對象的輸入(S220)。當在操作S220中確定了虛擬對象和真實對象10之間的接觸對應于用于選擇虛擬 對象的輸入時，控制單元160控制全息圖輸出單元120改變與真實對象10接觸的虛擬對象 的顏色或形狀。然后，控制單元160控制觸覺提供單元140向全息圖顯示區提供聲輻射壓。在操作S220中，如果真實對象10與虛擬對象接觸的時間比基準時間更長，或者如 果真實對象10同時與虛擬對象的部分處存在的多個標記相接觸，則控制單元160確定了虛 擬對象和真實對象10之間的接觸對應于用于選擇虛擬對象的輸入。例如，如果用戶手指 (即真實對象10)與具有執行功能的圖標(即虛擬對象)接觸的時間比基準時間更長，如 圖3所示；如果用戶手指(即真實對象10)分別與多個字符(即虛擬對象)接觸的時間比 基準時間更長，如圖4所示；或者如果用戶手指(即真實對象10)與圖標(即虛擬對象)的 部分處存在的兩個標記接觸，如圖5和圖6所示，則控制單元160確定出虛擬對象和真實對 象10之間的接觸是用于選擇虛擬對象的輸入。如果在操作S220中確定了虛擬對象和真實對象10之間的接觸是用于選擇所述虛 擬對象的輸入，則控制單元160實時地跟蹤真實對象10在全息圖顯示區中的運動，并控制 全息圖輸出單元120，使得與真實對象10接觸的虛擬對象能夠與真實對象10的運動相對應 地運動(S230)。基于所述虛擬對象的運動，控制單元160識別出由用戶輸入了用于執行指 定功能的指令或者由所述用戶輸入了用于取消所述指定功能的執行的指令(SMO)。在操作S240中，如果圖標(即虛擬對象)在操作S230中在任意方向以任意角度旋 轉，如圖6所示；如果虛擬對象被拖動到諸如圖標的任意虛擬對象所處的位置，以提供在全 息圖顯示區中顯示的執行或取消功能，如圖5所示；如果用于提供執行或取消功能的諸如 圖標的任意虛擬對象被拖動到在全息圖顯示區中顯示將要執行或取消的虛擬對象的位置， 如圖3所示；或者，如果真實對象10的運動模式與任意運動模式相匹配，即，與如圖7所示 的三維坐標軸中任意一個相匹配，則控制單元160識別出由用戶輸入了用于執行任意功能 (諸如顯示關閉)的指令或者由所述用戶輸入了用于取消指定功能的執行的指令。如果在操作S240中識別出由用戶輸入了用于執行指定功能的指令或者由所述用 戶輸入了用于取消指定功能的執行的指令，則控制單元160控制全息圖輸出單元120改變全息圖顯示區的顏色或形狀或者在全息圖顯示區中顯示的虛擬對象的顏色或形狀。然后， 控制單元160控制觸覺提供單元140向全息圖顯示區提供聲輻射壓。當在操作S220中確定了虛擬對象和真實對象10之間的接觸是用于選擇虛擬對象 的輸入時，控制單元160跟蹤真實對象10在全息圖顯示區中的運動，并確定與虛擬對象接 觸的真實對象10是否處于全息圖顯示區(即，用于跟蹤真實對象10的運動的范圍)之外 或者退出全息圖顯示區。如果確定了真實對象10處于所述范圍之外或者退出所述范圍，或 者真實對象10與真實對象10所同時接觸的多個標記中的一個脫離接觸，則控制單元160 確定了取消用于選擇虛擬對象的輸入，并控制全息圖輸出單元120改變在全息圖顯示區中 顯示的虛擬對象的顏色或形狀。然后，控制單元160控制觸覺提供單元140向全息圖顯示 區提供聲輻射壓。圖3示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如 圖3所示，用戶利用真實對象10 (例如，手指)來選擇與執行功能相關聯的虛擬對象12，并 將虛擬對象拖動至代表將要執行的功能的另一個虛擬對象14。在這樣的情況下，控制單元 160執行與虛擬對象14相關聯的功能。圖4示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如 圖4所示，用戶利用多個真實對象10 (例如，附接到用戶手指上的小尺寸設備)來選擇多個 虛擬對象C、c和A，響應于該選擇操作，控制單元160執行功能。圖5示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如 圖5所示，用戶利用多個真實對象10 (例如，手指)來接觸虛擬對象16的多個標記以選擇 虛擬對象16，并可將虛擬對象16拖動至另一個虛擬對象，例如，拖動至代表執行功能的虛 擬對象18。在這種情況下，控制單元160執行與虛擬對象16相關聯的功能。圖6示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如 圖6所示，用戶利用多個真實對象10 (例如，手指)來接觸虛擬對象20的多個標記以選擇 虛擬對象20，并操作該虛擬對象20。例如，用戶可以旋轉虛擬對象20。圖7示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如 圖7所示，用戶利用一個或多個真實對象10 (例如，手指)來執行穿過所顯示的或所投射的 虛擬對象22的揮擊(swipe)，響應于該揮擊，控制單元160可以執行功能。例如，在圖7中， 控制單元160響應于揮擊來執行顯示關閉功能。圖8是示出根據示例性實施方式的使用全息圖的用戶界面的構造的框圖。圖10 示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸入的方法。如圖8所示，使 用全息圖的觸摸式用戶界面200包括存儲單元110、全息圖輸出單元120、真實對象感應單 元130、觸覺提供單元140、接觸識別單元150、控制單元160和通信單元170。以下參照圖 8和圖10來描述觸摸式用戶界面200。盡管此處被描述為觸摸式用戶界面200，但是，就各 方面而言，用戶界面200并非必須是觸摸式的。存儲單元110存儲關于各個虛擬對象的形狀、功能、初始位置和初始運動模式的 信息。關于初始位置的信息包括三維位置坐標等。關于初始運動模式的信息包括三維位置 坐標、向量值(即，運動距離、方向和速度)等。全息圖輸出單元120在控制單元160的控制下在空間中的任意區域中投射全息圖 顯示區，并在所投射的全息圖顯示區中顯示虛擬對象。
如果在通信單元170中接收來自全息圖顯示區中存在的真實對象IOa和/或IOb 的無線信號，則真實對象感應單元130提取包含在所接收的無線信號中的真實對象IOa和 /或IOb的功能信息，并利用所接收的無線信號來生成關于全息圖顯示區中的真實對象IOa 和/或IOb的位置和運動模式的信息。然后，真實對象感應單元130向控制單元160提供 所生成的信息。真實對象IOa和IOb包括不同的功能。例如，真實對象IOa包括或代表輸入選擇 的功能、輸入執行指令的功能等，而真實對象IOb包括或代表輸入取消選擇的功能、輸入取 消指令的功能等。真實對象IOa和IOb可以是具有發送無線信號的功能的小尺寸設備，其 中，所述無線信號包含關于所包含的功能的信息。可以以可附接到用戶手指的形狀來形成 所述小尺寸設備。通信單元170與真實對象IOa和/或IOb進行無線通信。通信單元170接收從真 實對象發送的無線信號，并向真實對象感應單元130提供所接收的無線信號。例如，通信單 元170包括定向天線模塊(未示出)等。真實對象感應單元130從通信單元170接收從全息圖顯示區中存在的真實對象 IOa和/或IOb發送的無線信號，并且，真實對象感應單元130利用所接收的無線信號的接 收強度來確定與真實對象IOa和/或IOb的距離。然后，真實對象感應單元130利用所確定 的與真實對象IOa和/或IOb的距離以及無線信號的接收方向來獲取在全息圖顯示區中發 送無線信號的真實對象IOa和/或IOb的三維位置坐標，并且真實對象感應單元130利用 所獲得的三維位置坐標生成關于真實對象IOa和/或IOb的位置的信息。真實對象感應單 元130利用基于真實對象10的位置變化的真實對象IOa和/或IOb的三維位置坐標的變 化來計算基于真實對象IOa和/或IOb的位置變化的向量值，并且，真實對象感應單元130 利用所計算出的向量值來生成關于真實對象IOa和/或IOb的運動模式的信息。觸覺提供單元140在控制單元160的控制下通過輻射聲波來向全息圖顯示區提供 聲輻射壓。結果，全息圖顯示區中存在的真實對象IOa和/或IOb受到由觸覺提供單元140 提供的聲輻射壓的影響。控制單元160控制全息圖輸出單元120投射全息圖顯示區，并控制虛擬對象以使 其顯示在所投射的全息圖顯示區中。控制單元160利用存儲單元110中存儲的信息來控制 虛擬對象，以提供將分別在它們的初始位置處顯示或者將分別以它們的初始模式運動的各 種功能。接觸識別單元150利用由真實對象感應單元130生成的關于真實對象IOa和/或 IOb的位置和運動模式的信息以及存儲單元110中存儲的信息，來實時地識別由全息圖輸 出單元120投射的全息圖顯示區中的各個真實對象IOa和/或IOb以及虛擬對象的位置和 運動模式。因此，接觸識別單元150確定在全息圖顯示區中是否發生虛擬對象與真實對象 IOa和/IOb之間的接觸。如果與各個虛擬對象及真實對象IOa和/或IOb的形狀相對應的 三維位置坐標的一部分在全息圖顯示區中交疊，則接觸識別單元150識別出在虛擬對象和 真實對象IOa和/或IOb之間發生接觸。如果接觸識別單元150識別出在全息圖顯示區中發生了虛擬對象和真實對象IOa 和/或IOb之間的接觸，則控制單元160利用由真實對象感應單元130提取的真實對象IOa 和/或IOb的功能信息來識別與虛擬對象接觸的真實對象IOa和/或IOb的功能，并基于所識別的真實對象IOa和/或IOb的功能來識別出虛擬對象和真實對象IOa和/或IOb之 間的接觸是用戶輸入。控制器160可確定出虛擬對象和真實對象IOa和/或IOb之間的接 觸是否對應于用于選擇所述虛擬對象的輸入或者用于取消所述選擇的輸入，虛擬對象和真 實對象IOa和/或IOb之間的接觸是否對應于用于執行任意功能的指令或者用于取消所述 任意功能的執行的指令等。如果確定了虛擬對象和真實對象IOa和/或IOb之間的接觸對應于用于選擇所述 虛擬對象的輸入或者用于取消所述選擇的輸入，則控制單元160可以控制全息圖輸出單元 120改變與真實對象IOa和/或IOb接觸的虛擬對象的顏色或形狀。控制單元160還可以 控制觸覺提供單元140以向全息圖顯示區提供聲輻射壓。如果確定了虛擬對象和真實對象IOa和/或IOb之間的接觸是用于選擇虛擬對象 的輸入，則控制單元160利用由真實對象感應單元130生成的關于真實對象IOa和/或IOb 的運動模式的信息來實時地跟蹤真實對象IOa和/或IOb在全息圖顯示區中的運動。然后， 控制單元160控制全息圖輸出單元120以使與真實對象IOa和/或IOb接觸的虛擬對象能 夠與真實對象IOa和/或IOb的運動相對應地運動。如果識別出由用戶輸入了用于執行任意功能的指令或者由用戶輸入了用于取消 所述任意功能的指令，則控制單元160控制全息圖輸出單元120改變全息圖顯示區的顏色 或形狀或者在全息圖顯示區中顯示的虛擬對象的顏色或形狀。控制單元160可以控制觸覺 提供單元140以向全息圖顯示區提供聲輻射壓。以下將參照圖9和圖10來描述根據示例性實施方式的使用全息圖來識別用戶界 面中的輸入的方法。圖9是示出根據示例性實施方式的使用全息圖來識別用戶界面中的輸 入的方法的流程圖。首先，使用全息圖的用戶界面200在空間中投射全息圖顯示區，并在所投射的全 息圖顯示區中顯示虛擬對象(S300)。如果確定了真實對象IOa和/或IOb與操作S300中顯示的虛擬對象中的一個之 間發生了接觸(S310)，則控制單元160識別與虛擬對象接觸的真實對象IOa和/或IOb的 功能(S320)，并基于所識別的真實對象IOa和/或IOb的功能來識別出虛擬對象與真實對 象IOa和/或IOb之間的接觸是用戶輸入(S330)。在操作S330中，控制單元160可以確定虛擬對象和真實對象IOa和/或IOb之間 的接觸是否對應于用于選擇所述虛擬對象的輸入或者用于取消所述選擇的輸入，或者，控 制單元160可確定由用戶輸入了用于執行指定功能的指令，或者由所述用戶輸入了用于取 消所述指定功能的執行的指令。如果在操作S330中確定了虛擬對象和真實對象IOa和/或IOb之間的接觸對應 于用于選擇所述虛擬對象的輸入，則控制單元160實時地跟蹤真實對象IOa和/或IOb的 運動，并控制全息圖輸出單元120以使與真實對象IOa和/或IOb接觸的虛擬對象能夠與 真實對象IOa和/或IOb的運動相對應地運動。如果在操作S330中確定了虛擬對象和真實對象IOa和/或IOb之間的接觸對應 于用于選擇所述虛擬對象的輸入或者用于取消所述選擇的輸入，則控制單元160控制全息 圖輸出單元120改變與真實對象IOa和/或IOb接觸的虛擬對象的顏色或形狀。例如，在 操作S330中，如果具有輸入選擇的功能的真實對象IOa與虛擬對象接觸，如圖10所示，則控制單元160確定了虛擬對象和真實對象IOa之間的接觸對應于用于選擇所述虛擬對象的 輸入。如果具有輸入取消選擇的功能的真實對象IOb與虛擬對象接觸，則控制單元160確 定了虛擬對象和真實對象IOb之間的接觸對應于用于取消所述虛擬對象的選擇的輸入。如 果在操作S330中識別出由用戶輸入了用于執行指定功能的指令，或者由所述用戶輸入了 用于取消指定功能的執行的指令，則控制單元160控制全息圖輸出單元120改變全息圖顯 示區的顏色或形狀或者與真實對象IOa和/或IOb接觸的虛擬對象的顏色或形狀。然后， 控制單元160控制觸覺提供單元140以向全息圖顯示區提供聲輻射壓。例如，在操作S330中，如果具有輸入執行指令的功能的真實對象IOa與虛擬對象 接觸，如圖10所示，則控制單元160識別出由于虛擬對象與具有輸入所述執行指令的功能 的真實對象IOa之間的接觸而輸入了用于執行指定功能的指令。如果具有輸入用于取消所 述執行的指令的功能的真實對象IOb與虛擬對象接觸，則控制單元160識別出由于虛擬對 象與具有輸入用于取消所述執行的指令的功能的真實對象IOb之間的接觸而輸入了用于 取消指定功能的執行的指令。由于多個真實對象IOa和/或IOb具有各種不同的功能，所 以用戶可以在不同的手指上放置具有不同功能的真實對象IOa和/或10b，以操作使用全息 圖的用戶界面。此處公開的使用全息圖的用戶界面不限于前述實施方式，但是可以在由此處公開 的技術精神允許的范圍內進行各種修改。根據此處公開的使用全息圖的用戶界面，利用全息圖在空間中顯示用于用戶輸入 的虛擬對象，并且通過所顯示的虛擬對象來識別用戶輸入。并且，根據此處公開的使用全息圖的用戶界面，由于用戶輸入被識別，所以可通過 視覺或觸覺效果將用戶輸入的識別反饋給用戶。對于本領域技術人員而言很明顯，在不脫離本發明的精神或范圍的情況下可在本 發明中做出各種修改和變型。因此，本發明旨在涵蓋落入所附權利要求及其等同物的范圍 內的本發明的修改和變型。
權利要求
1.一種用戶界面，該用戶界面包括存儲單元，其存儲關于虛擬對象的形狀、功能、位置和運動摸式的信息；全息圖輸出單元，其投射出全息圖顯示區并且在所投射的全息圖顯示區中顯示所述虛 擬對象；真實對象感應單元，其感應所述全息圖顯示區中的真實對象并且生成關于所述真實對 象的位置和運動摸式的信息；接觸識別單元，其根據由所述真實對象感應單元生成的關于所述真實對象的位置和運 動摸式的信息以及所述存儲單元中存儲的信息，來確定所述全息圖顯示區中的各個虛擬對 象和所述真實對象的位置和運動摸式，以識別所述虛擬對象和所述真實對象之間的接觸； 以及控制單元，其確定所述虛擬對象和所述真實對象之間的所識別的接觸是否對應于用于 選擇所述虛擬對象的輸入。
2.根據權利要求1所述的用戶界面，其中，如果確定了所述虛擬對象和所述真實對象 之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則所述控制單元搜索所述存儲單元 中存儲的信息以確定與所述真實對象接觸的所述虛擬對象的功能，并確定出輸入了用于執 行所確定的功能的指令。
3.根據權利要求1所述的用戶界面，其中，如果確定了所述虛擬對象和所述真實對象 之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則控制單元控制所述全息圖輸出單 元改變與所述真實對象接觸的所述虛擬對象的顏色或形狀。
4.根據權利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象和 所述真實對象之間的所述接觸對應于用于取消所述選擇的輸入，則所述控制單元控制所述 全息圖輸出單元改變與所述真實對象接觸的所述虛擬對象的顏色或形狀。
5.根據權利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象和 所述真實對象之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則所述控制單元根據 由所述真實對象感應單元生成的關于所述真實對象的運動模式的信息來跟蹤所述真實對 象在所述全息圖顯示區中的運動，并且所述控制單元控制所述全息圖輸出單元以使與所述 真實對象接觸的所述虛擬對象與所述真實對象的運動相對應地運動。
6.根據權利要求1所述的用戶界面，其中，如果所述真實對象與所述虛擬對象接觸的 時間比基準時間長，則所述控制單元確定出所述虛擬對象和所述真實對象之間的所述接觸 對應于用于選擇所述虛擬對象的輸入。
7.根據權利要求1所述的用戶界面，其中，如果多個所述真實對象與所述虛擬對象的 多個標記接觸，則所述控制單元確定出所述虛擬對象和多個所述真實對象之間的所述接觸 對應于用于選擇所述虛擬對象的輸入。
8.根據權利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象和 所述真實對象之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則所述控制單元根據 由所述真實對象感應單元生成的關于所述真實對象的運動模式的信息來跟蹤所述真實對 象在所述全息圖顯示區中的運動，并且，如果與所述虛擬對象接觸的所述真實對象處于由 所述真實對象感應單元感應的范圍之外，則所述控制單元確定出取消了用于選擇所述虛擬 對象的輸入。
9.根據權利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象和 所述真實對象之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則所述控制單元根據 由所述真實對象感應單元生成的關于所述真實對象的運動模式的信息來跟蹤所述真實對 象在所述全息圖顯示區中的運動，并且，如果多個所述真實對象中的一個與所述多個真實 對象所接觸的所述多個標記中的一個脫離接觸，則所述控制單元確定出取消了用于選擇所 述虛擬對象的輸入。
10.根據權利要求1所述的用戶界面，其中，所述控制單元對所述全息圖輸出單元進行 控制，以響應于與所述虛擬對象接觸的所述真實對象的旋轉運動來旋轉所述虛擬對象，或 者基于與所述虛擬對象接觸的所述真實對象的運動響應于所述真實對象的運動位置來拖 動所述虛擬對象，并且，所述控制單元確定出輸入了用于執行指定功能的指令，或者輸入了 用于取消所述指定功能的執行的指令。
11.根據權利要求1所述的用戶界面，其中，如果所述虛擬對象沿一方向以一角度旋 轉，如果所述虛擬對象被拖動到用于提供執行功能或取消功能的虛擬對象被顯示的位置， 如果用于提供所述執行功能或所述取消功能的所述虛擬對象被拖動到要被執行或取消的 虛擬對象被顯示的位置，或者如果所述真實對象的所述運動模式對應于指定的運動模式， 則所述控制單元識別出輸入了用于執行指定功能的指令或者輸入了用于取消所述指定功 能的執行的指令。
12.根據權利要求11所述的用戶界面，其中，如果確定出輸入了用于執行所述指定功 能的指令或者輸入了用于取消所述指定功能的執行的指令，則所述控制單元控制所述全息 圖輸出單元改變所述全息圖顯示區的顏色或形狀或者改變所述全息圖顯示區中顯示的所 述虛擬對象的顏色或形狀。
13.根據權利要求1所述的用戶界面，該用戶界面還包括觸覺提供單元，該觸覺提供單 元輻射聲波以向所述全息圖顯示區提供聲輻射壓。
14.根據權利要求1所述的用戶界面，其中，所述真實對象感應單元確定所述真實對象 在所述全息圖顯示區中的三維位置坐標，利用所確定的三維位置坐標來生成關于所述真實 對象的位置的信息，根據所述真實對象的所述三維位置坐標的變化來計算根據所述真實對 象的位置變化的向量值，并根據所計算出的向量值來生成關于所述真實對象的所述運動模 式的信息。
15.根據權利要求14所述的用戶界面，其中，所述真實對象感應單元根據電容性觸摸 屏方法、紅外觸摸屏方法、電磁共振數字轉換器方法或者圖像識別方法中的一種方法來確 定所述真實對象在所述全息圖顯示區中的三維坐標。
16.根據權利要求14所述的用戶界面，其中，所述真實對象發送無線信號。
17.根據權利要求16所述的用戶界面，其中，所述真實對象感應單元包括與所述真實 對象通信的通信單元，并且其中，所述真實對象感應單元通過所述通信單元接收從所述真實對象發送的所述無線 信號，根據所接收的無線信號的接收強度來確定與所述真實對象的距離，并根據所確定的 與所述真實對象的距離以及所接收的無線信號的接收方向來確定所述真實對象的三維坐 標。
18.一種用戶界面，該用戶界面包括存儲單元，其存儲關于虛擬對象的形狀、功能、位置和運動摸式的信息；全息圖輸出單元，其投射出全息圖顯示區并且在所投射的全息圖顯示區中顯示虛擬對象；通信單元，其接收從發送無線信號的真實對象發送的所述無線信號，該無線信號包含 fn息；真實對象感應單元，其從所述通信單元接收所述無線信號，提取所述無線信號中包含 的所述信息，并且根據所述無線信號生成關于所述全息圖顯示區中的所述真實對象的位置 和運動摸式的信息；接觸識別單元，其根據由所述真實對象感應單元生成的關于所述真實對象的位置和運 動摸式的信息以及所述存儲單元中存儲的信息來確定所述全息圖顯示區中的各個虛擬對 象和所述真實對象的位置和運動摸式，以識別所述虛擬對象和所述真實對象之間的接觸； 以及控制單元，其根據由所述真實對象感應單元提取的所述真實對象的信息來確定與所述 虛擬對象接觸的所述真實對象的功能。
19.根據權利要求18所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象 和所述真實對象之間的所述接觸對應于用于選擇所述虛擬對象的輸入或者用于取消所述 選擇的輸入，則所述控制單元控制所述全息圖輸出單元改變與所述真實對象接觸的所述虛 擬對象的顏色或形狀。
20.根據權利要求18所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對象 和所述真實對象之間的所述接觸對應于用于選擇所述虛擬對象的輸入，則所述控制單元根 據由所述真實對象感應單元生成的關于所述真實對象的運動模式的信息來跟蹤所述真實 對象在所述全息圖顯示區中的運動，并且所述控制單元控制所述全息圖輸出單元以使與所 述真實對象接觸的所述虛擬對象與所述真實對象的運動相對應地運動。
21.根據權利要求18所述的用戶界面，其中，如果所述控制單元確定出通過所述虛擬 對象和所述真實對象之間的接觸而輸入了用于執行指定功能的指令或者通過所述虛擬對 象和所述真實對象之間的接觸而輸入了用于取消所述指定功能的執行的指令，則所述控制 單元控制所述全息圖輸出單元改變所述全息圖顯示區的顏色或形狀或者改變所述全息圖 顯示區中所顯示的所述虛擬對象的顏色或形狀。
22.根據權利要求18所述的用戶界面，該用戶界面還包括觸覺提供單元，該觸覺提供 單元輻射聲波以向所述全息圖顯示區提供聲輻射壓。
23.根據權利要求18所述的用戶界面，其中，所述真實對象感應單元從所述通信單元 接收由所述真實對象發送的所述無線信號，所述真實對象感應單元根據所接收的無線信號 的接收強度來確定與所述真實對象的距離，根據所確定的與所述真實對象的距離以及所述 無線信號的接收方向來確定所述真實對象的所述三維位置坐標，根據所確定的三維位置坐 標來生成關于所述真實對象的位置的信息，根據基于所述真實對象的位置變化的所述真實 對象的所述三維位置坐標的變化來計算根據所述真實對象的位置變化的向量值，并且根據 所計算出的向量值來生成關于所述真實對象的所述運動模式的信息。
24.一種用戶界面，該用戶界面包括存儲單元，其存儲關于虛擬對象的信息；全息圖輸出單元，其在全息圖顯示區中投射出所述虛擬對象； 真實對象感應單元，其感應所述全息圖顯示區中的真實對象； 接觸識別單元，其根據關于所述虛擬對象的信息以及關于所感應的真實對象的信息來 確定所述真實對象和所述虛擬對象之間的接觸；以及控制單元，其確定所識別的接觸是否對應于用于選擇所述虛擬對象的輸入。
25.一種用于用戶界面的方法，該方法包括以下步驟 在全息圖顯示區中顯示虛擬對象；確定真實對象和所述虛擬對象之間是否發生接觸；確定所述真實對象和所述虛擬對象之間的所述接觸是否對應于用于選擇所述虛擬對 象的輸入；根據所述真實對象的運動來使所選擇的虛擬對象運動；以及 根據所選擇的虛擬對象的運動來執行與所選擇的虛擬對象相對應的功能。
26.一種用于用戶界面的方法，該方法包括以下步驟 在全息圖顯示區中顯示虛擬對象；確定真實對象和所述虛擬對象之間是否發生接觸； 如果發生接觸，則確定所述真實對象的功能；以及 針對所述虛擬對象執行所述真實對象的功能。
27.根據權利要求沈所述的方法，其中，確定所述真實對象的所述功能的步驟包括接 收從所述真實對象發送的信號。
全文摘要
本發明涉及使用全息圖的用戶界面和用于該用戶界面的方法。該使用全息圖的用戶界面包括存儲單元，其存儲關于虛擬對象的形狀、功能、位置和運動摸式的信息；全息圖輸出單元，其投射出全息圖顯示區并且在所投射的全息圖顯示區中顯示所述虛擬對象；真實對象感應單元，其感應所述全息圖顯示區中的真實對象并且生成關于所述真實對象的位置和運動摸式的信息；接觸識別單元，其確定各個虛擬對象和所述真實對象的位置和運動摸式，以識別所述虛擬對象和所述真實對象之間的接觸；以及控制單元，其確定所述虛擬對象和所述真實對象之間的所識別的接觸是否對應于用于選擇所述虛擬對象的輸入。
文檔編號G06F3/048GK102141877SQ20101025518
公開日2011年8月3日 申請日期2010年8月13日 優先權日2010年1月29日
發明者元奇燮, 安秀彬, 李瀚權, 林亨衍, 林鉉瑾, 鄭燦成, 金應奉, 金起正, 韓義錫 申請人:株式會社泛泰