用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用戶接口設(shè)備領(lǐng)域。更具體地說，本發(fā)明涉及基于視口的增強現(xiàn)實觸 覺效果。
【背景技術(shù)】
[0002] 隨著基于計算機的系統(tǒng)變得更加普遍，接口的質(zhì)量也變得越來越重要，人類通過 接口與這些系統(tǒng)交互。一種常見類型的用戶接口是增強現(xiàn)實用戶接口。增強現(xiàn)實接口典型 地允許用戶經(jīng)由顯示器，觀看已經(jīng)利用虛擬內(nèi)容補充（"增強"）的相機數(shù)據(jù)。該虛擬內(nèi)容 可以包括文本、圖像、或者聲音，其可以向用戶提供關(guān)于與相機數(shù)據(jù)相關(guān)聯(lián)的場景的方面的 附加信息。通過包括觸覺能力可以改進增強現(xiàn)實接口。
【發(fā)明內(nèi)容】
[0003] 本公開的實施例包括計算設(shè)備，該計算設(shè)備包含基于視口的增強現(xiàn)實觸覺效果。 在一個實施例中，本公開的系統(tǒng)可以包含顯示器，該顯示器被配置為接收顯示信號和輸出 圖像；和圖像捕捉設(shè)備（例如，相機），該圖像捕捉設(shè)備被配置為捕捉區(qū)域圖像和傳送圖像 信號。該系統(tǒng)還可以包含與圖像捕捉設(shè)備和顯示器通信的處理器，該處理器被配置為：接收 圖像信號；部分基于圖像信號確定虛擬對象；部分基于圖像信號確定顯示信號，其中顯示 信號包含與虛擬對象相關(guān)聯(lián)的數(shù)據(jù)；至少部分基于虛擬對象確定觸覺效果；和傳送與觸覺 效果相關(guān)聯(lián)的觸覺信號。該系統(tǒng)進一步可以包含觸覺輸出設(shè)備，該觸覺輸出設(shè)備被配置為 接收觸覺信號和輸出觸覺效果。
[0004] 在另一個實施例中，本公開的方法可以包括：接收圖像信號，其中圖像信號包含區(qū) 域圖像；部分基于圖像信號確定虛擬對象；部分基于圖像信號確定顯示信號，其中顯示信 號包含與虛擬對象相關(guān)聯(lián)的數(shù)據(jù)；和將顯示信號傳送到顯示器，其中顯示器被配置為輸出 圖像。該方法可以進一步包含至少部分基于虛擬對象確定觸覺效果；將與觸覺效果相關(guān)聯(lián) 的觸覺信號傳送到觸覺輸出設(shè)備；和輸出觸覺效果。再一個實施例包含用于實現(xiàn)這種方法 的計算機可讀介質(zhì)。
[0005] 這些說明性實施例被提及并不用以限制或者定義本主題的限制，而是提供示例以 幫助其理解。在【具體實施方式】中討論說明性實施例，以及在那里提供進一步描述。可通過 解釋該說明書和/或通過實踐所請求主題的一個或多個實施例來進一步理解通過各種實 施例提供的優(yōu)點。
【附圖說明】
[0006] 在說明書的剩余部分更具體地陳述全面和實現(xiàn)公開。該說明書參照下述附圖。
[0007] 圖1是示出根據(jù)一個實施例的用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)的框圖；
[0008] 圖2示出用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)的實施例；
[0009] 圖3示出用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)的另一個實施例；
[0010] 圖4示出根據(jù)一個實施例的用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)；
[0011] 圖5示出根據(jù)另一個實施例的用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)；
[0012] 圖6是根據(jù)一個實施例的用于執(zhí)行用于提供基于視口的增強現(xiàn)實觸覺效果的方 法的步驟的流程圖；和
[0013] 圖7示出根據(jù)另一個實施例的用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)。
【具體實施方式】
[0014] 現(xiàn)在將詳細地參照各種和替代說明性實施例以及附圖。每個示例均通過解釋提供 并且不作為限制。對于本領(lǐng)域內(nèi)技術(shù)人員將是顯而易見的是，可以做出各種修改和變體。例 如，作為一個實施例的部分說明的或者描述的特征可用在另一個實施例中以產(chǎn)生又一個進 一步實施例。如此，該公開旨在包括所附權(quán)利要求和其等同物的范圍內(nèi)的修改和變體。
[0015] 基于視口的增強現(xiàn)實觸覺效果的說明性示例
[0016] 本公開的一個說明性實施例包含移動設(shè)備，諸如智能手機。移動設(shè)備包含觸摸屏 顯示器、存儲器、相機和與這些元件中的每一個通信的處理器。觸摸屏顯示器包含視口。視 口包含顯示數(shù)據(jù)（例如，文本或者圖像）的屏幕范圍。在一些實施例中，視口可以包含屏幕 的整個區(qū)域。
[0017] 在說明性實施例中，移動設(shè)備還包含增強現(xiàn)實應(yīng)用。增強現(xiàn)實應(yīng)用經(jīng)由顯示器，輸 出已經(jīng)利用諸如文本或者圖像的虛擬內(nèi)容補充（"增強"）的相機數(shù)據(jù)。虛擬內(nèi)容可以是 靜態(tài)的或者動畫的。在說明性實施例中，用戶可以執(zhí)行增強現(xiàn)實應(yīng)用和使用移動設(shè)備的相 機以利用移動設(shè)備捕捉圖像。例如，用戶可以定向移動設(shè)備，使得相機捕捉住宅的房間的圖 像。在這種實施例中，增強現(xiàn)實應(yīng)用從相機接收圖像數(shù)據(jù)并將該數(shù)據(jù)輸出到觸摸屏顯示器。 在一些實施例中，該圖像數(shù)據(jù)可以被實時更新，例如，增強現(xiàn)實應(yīng)用可以繼續(xù)從相機接收更 新的圖像數(shù)據(jù)。在一些實施例中，用戶可以感知相機數(shù)據(jù)，好像用戶正通過顯示器看著。
[0018] 在說明性實施例中，用戶可以選擇虛擬對象以包括在增強現(xiàn)實應(yīng)用中。例如，用戶 可以從與增強現(xiàn)實應(yīng)用相關(guān)聯(lián)的目錄選擇與一件家具相關(guān)聯(lián)的虛擬對象。在這種實施例 中，增強現(xiàn)實應(yīng)用在觸摸屏顯示器中生成家具的圖形表示。例如，增強現(xiàn)實應(yīng)用可以生成家 具的三維（3D)虛擬表示，允許用戶經(jīng)由觸摸屏顯示器觀看房間中的家具。進一步，在說明 性實施例中，用戶可以使用應(yīng)用來觀看不同位置中的和具有不同定向、比例和顏色的虛擬 對象（例如，家具的圖像）。如此，在說明性實施例中，設(shè)計者、經(jīng)銷商、零售商或者其他賣家 可以提供增強現(xiàn)實應(yīng)用和目錄以允許用戶在購買之前選擇和觀看商品。在其他實施例中， 增強現(xiàn)實應(yīng)用可以被用于向用戶提供關(guān)于例如公司、產(chǎn)品或者位置的附加信息（例如，地 址，價格信息，歷史信息，教育信息，或者評論）；和/或從通過相機捕捉的場景添加、修改或 者移除對象（例如，人們，動物，建筑物，景觀特征，機動車）。
[0019] 在說明性實施例中，用戶可以通過在觸摸屏上做手勢（例如，手指揮動或者接觸 觸摸屏上顯示的對象）來改變圖像或者虛擬對象。如上所述，在說明性實施例中，增強現(xiàn)實 應(yīng)用將虛擬對象層加在相機的數(shù)據(jù)上。在說明性實施例中，通過改變設(shè)備的定向或者通過 在觸摸屏顯示器上做手勢，用戶可以更改位置、定向、比例、顏色或者與虛擬對象相關(guān)聯(lián)的 其他因素。這可以允許用戶感知各個位置中適當(dāng)?shù)奶摂M對象（例如，一件家具在各個房間 可以看起來怎么樣）。
[0020] 在說明性實施例中，移動設(shè)備進一步包含觸覺輸出設(shè)備。觸覺輸出設(shè)備從移動設(shè) 備接收信號并將觸覺效果輸出到用戶。在說明性實施例中，觸覺效果可以包含模擬的紋理、 震動、或者感知的摩擦系數(shù)的改變。進一步，在說明性實施例中，觸覺輸出設(shè)備輸出遠離移 動設(shè)備的觸覺效果（下文中稱為"遠程觸覺效果"）。例如，通過在用戶的方向上發(fā)射集中 壓力波，或者通過在用戶處從噴嘴發(fā)射固體、液體或者氣體，觸覺輸出設(shè)備可以輸出遠程觸 覺效果。替代地，在一些實施例中，觸覺輸出設(shè)備可以從移動設(shè)備分離。例如，觸覺輸出設(shè) 備可以與可穿戴物品（例如，袖子、手表、手鏈、衣服、夾克、眼鏡、手套、戒指、頭帶、帽子或 者鞋子）相關(guān)聯(lián)，并通信地耦合到移動設(shè)備（例如，經(jīng)由網(wǎng)絡(luò)連接、藍牙連接、或者某個其他 有線或者無線連接）。
[0021] 在說明性實施例中，移動設(shè)備被配置為一旦事件發(fā)生就經(jīng)由觸覺輸出設(shè)備輸出觸 覺效果。如本文中所用的事件是任何的交互、動作、碰撞、或者可以潛在地包含關(guān)聯(lián)的觸覺 效果的設(shè)備的操作期間發(fā)生的其他事件。在說明性實施例中，事件包含虛擬對象的存在 (例如，虛擬家具的存在），與移動設(shè)備的交互（例如，傾斜或者移動移動設(shè)備，與觸摸屏顯 示器交互），移動設(shè)備中的狀態(tài)的改變，接收數(shù)據(jù)，發(fā)送數(shù)據(jù)，程序活動（例如，游戲活動）， 與虛擬對象交互，虛擬對象的移動（例如，虛擬對象的移動或者彈跳），和/或虛擬對象的比 例、位置、定向、顏色或者其他特性的改變。
[0022] 例如，在說明性實施例中，當(dāng)用戶與虛擬對象交互（例如，通過觸摸與虛擬家具相 關(guān)聯(lián)的位置或者觸摸與虛擬對象相關(guān)聯(lián)的真實空間中的區(qū)域），或者在觸摸屏顯示器的表 面上做手勢（例如，改變虛擬家具的顏色、尺寸或者定向）時，移動設(shè)備輸出效果。進一步， 觸覺效果可以與虛擬對象相關(guān)聯(lián)。例如，在說明性實施例中，當(dāng)用戶與和虛擬家具相關(guān)聯(lián)的 觸摸屏的位置交互時，移動設(shè)備確定與和虛擬家具相關(guān)聯(lián)的材料（例如，木頭，玻璃，金屬 或者塑料）相關(guān)聯(lián)的觸覺效果，并輸出與那些材料的一個或多個相關(guān)聯(lián)的觸覺效果（例如， 觸覺效果被配置為向用戶模擬材料的紋理）。作為另一個示例，在說明性實施例中，如果用 戶觸摸與一件虛擬家具相關(guān)聯(lián)的真實空間中的區(qū)域，那么移動設(shè)備輸出遠程觸覺效果，包 含例如，被發(fā)射到用戶的手的背面的一股空氣。用戶可以感知遠程觸覺效果，好像用戶正在 與真實空間中的虛擬對象交互。
[0023] 上面僅僅提供說明性實施例的描述作為示例。文本中描述本發(fā)明的各種其他實施 例，并且本領(lǐng)域內(nèi)技術(shù)人員將理解這些實施例的變體。通過檢查該說明書和/或通過實踐 所請求保護主題的一個或多個實施例，可進一步理解通過各種實施例提供的優(yōu)點。
[0024] 用于基于視口的增強現(xiàn)實觸覺效果的說明性系統(tǒng)
[0025] 圖1是示出根據(jù)一個實施例的用于基于視口的增強現(xiàn)實觸覺效果的系統(tǒng)100的框 圖。在所示的實施例中，系統(tǒng)100包含計算設(shè)備101，計算設(shè)備101具有經(jīng)由總線106與其 他硬件通信的處理器102。計算設(shè)備101可以包含，例如，智能手機、平板電腦、電子閱讀器、 筆記本計算機、便攜式游戲設(shè)備、頭帶式顯示器或者眼鏡。
[0026] 存儲器104含有配置計算設(shè)備101的操作的程序組件，存儲器104可以包含任何 適當(dāng)?shù)挠行危ê头菚簳r性）計算機可讀介質(zhì)，諸如RAM、ROM、EEPR0M，或者類似物。在所示 的實施例中，計算設(shè)備101進一步包括一個或多個網(wǎng)絡(luò)接口設(shè)備110、輸入/輸出（I/O)接 口組件112、和儲存器114。
[0027] 網(wǎng)絡(luò)設(shè)備110可以表示易于網(wǎng)絡(luò)連接的任何組件的一個或多個。示例包括，但不 限于，諸如以太網(wǎng)、USB、IEEE 1394的有線接口，和/或諸如IEEE 802. 11、藍牙或者用于訪 問蜂窩電話網(wǎng)絡(luò)的無線電接口（例如，用于訪問00獻、651、1]|〇^、或者其他移動通信網(wǎng)絡(luò)的 收發(fā)器/天線）的無線接口。
[0028] I/O組件112可以用于易于有線或者無線連接到設(shè)備，設(shè)備諸如一個或多個顯示 器134、游戲控制器、鍵盤、鼠標(biāo)、控制桿、相機、按鈕、揚聲器、麥克風(fēng)和/或用于輸入數(shù)據(jù)或 者輸出數(shù)據(jù)的其他硬件。儲存器114表示非易失性儲存器，諸如被包括在設(shè)備101中或者 耦合到處理器102的磁性、光學(xué)或者其他儲存介質(zhì)。
[0029] 系統(tǒng)100進一步包括觸摸感應(yīng)表面1