觸覺觸發(fā)控制系統(tǒng)的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求2013年11月14日遞交的序列號為61/904, 342的美國臨時專利申請 的優(yōu)先權(quán)，特此通過引用并入該申請的公開內(nèi)容。
技術(shù)領(lǐng)域
[0003] -個實施例概括而言涉及設(shè)備，更具體而言涉及產(chǎn)生觸覺效果（haptic effect) 的設(shè)備。
【背景技術(shù)】
[0004] 視頻游戲和視頻游戲系統(tǒng)已變得極為流行。視頻游戲設(shè)備或控制器通常使用視覺 和聽覺線索來向用戶提供反饋。在一些接口設(shè)備中，還向用戶提供動覺反饋（例如作用力 和阻力反饋）和/或觸感反饋（例如振動、紋理和熱量），它們更概括而言被統(tǒng)稱為"觸覺 反饋"或"觸覺效果"。觸覺反饋可提供增強(qiáng)并簡化用戶與視頻游戲控制器或其他電子設(shè)備 的交互的線索。具體而言，振動效果或者說振動觸感觸覺效果在向視頻游戲控制器或其他 電子設(shè)備的用戶提供線索以就特定事件提醒用戶或者提供逼真的反饋以產(chǎn)生在仿真或虛 擬環(huán)境內(nèi)的更強(qiáng)的感官沉浸方面可能是有用的。
[0005] 用戶在其中與用戶輸入元件交互以引起動作的其他設(shè)備，例如醫(yī)療設(shè)備、汽車控 制器、遙控器和其他類似設(shè)備，也受益于觸覺反饋或觸覺效果。作為示例而非限制，醫(yī)療設(shè) 備上的用戶輸入元件可被用戶在醫(yī)療設(shè)備的近端部在患者的身體外加以操作以在醫(yī)療設(shè) 備的遠(yuǎn)端處在患者的身體內(nèi)引起動作?？梢允褂糜|覺反饋或觸覺效果來就特定事件提醒用 戶，或者向用戶提供關(guān)于醫(yī)療設(shè)備在醫(yī)療設(shè)備的遠(yuǎn)端與患者的交互的逼真反饋。
【發(fā)明內(nèi)容】
[0006] -個實施例是一種控制在外圍設(shè)備處體驗到的觸覺效果的系統(tǒng)。該系統(tǒng)接收包括 觸覺數(shù)據(jù)的觸覺效果定義。該系統(tǒng)還接收包括以下各項中的至少一者的觸發(fā)數(shù)據(jù)：外圍設(shè) 備的觸發(fā)器的位置；或者外圍設(shè)備的觸發(fā)器的范圍。該系統(tǒng)還基于接收到的觸發(fā)數(shù)據(jù)來判 定是否達(dá)到觸發(fā)條件。該系統(tǒng)還在達(dá)到觸發(fā)條件時向外圍設(shè)備發(fā)送觸覺指令和觸覺效果定 義。該系統(tǒng)還使得觸覺輸出設(shè)備（或者多個觸覺輸出設(shè)備）響應(yīng)于觸覺指令在外圍設(shè)備處 產(chǎn)生基于觸覺效果定義的觸覺效果。
【附圖說明】
[0007] 更多實施例、細(xì)節(jié)、優(yōu)點和修改將通過以下要結(jié)合附圖來理解的對優(yōu)選實施例的 詳細(xì)描述而變清楚。
[0008] 圖1示出了根據(jù)本發(fā)明的一個實施例的系統(tǒng)的框圖。
[0009] 圖2根據(jù)本發(fā)明的實施例示出了一種控制器。
[0010] 圖3根據(jù)本發(fā)明的實施例示出了圖2的控制器的另一視圖。
[0011] 圖4根據(jù)本發(fā)明的實施例示出了控制器結(jié)合主機(jī)計算機(jī)和顯示器的框圖。
[0012] 圖5根據(jù)本發(fā)明的實施例示出了系統(tǒng)的觸發(fā)觸覺效果軟件棧的框圖。
[0013] 圖6根據(jù)本發(fā)明的實施例示出了用于設(shè)計觸發(fā)觸覺效果的示例用戶界面。
[0014] 圖7根據(jù)本發(fā)明的實施例示出了用于設(shè)計觸發(fā)觸覺效果的組件的框圖。
[0015] 圖8根據(jù)本發(fā)明的實施例示出了用于創(chuàng)作用于直接重放的觸發(fā)觸覺效果的組件 的框圖和用于保存該觸發(fā)觸覺效果的組件的框圖。
[0016] 圖9根據(jù)本發(fā)明的實施例示出了用于創(chuàng)作用于交越重放（crossover playback) 的觸發(fā)觸覺效果的組件的框圖和用于保存該觸發(fā)觸覺效果的組件的框圖。
[0017] 圖10根據(jù)本發(fā)明的實施例示出了用于直接播放觸發(fā)觸覺效果的組件的框圖。
[0018] 圖11根據(jù)本發(fā)明的實施例示出了用于利用可編程的交越來播放觸發(fā)觸覺效果的 組件的框圖。
[0019] 圖12根據(jù)本發(fā)明的實施例示出了觸發(fā)觸覺效果的示例四聲道直接重放。
[0020] 圖13根據(jù)本發(fā)明的實施例示出了觸發(fā)觸覺效果的示例交越重放。
[0021] 圖14根據(jù)本發(fā)明的實施例示出了觸發(fā)引擎的示例用戶界面。
[0022] 圖15根據(jù)本發(fā)明的實施例示出了空間化引擎的示例用戶界面。
[0023] 圖16根據(jù)本發(fā)明的實施例示出了觸發(fā)觸覺效果應(yīng)用編程接口的體系結(jié)構(gòu)圖。
[0024] 圖17根據(jù)本發(fā)明的實施例示出了產(chǎn)生觸發(fā)觸覺效果的固件的體系結(jié)構(gòu)圖。
[0025] 圖18根據(jù)本發(fā)明的實施例示出了用于控制器的示例方向性模型。
[0026] 圖19根據(jù)本發(fā)明的實施例示出了觸發(fā)觸覺效果固件棧的框圖。
[0027] 圖20根據(jù)本發(fā)明的實施例示出了提供在控制器的觸發(fā)器處體驗到的觸發(fā)觸覺效 果的系統(tǒng)的體系結(jié)構(gòu)圖。
[0028] 圖21根據(jù)本發(fā)明的實施例示出了用于預(yù)覽和修改觸發(fā)觸覺效果的示例用戶界 面。
[0029] 圖22根據(jù)本發(fā)明的實施例示出了用于將音頻信號轉(zhuǎn)換成觸發(fā)觸覺效果的示例用 戶界面。
[0030] 圖23根據(jù)本發(fā)明的實施例示出了用于基于對象參數(shù)來創(chuàng)建觸發(fā)觸覺效果的示例 用戶界面。
[0031] 圖24根據(jù)本發(fā)明的實施例示出了預(yù)覽觸發(fā)觸覺效果的系統(tǒng)的體系結(jié)構(gòu)圖。
[0032] 圖25根據(jù)本發(fā)明的實施例示出了產(chǎn)生觸發(fā)觸覺效果的系統(tǒng)的體系結(jié)構(gòu)圖。
[0033] 圖26根據(jù)本發(fā)明的實施例示出了產(chǎn)生觸發(fā)觸覺效果的固件的體系結(jié)構(gòu)圖。
[0034] 圖27根據(jù)本發(fā)明的實施例示出了示例音頻體系結(jié)構(gòu)。
[0035] 圖28根據(jù)本發(fā)明的實施例示出了將音頻效果轉(zhuǎn)換成觸發(fā)觸覺效果的示例音頻驅(qū) 動器。
[0036] 圖29根據(jù)本發(fā)明的實施例示出了以第一格式生成觸發(fā)觸覺效果，其以第二格式 再創(chuàng)建觸發(fā)觸覺效果。
[0037] 圖30根據(jù)本發(fā)明的實施例示出了另一種以第一格式生成觸發(fā)觸覺效果，其以第 二格式再創(chuàng)建觸發(fā)觸覺效果。
[0038] 圖31根據(jù)本發(fā)明的實施例示出了觸覺觸發(fā)控制模塊的功能的流程圖。
[0039] 圖32根據(jù)本發(fā)明的實施例示出了駐留在API或庫中的示例空間化引擎。
[0040] 圖33根據(jù)本發(fā)明的實施例示出了駐留在控制器中的示例空間化引擎。
【具體實施方式】
[0041] 一個實施例是一種提供在諸如游戲控制器或游戲手柄之類的外圍設(shè)備處體驗到 的觸覺反饋的系統(tǒng)。例如，該系統(tǒng)可提供在控制器的觸發(fā)器或者某種其他外圍設(shè)備處體 驗到的觸發(fā)觸覺效果。觸發(fā)觸覺效果可補(bǔ)充也在控制器或其他外圍設(shè)備處體驗到的轟鳴 (rumble)觸覺效果。作為另一示例，系統(tǒng)可提供在控制器、游戲手柄或其他外圍設(shè)備的用戶 輸入元件處體驗到的一般觸覺效果。可以創(chuàng)造許多種觸覺反饋感覺，例如止動（detent)、振 動、紋理以及剛度。觸覺反饋感覺可補(bǔ)充也可由系統(tǒng)執(zhí)行的游戲應(yīng)用，或者其他軟件應(yīng)用。 觸覺反饋感覺可適用于特定種類的游戲，例如：第一人稱射手；幻想/角色扮演；競賽；或 者體育。在替換實施例中，諸如游戲控制器或游戲手柄之類的外圍設(shè)備可以在外圍設(shè)備的 手柄上分離相隔離的振動區(qū)域。
[0042] 系統(tǒng)可首先接收觸覺效果定義。系統(tǒng)可進(jìn)一步接收觸發(fā)數(shù)據(jù)，例如觸發(fā)器的位置 和/或范圍，或者來自觸發(fā)器或者其他用戶輸入元件（例如搖桿）的位置信息。這種觸發(fā) 數(shù)據(jù)的示例可包括將觸發(fā)器放置在特定位置，將觸發(fā)器揮掃過特定位置，將觸發(fā)器放置在 特定范圍內(nèi)，或者將觸發(fā)器揮掃過特定范圍。系統(tǒng)可基于接收到的觸發(fā)數(shù)據(jù)來修改觸覺效 果定義。系統(tǒng)可以可選地進(jìn)一步基于空間化數(shù)據(jù)來修改觸覺效果定義，空間化數(shù)據(jù)例如是 基于觸覺效果定義的觸覺效果的方向和/或流動。系統(tǒng)隨后可使得控制器、游戲手柄或其 他外圍設(shè)備的一個或多個馬達(dá)或致動器基于經(jīng)修改的觸覺效果定義來播放或以其他方式 輸出觸覺反饋，從而使得觸覺反饋被體驗到。換言之，系統(tǒng)可使得控制器、游戲手柄或其他 外圍設(shè)備基于觸覺效果定義來重放觸覺效果。如本領(lǐng)域普通技術(shù)人員所理解的，"重放"是 再現(xiàn)數(shù)據(jù)（例如，音頻數(shù)據(jù)、視頻數(shù)據(jù)或觸覺數(shù)據(jù)）的動作或?qū)嵗亩?，在一個示例中，系 統(tǒng)可使得整體觸發(fā)觸覺效果在控制器的觸發(fā)器處被體驗到。
[0043] 在一個實施例中，系統(tǒng)可包括數(shù)個可被選擇的觸覺預(yù)設(shè)，例如觸發(fā)觸覺效果預(yù)設(shè)。 系統(tǒng)可包括觸覺預(yù)設(shè)的綜合庫?？稍趫D形用戶界面內(nèi)修改每個選擇的觸覺效果預(yù)設(shè)?？?在游戲應(yīng)用或其他軟件應(yīng)用的執(zhí)行內(nèi)編譯并執(zhí)行經(jīng)修改的觸覺效果預(yù)設(shè)，其中在該游戲應(yīng) 用或其他軟件應(yīng)用中，控制器、游戲手柄或其他外圍設(shè)備可產(chǎn)生觸覺效果，例如觸發(fā)觸覺效 果。
[0044] 在另一實施例中，系統(tǒng)可包括手動內(nèi)容驅(qū)動工具組。該工具組允許用戶與音頻效 果定義一起設(shè)計觸覺效果定義。系統(tǒng)隨后可將觸覺效果定義編碼到可具有音頻格式或者可 與音頻文件一起存儲的觸覺文件中。駐留在控制器、游戲手柄或其他外圍設(shè)備中的解碼器 隨后可對經(jīng)編碼的觸覺效果定義解碼。另外，設(shè)計的觸覺效果定義可被加載到觸發(fā)引擎和/ 或空間化引擎中，以便基于設(shè)計的觸覺效果定義來發(fā)動觸覺效果。觸發(fā)引擎可允許觸覺效 果發(fā)動被映射到觸發(fā)運動或其他觸發(fā)行為，并且空間化引擎可四處移動每個觸覺效果以創(chuàng) 造觸覺效果源自于特定方向的感覺。可在離線工具中提供觸發(fā)引擎和/或空間化引擎，在 這里用戶可以與這些引擎以圖形方式交互，并且一旦觸覺效果被加載到引擎中就可在其手 中感受控制器、游戲手柄或其他外圍設(shè)備內(nèi)的觸覺重放。
[0045] 在另一實施例中，系統(tǒng)可包括自動內(nèi)容驅(qū)動工具組。該工具組可自動地將音頻效 果定義轉(zhuǎn)換成觸覺效果定義。該工具組可以以音頻文件的形式接收音頻效果定義。該工具 組可修改一個或多個參數(shù)以控制音頻效果定義到觸覺效果定義的轉(zhuǎn)換。作為示例，一個或 多個參數(shù)可包括：(a)音頻文件參數(shù)，其標(biāo)識包含要轉(zhuǎn)換的音頻效果定義的音頻文件；(b) 轉(zhuǎn)換控制參數(shù)，其定義音頻效果定義的音頻數(shù)據(jù)如何被分割到兩個或更多個不同的頻率帶 中，這些頻率帶隨后被應(yīng)用到兩個或更多個不同的輸出（例如，低轟鳴馬達(dá)或致動器；中轟 鳴馬達(dá)或致動器；以及觸發(fā)馬達(dá)或致動器）；（c)動態(tài)參數(shù)，其控制從音頻效果定義映射到 觸覺效果定義的幅度，并且可根據(jù)需要調(diào)整噪聲基底和動態(tài)范圍（伸展或壓縮動態(tài)）；以及 (d)控制觸覺效果定義的最終幅度（或強(qiáng)度）的幅度（或強(qiáng)度）參數(shù)。在替換實施例中，代 替接收音頻效果定義，該工具組可接收可被轉(zhuǎn)換成觸覺效果定義的觸覺指令。該觸覺指令 可采取由游戲應(yīng)用接收的玩游戲參數(shù)，諸如，可以確定觸覺效果的持續(xù)時間的在游戲內(nèi)來 自武器的射擊速率，可以確定視覺效果的開始點和結(jié)束點的在游戲內(nèi)動畫中的關(guān)鍵幀，用 于觸覺效果的軸上的方向性的動畫數(shù)據(jù)，可以確定視覺效果的幅度的在游戲內(nèi)武器的傷害 量等。另外，如前所述，經(jīng)轉(zhuǎn)換的觸覺效果定義可被加載到觸發(fā)引擎和/或空間化引擎中， 以便基于設(shè)計的觸覺效果定義來發(fā)動觸覺效果。如前所述，可在離線工具中提供觸發(fā)引擎 和/或空間化引擎。
[0046] 在另外一個實施例中，系統(tǒng)可包括觸覺效果工作室引擎?？商峁┯|覺效果工作室 來允許用戶為特定的馬達(dá)或致動器定義觸覺效果定義。如前所述，設(shè)計的觸覺效果定義可 被加載到觸發(fā)引擎和/或空間化引擎中，以便基于設(shè)計的觸覺效果定義來發(fā)動觸覺效果。 如前所述，可在離線工具中提供觸發(fā)引擎和/或空間化引擎。
[0047] 圖1示出了根據(jù)本發(fā)明的一個實施例的系統(tǒng)10的框圖。在一個實施例中，系統(tǒng)10 是設(shè)備（例如，個人計算機(jī)或控制臺，例如視頻游戲控制臺）的一部分，并且系統(tǒng)10為該設(shè) 備提供觸覺觸發(fā)控制功能。在另一實施例中，系統(tǒng)10與設(shè)備（例如，個人計算機(jī)或控制臺） 分離，并且為設(shè)備遠(yuǎn)程地提供上述功能。雖然被示為單個系統(tǒng)，但系統(tǒng)10的功能可實現(xiàn)為 分布式系統(tǒng)。系統(tǒng)10包括總線12或用于傳達(dá)信息的其他通信機(jī)制，以及可操作地耦合到 總線12用于處理信息的處理器22。處理器22可以是任何類型的通用或?qū)Ｓ锰幚砥?。系統(tǒng) 10還包括存儲器14,用于存儲信息和處理器22要執(zhí)行的指令。存儲器14可包括隨機(jī)訪問 存儲器（"RAM"）、只讀存儲器（"ROM"）、諸如磁盤或光盤之類的靜態(tài)存儲裝置或者任何其 他類型的計算機(jī)可讀介質(zhì)的任何組合。
[0048] 計算機(jī)可讀介質(zhì)可以是任何可被處理器22訪問的可用介質(zhì)并且可包括易失性介 質(zhì)和非易失性介質(zhì)、可移除介質(zhì)和不可移除介質(zhì)、通信介質(zhì)以及存儲介質(zhì)。通信介質(zhì)可包 括計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者經(jīng)調(diào)制的數(shù)據(jù)信號（例如載波或其他傳輸機(jī) 制）中的其他數(shù)據(jù)，并且可包括本領(lǐng)域中已知的任何其他形式的信息輸送介質(zhì)。存儲介質(zhì) 可包括RAM、閃存、ROM、可擦除可編程只讀存儲器（"EPROM"）、電可擦除可編程只讀存儲器 ("EEPR0M"）、寄存器、硬盤、可移除盤、致密盤只讀存儲器（"⑶-ROM"）或者本領(lǐng)域已知的 任何其他形式的存儲介質(zhì)。
[0049] 在一個實施例中，存儲器14存儲在被處理器22執(zhí)行時提供功能的軟件模塊。這 些模塊包括為系統(tǒng)10以及在一個實施例中為整個設(shè)備的其余部分提供操作系統(tǒng)功能的操 作系統(tǒng)15。這些模塊還包括觸覺觸發(fā)控制模塊16,其控制在觸發(fā)器或某種其他用戶輸入元 件處體驗到的觸覺效果。在某些實施例中，觸覺觸發(fā)控制模塊16可包括多個模塊，其中每 個模塊提供用于控制在觸發(fā)器或某種其他用戶輸入元件處體驗到的觸覺效果的特定個體 功能。系統(tǒng)10通常將包括一個或多個額外的應(yīng)用模塊18以包括額外的功能，例如可為外 圍設(shè)備（例如控制器30)提供控制功能的外圍固件。
[0050] 系統(tǒng)10在從遠(yuǎn)程源發(fā)送和/或接收數(shù)據(jù)的實施例中還包括通信設(shè)備20,例如網(wǎng)絡(luò) 接口卡，以提供移動無線網(wǎng)絡(luò)通信，例如紅外、無線電、Wi-Fi或蜂窩網(wǎng)絡(luò)通信。在其他實施 例中，通信設(shè)備20提供有線網(wǎng)絡(luò)連接，例如以太網(wǎng)連接或調(diào)制解調(diào)器。
[0051] 系統(tǒng)10可操作地連接到控制器30?？刂破?0是用于向系統(tǒng)10提供輸入的外圍 設(shè)備?？刂破?0可利用無線連接或有線連接來可操作地連接到系統(tǒng)10?？刂破?0還可包 括本地處理器，該處理器可利用無線連接或有線連接來與系統(tǒng)10通信。或者，控制器30可 被配置為不包括本地處理器，并且與控制器30相關(guān)聯(lián)的所有輸入信號和/或輸出信號可直 接由系統(tǒng)10的處理器22來應(yīng)對和處理。
[0052] 控制器30還可包括一個或多個數(shù)字按鈕、一個或多個模擬按鈕、一個或多個減震 器、一個或多個方向手柄、一個或多個模擬或數(shù)字搖桿、一個或多個驅(qū)動輪和/或可與用戶 交互并且可向系統(tǒng)10提供輸入的一個或多個用戶輸入元件?？刂破?0還可包括一個或多 個模擬或數(shù)字觸發(fā)按鈕（或"觸發(fā)器"），用戶可進(jìn)一步與這些觸發(fā)按鈕交互并且這些按鈕 可進(jìn)一步向系統(tǒng)10提供輸入。如下文更詳細(xì)描述的，控制器30還可包括被配置為向控制 器30的至少一個觸發(fā)器施加雙向推/拉力的馬達(dá)或者另一類型的致動器或觸覺輸出設(shè)備。
[0053] 控制器30還可包括一個或多個致動器或者其他類型的觸覺輸出設(shè)備?？刂破?0 的本地處理器或者在控制器30不包括本地處理器的實施例中的處理器22可以向控制器30 的至少一個致動器發(fā)送與觸覺效果相關(guān)聯(lián)的觸覺信號。致動器進(jìn)而響應(yīng)于觸覺信號而輸出 諸如振動觸感觸覺效果、動覺觸覺效果或者形變觸覺效果之類的觸覺效果。在控制器30的 用戶輸入元件處（例如，數(shù)字按鈕、模擬按鈕、減震器、方向手柄、模擬或數(shù)字搖桿、驅(qū)動輪 或者觸發(fā)器）可體驗到這些觸覺效果。或者，可在控制器30的外表面處體驗到這些觸覺效 果。致動器包括致動器驅(qū)動電路。致動器可以例如是電動馬達(dá)、電磁致動器、音圈、形狀記 憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量馬達(dá)（"ERM"）、線性諧振致動器（"LRA"）、 壓電致動器、高帶寬致動器、電活性聚合物（"ΕΑΡ"）致動器、靜電摩擦顯示器或者超聲振動 發(fā)生器。致動器是觸覺輸出設(shè)備的示例，其中觸覺輸出設(shè)備是被配置為響應(yīng)于驅(qū)動信號而 輸出觸覺效果的設(shè)備，例如振動觸感觸覺效果、靜電摩擦觸覺效果、動覺觸覺效果或者形變 觸覺效果。在替換實施例中，控制器30內(nèi)的一個或多個致動器可被某種其他類型的觸覺輸 出設(shè)備所替代。
[0054] 控制器30還可包括一個或多個揚聲器?？刂破?0的本地處理器或者在控制器 30不包括本地處理器的實施例中的處理器22可向控制器30的至少一個揚聲器發(fā)送音頻 信號，這些揚聲器進(jìn)而輸出音頻效果。揚聲器可以例如是動態(tài)揚聲器、電動力揚聲器、壓電 揚聲器、磁致伸縮揚聲器、靜電揚聲器、帶狀和平面狀磁性揚聲器、彎曲波揚聲器、平板揚聲 器、海耳氣動換能器、等離子弧揚聲器和數(shù)字揚聲器。
[0055] 控制器30還可包括一個或多個傳感器。傳感器可被配置為檢測某種形式的能量 或者其他物理屬性，例如但不限于聲音、運動、加速度、生物信號、距離、流動、力/壓力/應(yīng) 變/彎曲、濕度、線性位置、取向/傾斜、射頻、旋轉(zhuǎn)位置、旋轉(zhuǎn)速度、開關(guān)的操縱、溫度、振動 或者可見光強(qiáng)度。傳感器還可被配置為將檢測到的能量或者其他物理屬性轉(zhuǎn)換成電信號或 者任何表示虛擬傳感器信息的信號，并且控制器30可將經(jīng)轉(zhuǎn)換的信號發(fā)送到控制器30的 本地處理器或者在控制器30不包括本地處理器的實施例中發(fā)送到處理器22。傳感器可以 是任何設(shè)備，例如但不限于加速度計、心電