用于對與觸敏設備的接觸進行分類的方法和裝置與流程

羅伯特·肖波

克里斯·哈里森

相關申請的交叉引用

本申請要求于2014年9月25日提交的美國臨時專利申請號62/055,416的權益。進一步，交叉引用了以下共同受讓的且共同未決的美國專利申請：2015年2月2日提交的標題為“Method and Apparatus for Classifying Finger Touch Events on a Touch Screen(用于對觸摸屏上的手指接觸事件進行分類的方法和裝置)”的美國專利申請號14/612,089；2013年8月2日提交的標題為“Capture of Vibro-Acoustic Data used to Determine Touch Types(用于確定觸摸類型的振動聲學數據捕捉)”的美國專利申請號13/958,427；2013年2月28日提交的標題為“Input Tools Having Vibro-Acoustically Distinct Regions and Computing Device For Use With Same(具有振動聲學相異區域的輸入工具以及與其一起使用的計算設備)”的美國專利申請號13/780,494；2013年3月25日提交的標題為“Method and System For Activating Different Interactive Functions Using Different Types of Finger Contact(使用不同類型的手指接觸來激活不同交互功能的方法和系統)”的美國專利申請號13/849,698；2014年3月19日提交的標題為“Method and Device for Sensing Touch Inputs(用于感測觸摸輸入的方法和設備)”的美國專利申請號14/219,919；2013年5月6日提交的標題為“Using Finger Touch Types to Interact with Electronic Devices(使用手指觸摸類型來與電子設備交互)”的美國專利申請號13/887,711；以及2014年2月26日提交的標題為“Using Capacitive Images for Touch Type Classification(使用電容性圖像進行觸摸類型分類)”的美國專利申請號14/191,329，所述申請各自的全部內容通過援引并人本文。

版權聲明

本專利文獻的公開的一部分包含受到版權保護的材料。版權所有者不反對任何人對本專利文獻或本專利公開的復制，由于其出現在專利和商標局專利文件或記錄中，但無論如何在其他方面保留所有版權。

技術領域

本發明總體上涉及觸摸屏技術領域，并且更具體地涉及一種用于基于觸摸感測來確定用戶輸入的方法、裝置和系統。

背景技術：

背景部分中所討論的主題不應該僅僅由于其在背景部分中有所提及而被假定為現有技術。類似地，背景部分中所提及的問題或者與背景部分的主題相關聯的問題不應被假定為先前已在現有技術中被認識到。背景部分的主題僅僅代表不同的方法，在其中和其自身也可能是發明。

典型地，當今的各種電子設備由使用者通過與觸摸屏的交互而操作。此特征具體地是最近一代智能手機的特性。通常，觸摸屏顯示屏響應手指接觸來激活所述顯示器，以便進一步處理。還可以使用工具例如校準筆、手的其他部分例如手掌以及手指的不同部分來實現接觸。智能電話制造商一直在開發新技術以便改善智能電話的用戶體驗。

附圖說明

所包括的附圖僅為說明目的，并且僅用于提供用于所公開技術的可能結構和過程步驟的示例。這些附圖決不會限制本領域技術人員在不脫離本公開的精神和范圍的情況下對實施例做出的形式和細節上的任何修改。

圖1示出了現有技術觸敏設備的頂視圖；

圖2示出了是具有無接觸幀的幀數據的現有技術觸敏設備的頂視圖；

圖3示出了是具有兩點接觸幀的幀數據的現有技術觸敏設備的頂視圖；

圖4示出了是具有兩點接觸幀的幀數據的現有技術觸敏設備的頂視圖，所述幀數據具有強度數據；

圖5示出了是具有耳朵接觸的幀數據的現有技術觸敏設備的頂視圖；

圖6示出了觸敏設備以及與其接觸的物體的頂視圖；

圖7是觸敏設備的一個實施例的框圖；

圖8展示了本發明的一種方法；

圖9展示了邊界區域的一種安排的示例；

圖10展示了邊界區域的另一種安排的示例；

圖11展示了邊界區域的另一種安排的示例；

圖12展示了邊界區域的又一種安排的示例；

圖13展示了被保持靠著用戶頭部的觸敏設備；

圖14展示了當觸敏設備被保持靠著用戶頭部(如圖13所示保持時)可以感測到的幀數據的圖像的示例；

圖15展示了當觸敏設備與其他物體接觸時可以感測到的幀數據的圖像的另一個示例；并且

圖16展示了用于操作觸敏設備的方法的另一個示例實施例。

技術實現要素：

提供了觸敏設備、用于操作觸敏設備的方法、以及計算機程序產品。在一個方面，提供了一種用于對與觸敏表面相接觸的物體進行分類的方法，在所述方法中：接收幀數據，分析所述幀數據的特性以便確定指示所述物體的用于細分所述幀數據的多個描述性特征，并且根據所述描述性特征和所述細分的位置來確定與所述觸敏表面相接觸的所述物體的幀接觸類別。通過查看下文的附圖、詳細描述和權利要求書可以了解本發明的其他方面和優點。

具體實施方式

本部分中描述了根據一個或多個實施例的方法和裝置的應用。提供這些示例僅是為了添加上下文并幫助理解本公開。因此，對于本領域技術人員而言將明顯的是可在沒有這些具體細節中的某些或全部的情況下實踐在此所描述的技術。在其他示例中，為了避免不必要地模糊本公開，未詳細描述公知的過程步驟。其他應用也是可能的，這樣使得以下示例不應視為對范圍或設置的限定或限制。

在以下詳細描述中，參考了形成說明書一部分的附圖，在附圖中以說明的方式示出了具體實施例。盡管足夠詳細地對這些實施例進行了描述以使得本領域技術人員能夠實踐本公開，但應理解的是，這些示例不是限制性的，這樣使得在不脫離本公開的精神和范圍的情況下可以使用其他實施例并且可以做出改變。

可以用多種方式來實現一個或多個實施例，包括如過程、裝置、系統、設備、方法、計算機可讀介質(如包含計算機可讀指令或計算機程序代碼的計算機可讀存儲介質)、或如包括內嵌有計算機可讀程序代碼的計算機可用介質的計算機程序產品。

以下說明中的特征僅通過展示的方式涉及優選實施例。這些附圖并非必須成比例。從以下討論應當注意到，在此所公開的結構和方法的替代性實施例將被輕易地認為是在不背離權利要求書的原則的情況下可以采用的可行的替代方案。

圖1展示了觸敏設備20的示例，例如手機、個人計算機、顯示板、個人數字助理、電視、或觸敏圖形板典型地具有觸敏表面22，所述觸敏表面能夠感測到物體何時與觸敏表面22相接觸。在典型的安排中，觸敏表面22具有感測元件陣列24，每個感測元件與觸敏表面22的預定部分相關聯。當物體與觸敏表面22接觸時，所述感測元件陣列24中的元件感測這樣的接觸并產生信號，控制設備可以根據所述信號來確定所述陣列中的哪些元件在與所述物體相接觸。

觸敏設備20掃描感測元件陣列24或以其他方式輪詢陣列24中的每個元件，以使得控制系統(未示出)可以確定在給定時間段(例如l/30、l/60或l/l00秒)中觸敏表面22的哪些部分在與另一物體相接觸。此信息通常被整理成表示在所述給定時間段中所述陣列中的每個元件的接觸狀態的x、y二維數據形式的幀數據。

幀數據在概念上可以被理解為提供具有較高密度部分的圖像或幀圖像，所述較高密度部分表示觸敏表面22的與另一物體相接觸的區域。圖2展示了此類幀圖像的第一示例。在這個示例中，沒有物體與所述觸敏表面相接觸并且因此所有感測元件都報告它們沒有與另一個物體相接觸。在發生這種情況時，幀圖像40可以具有圖2中展示的外觀，沒有較高密度部分。

然而，當使物體與觸敏表面22接觸時，這些感測元件中的一些將報告某種接觸，并且在代表此種狀態的幀圖像中出現接觸圖案。在圖3中展示了這種情況的示例，所述圖中示出了在一個時刻感測到的幀的示例性幀圖像42，在給時刻兩根手指壓抵靠在觸敏表面22上。在這個示例中，觸敏表面22具有感測元件陣列24，讀取所述陣列以便指示接觸或無接觸的二進制狀態。在與觸敏表面22進行接觸的事件中，這樣的接觸要么足以越過每個感測元件處的檢測閾值，要么不是。在這個示例中，幀圖像(例如圖3所示的幀圖像42)可以在概念上理解為包括對接觸的指示或對無接觸的指示并且包括由滿密度區域的圖案所限定的團塊30和32，在所述區域處感測元件陣列24中的多個感測元件感測到與另一個物體的接觸。

在許多現代觸摸屏系統中，感測元件陣列24能夠確定某種水平的接觸強度信息，例如施加的壓力量、在點接觸之處體驗到的電阻強度、與感測元件陣列24中的每個元件處的接觸相關的電容強度或其他強度。在使用這樣的感測技術時，幀圖像(例如圖4所示的幀圖像44)可以表示由感測元件陣列24感測到的接觸強度。將了解的是，在這個實施例中，接觸強度信息可以在概念上了解為作為所述幀圖像中被反映為灰度圖像數據。圖4所示的示例描繪了使用這樣的系統響應于圖3中描繪的與觸敏表面22的相同手指接觸而得到的幀圖像44，然而如圖4所示，幀圖像44結合了指示團塊34和36內的接觸的一些方面的強度的灰度信息。

將了解的是，在應用中，與觸敏表面22接觸的物體集合不局限于手指。例如，手機、個人數字助理、以及平板設備可以時不時地很好地被保持在用戶的耳朵或臉上以便使得用戶能夠更好地聽到所述設備發出的聲音、或更可信地聽到所述設備發出的聲音。這可以與觸敏表面22產生多個接觸。圖5展示了幀圖像46，所述幀圖像例示了當觸敏表面22具有對強度敏感且與耳朵接觸的感測元件陣列24時可以捕捉的幀圖像。由此可以看到，可能挑戰性的是使觸敏設備20確定這是否代表了與觸敏表面22的一個或多個手指接觸的圖案、或這個接觸圖案是否代表了與用戶的耳朵或其他物理特征的接觸。

觸敏設備20區分這樣的不同接觸類型可以達到的準確性和效率可能對所述設備的用戶、激活、可用性、以及功能性具有顯著影響。

因此準確進行這種區分的能力是設計現代觸敏設備的更具挑戰性的方面之一。因此本領域需要的是一種觸敏設備的新的、新穎的且非顯而易見的方法特性，使得觸敏設備20將準確地在表示由多點式手指接觸所造成的接觸信息的幀數據與具有同其他類型的多點式頭部接觸相關聯的接觸信息的幀數據之間進行區分。

將了解的是，在一些情況下，區分可以基于觸敏表面22上的觸敏接觸的圖案。也就是，可以使用圖案識別工具來分析所述幀圖像圖像，以便確定觸敏表面22所提供的二維圖形是否具有與特定接觸類型相關聯的外觀。例如，手掌觸摸接觸看起來是大的不規則團塊，而手指趨向于看起來是較小的橢圓體。這種形狀和大小的區別可以用來將它們區分開(即，通過不同的分類技術，例如機器學習)。

可替代地，還可以使用補充信息來協助這樣的區分。例如，在用于檢測當用戶頭部緊靠觸摸屏表面時用戶何時定位其頭部的數字顯示設備中已經包含了可見光傳感器和紅外傳感器。這可以在手指接觸與頭部接觸之間進行區分。類似地，可以監測振動聲學數據以便提供可以幫助在與觸敏設備的多種接觸類型之間進行區分的信息。例如，可以感測振動聲學數據并使用其來鑒別觸敏表面何時與指尖、指節、指甲、校準筆或多種多樣其他類型的事物相接觸。

然而，雖然這樣的補充系統是商業上和事件中非常有用且有價值的，但還有用的是考慮可以允許在與觸敏表面的多點式接觸類型之間進行穩健區分而不必使用這樣的補充系統的其他途徑。因此，更一般地，本領域需要的因此是一種觸敏設備20的新的、新穎的且非顯而易見的方法或特性，使得觸敏設備20將較少地依賴于其他感測系統而準確地區分與觸敏表面的不同類型的多點式接觸。

圖6示出了根據本發明的一個實施例的觸敏設備100的外部視圖，并且圖7示出了觸敏設備100的框圖。在這個實施例中，觸敏設備100具有顯示系統120，所述顯示系統具有在二維呈現區域126上呈現圖像的顯示器122。在這個實施例中，觸摸感測系統110提供了觸敏表面112，所述觸敏表面是至少部分地與呈現區域126同延的。觸敏表面112被適配成用于檢測物體124例如指尖或所展示的校準筆何時被定位成與觸敏表面112相接觸并且產生信號，根據所述信號它可以確定觸敏表面112的哪部分在與物體124接觸。

圖6和圖7的觸敏設備100可以采用多種形式中的任一種，包括圖6所示的智能電話。然而在其他實施例中，觸敏設備100可以采用其他形式，包括但不限于具有觸摸感測系統110和處理器130的任一類型的數字設備，所述處理器是例如微處理器、微控制器、或任何其他類型的可編程控制設備、或預編程的或專用的處理或控制系統。此類觸敏設備100的示例包括臺式計算機、筆記本計算機、工作站、PDA、連網板、以及移動電話(并非智能電話)。類型地，觸敏設備100可以采用其他形式，例如獨立觸摸板和觸控板、以及結合了觸敏表面和22例如觸摸板、圖形輸入板和觸控板的系統的形式。在此方面將了解的是，雖然觸敏設備100的部件被展示為在單一殼體102內，但這是可選的，并且這些部件可以位于觸敏設備100的多個分開容納的部件內。

在圖6和圖7所示的實施例中，觸敏設備100具有結合了觸敏表面112的觸摸感測系統110，所述觸敏表面感測物體124何時與觸敏表面112接觸。例如可以使用感測元件陣列22，例如感測元件陣列24。觸摸感測系統110產生信號，它可以根據所述信號來確定觸敏表面112的哪部分在與物體124接觸。處理器130接收來自觸摸感測系統110的信號并且分析所述信號以便檢測物體124在觸敏表面112上所做的敲擊或其他接觸。

在圖6和圖7展示的實施例中，觸敏設備100進一步具有存儲系統140。存儲系統140可能能夠向處理器130提供編程的以及其他形式的指令，所述指令可以用于其他目的。存儲系統140可以包括只讀存儲器、隨機存取半導體存儲器、或其他類型的可以永久安裝或分開地安裝至觸敏設備100上的存儲器或計算機可讀介質。此外，觸敏設備100還可以提供可選的通信系統180訪問與觸敏設備100分離的存儲系統140。

觸敏設備100還被示出為具有其他可選的部件，例如具有音頻傳感器162和音頻輸出端164的音頻系統160，所述音頻傳感器是例如麥克風和/或與麥克風的連接，所述音頻輸出端是例如揚聲器或與揚聲器的連接。觸敏設備100如圖所示還與包括具有顯示器122的顯示系統120、多個傳感器170、接口單元210、信號處理單元220、物體分類單元230、以及事件確定單元250和數據庫260。

傳感器170可以采用多種形式中的任一種并且可以總體上包括用于感測感測設備100內部或外部的條件的任何已知的設備。傳感器170可以(不進行限制)采用以下形式：聲學傳感器，加速度計，光傳感器，測距儀，溫度計，霍爾效應傳感器，開關、例如2路、4路開關、6路開關、8路開關，鼠標與軌跡球系統，操縱桿系統，語音識別系統，基于語音的手勢識別系統或其他此類系統，射頻標識和近場通信傳感器，條形碼傳感器，位置傳感器，以及本領域已知的可以用來檢測可能對于掌控圖像傳感器的操作或執行其將此信息轉換成處理器130可以使用的形式的這些功能有用的條件的其他傳感器，所述處理器可以使用所述形式來掌控觸敏設備100的操作。傳感器170還可以包括被適配成用于為了安全性和情感成像目的而檢測用戶的特性的生物傳感器。

替代地或此外，傳感器170可以包括加速度計、振動傳感器、超聲傳感器、壓電設備、或可以感測指示物體124與觸敏表面112之間的接觸的振動或聲音的其他已知的電路和系統。

傳感器170還可以包括可以感測物體124對觸敏表面112施加的壓力的量的壓力傳感器。在這種類型的一些實施例中，觸敏表面112可以是不僅可以感測觸敏表面112的哪個部分已經與物體124接觸、而且還可以感測對觸敏表面施加的壓力的量的類型。這種類型的不同技術是已知的，其示例包括但不限于由日本埼玉縣加須市(Kazo,Saitama,Japan)的Wacom Co.,Ltd.以商標Wacom出售的圖形輸入板，這些圖形輸入板目前能夠感測1024個不同壓力水平。

在另外的其他實施例中，傳感器170可以包括可以可選地結合到物體124之中或其上的一個或多個傳感器170，所述傳感器可以感測指示在物體124與觸敏表面112之間施加的力的量的條件。在這樣的實施例中，力傳感器170可以采用以下形式，例如但不限于：壓電傳感器、應力傳感器、應變傳感器、壓縮傳感器、偏轉傳感器、或彈性偏置感測系統，所述彈性偏置感測系統可以基于接觸表面抵抗彈性構件的力而進行偏轉移動的量來感測力并且可以生成指示由或通過指示器對觸敏表面112施加的力的量的信號。

這樣的力傳感器170可以通過有線連接或無線連接、例如通過可選的能夠與通信系統180通信的無線通信模塊182而直接連接至接口單元210。

在另外的實施例中，可以通過提供在一些實施例中可以具有圓化的撓性尖端例如橡膠或金屬網尖端)的物體124(例如圖6所示的校準筆)來實現力感測，所述尖端被安排成在被壓靠在觸敏表面112上時以彈性方式展平從而增加與觸敏表面112接觸的表面積的量。在這樣的實施例中，觸敏表面112接觸的面積的大小是對用戶對觸敏表面112施加的力的量的有效代表，并且在此方面，能夠感測與觸敏表面112接觸的面積的觸摸表面可以用于此目的。通過適當的校準、使用指尖或其他這樣的物體124可以實現相似的結果。

通信系統180可以采用以下形式：可以將數據轉換成能夠通過光信號、射頻信號或其他形式的有線或無線信號傳送到外部設備的任何光學、射頻或其他電路或系統。通信系統180可以用于多個目的，包括但不限于發送和接收指令集、以及與遠程傳感器或存儲系統交換數據。

如圖7所示，根據本發明的一個實施例的觸敏設備100可以包括接口單元210。接口單元210可以接收例如來自觸摸感測系統110、音頻系統160和/或傳感器170或其他任何部件的信號并且處理這些信號以便被處理器130或被采用信號處理器或信號處理電路的形式的信號處理單元220使用。

接口單元210可以例如連接至來自觸摸感測系統110、音頻系統160、以及傳感器170的輸出上。這樣的輸出通常是模擬形式，并且接口單元210可以包括任何類型的、可以將此類輸出轉換成可以被信號處理單元220或處理器130使用的數字信號的模數轉換器。接口單元210還可以包括放大器、濾波器(包括但不限于噪聲濾波器、帶通/帶阻濾波器、或聯接器)、斷路器、熔絲連接環、或保護觸敏系統100的其他部件免于潛在損壞的其他系統。

根據本發明的一個實施例的接口單元210可以執行與音頻傳感器162和傳感器170接界的功能，以便感測當物體124接觸觸敏表面112、或在其他實施例中接觸觸摸輸入感測設備100的其他特定部分(即，外部部分)時產生的聲音或振動。

一種途徑可以利用具有一個或多個傳感器(例如，一個用于空中聲學，而一個用于機械振動，也稱為結構聲學)的振動聲學信號來源兩者。可以使用若干類型的音頻傳感器162或其他傳感器170，包括但不限于：

壓電彎曲元件；

壓電薄膜；

加速度計(例如，線性可變差動變壓器(LVDT)，

電位計式、可變磁阻、壓電式、壓阻式、電容式、

伺服(力平衡)、MEMS)；

位移傳感器；

速度傳感器；

振動傳感器；

陀螺儀；

接近度傳感器；

電傳聲器；

水聽器；

電容傳聲器；

駐極體電容傳聲器；

動態傳聲器；

帶式傳聲器；

碳粒傳聲器；

壓電傳聲器；

光纖傳聲器；

激光傳聲器；

液體傳聲器；以及

MEMS傳聲器。

重要的是，許多觸摸屏計算設備現在已經內置傳聲器和加速度計(例如，用于聲音和輸入感應)。這些可以在不需要附加傳感器的情況下使用，或可以與專門的傳感器協同工作。

為此，接口單元210可以接收來自音頻傳感器162或感測振動的傳感器170的信號，并可以準備所述信號以供信號處理器220使用。在這個實施例中，這采用以下形式來進行：將此類信號轉換成數字形式并提供表示由音頻傳感器162和傳感器170感測到的條件的數字信號。

接口單元210還可以接收來自處理器130和/或信號處理單元220的信號并且使用這些信號來控制顯示系統120、音頻系統140和通信系統180的操作。在此方面，接口單元210可以包括顯示器驅動器、包含放大器的音頻輸出系統等等。應了解的是，屬于接口單元210的這些功能中的一些或全部可以由集成在觸摸音頻系統160、傳感器170、或通信系統180內的硬件或程序來執行。

信號處理單元220接收來自接口單元210的可能處于數字形式的信號，并且準備所述信號以用于進一步處理。信號處理單元220可以執行采樣、量化和編碼過程中的至少一者并且可選地還可以用于將此類模擬信號轉換成數字信號。信號處理單元220可以將這些數字信號發送至處理器130或物體分類單元230。

在這個實施例中，提供了事件確定單元250，所述事件確定單元至少部分地基于所述物體的類別來確定已經發生了事件，并且這種確定被用于控制觸敏設備100的操作。還提供了數據庫260，程序軟件和其他數據可以存儲在所述數據庫中。

根據本發明的一個實施例，接口單元210、信號處理單元220、物體分類單元230、事件確定單元250、以及數據庫260的功能中的至少一項可以是用于控制其他公知硬件部件或用于執行軟件的部件的程序模塊，所述程序模塊是例如被包含在觸敏設備100中，包括例如但不限于處理器130、存儲系統140、接口單元210、并且在一些實施例中在信號處理單元220中。這些程序模塊可以以操作系統、應用程序模塊、或其他程序模塊的形式被包含在觸敏設備100中，同時它們可以物理地存儲在多種公知存儲設備中。進一步，這些程序模塊可以被存儲在可以通過通信系統180與觸敏設備100通信的遠程存儲設備中。同時，這樣的程序模塊可以包括但不限于：用于執行特定任務或執行根據本發明如下文描述的特定抽象數據類型的例程、子例程、程序、對象、部件、數據結構等等。也可以在被適配成用于執行與此類模塊相關聯的功能的硬件配置的方面表示這樣的程序模塊。

物體分類單元230分析從信號處理單元220發出的這些數字信號以便對于被帶到與觸敏表面112相接觸的物體124的類型進行分類。

總體上，當物體分類單元230表征這樣的物體時，分類單元230接收具有x、y坐標值形式的幀信息信息的信號，每個坐標值表示觸敏表面24的哪個部分在與物體124接觸。如本領域已知的，使用典型的觸敏表面112來獲得這樣的x、y坐標值涉及以預定的速率(例如每秒一百次)對觸敏表面112采樣。在一個這樣的實施例中，每秒一百次地感測與物體124接觸的觸敏表面112(如果存在的話)，并且生成表示指示了物體124與觸敏表面112之間的接觸部分的x坐標值和y坐標圖的幀數據數據，并且在一些實施例中對所述x-y坐標值分派強度值。

物體124可以包括可以與觸敏表面112相接觸并且由此可以被檢測的任何物體。雖然以單數形式被稱為“物體”124，但將了解的是，出于本公開的目的，“物體”可以包括可以在一幀的過程中與觸敏表面122相接觸的任何事物組合，包括但不限于手指、手指的不同部位的組合、包括校準筆或筆在內的指示器、身體的不同部位例如頭部、顴骨、嘴、臉、胡子或頭發、帽子、頭帽、以及頭巾或其組合。

在其他實施例中，物體124可以采用任何電子筆、或其中具有或不具有電子電路的其他工具的興衰，所述指示器可以屬于或不屬于感測設備100，除了當物體124是用戶的身體部位例如用戶手指時。物體124可以由多種不同的材料制成，例如金屬、木材、塑料、橡膠、以及玻璃并且可以包括身體部位例如手指、手、手臂、頭部和頸。當物體124是用戶手指時，所述手指的特定部位中的每一個都可以變成根據本發明的物體124，因為手指通常是由多個不同的部分例如指尖、指甲、指關節、以及關節構成。

提供了一種物體分類單元230。物體分類單元230使用了表示觸敏表面200的與另一個物體接觸的部分的x、y坐標數據以及可選地來自所述幀數據的任何強度數據，并且對觸敏表面112所感測到的一個或多個接觸的性質。

參照圖8-圖11展示了物體分類單元230的操作。圖8展示了用于對觸敏表面112上的接觸進行分類的方法的第一實施例。如圖8所示的實施例，接收幀數據成(步驟400)。圖9展示了表示所述幀數據的圖像300的示例。在這個示例中，例如但不限于當物體例如耳朵與觸敏表面110接觸時，感測圖像300中描繪的所述幀數據。

在觸敏設備100中，物體分類單元230接收表示觸敏表面100的與另一個表面接觸的每個部分的x、y坐標的幀數據并且執行一種用于對接觸類型進行分類的方法，所述接觸類型接著被供應地事件確定單元250。

在這個實施例中，分類包括細分分析(步驟410)。在所述細分分析中，將所述幀數據劃分成多個細分部，并且分析每個細分部的特性，所述特性可能指示或沒有指示與所述預定類別的一致性。此類細分部具有不同的形式。這些細分部被界定用于隨后在邊界區域的意義上進行討論，并且多種邊界區域形狀是可能的。邊界區域形狀可以是相互排他的、被限定成使得邊界區域的任一部分都不與另一個邊界區域的部分重疊，或者它們可以被限定成使得這些邊界區域可以至少部分地重疊。

圖9展示了可以在細分分析中使用的邊界區域300的圖案的一個示例。在圖9的示例，使用邊界區域352的總體上均勻的圖案化陣列350來細分幀數據300。然而將了解的是，這不是關鍵的。例如在圖10所示的實施例中，使用具有多種不同大小的邊界區域352并且如圖10所示的一種圖案358的邊界區域352，并且一種圖案358的邊界區域352可以具有任何數量的不同大小的邊界區域352。此外，如圖11所示，一種圖案360的邊界區域352可以具有被成形為多種構型中的任一種的邊界區域352。最后，如圖12所示，邊界區域352可以采用邊界區域352圖案362的形式，這些邊界區域是至少部分地基于所述幀數據本身限定的，其中所述圖案圍繞與觸敏表面112的集中接觸部分描繪了不同的邊界區域。此外，可以使用所有上文邊界安排的衍生物(一階和二階)。

在一些實施例中，可以使用預定圖案的邊界區域352來分析所有幀數據。可替代地，所述圖案的邊界區域352可以基于觸敏設備100的操作模式動態地確定。

接著分析由邊界區域352限定的這些細分部內的幀數據以便確定每個細分部的潛在接觸類型(步驟410)。這可以例如通過確定所述幀數據是否存在與所述細分分析一致的圖案分析來完成。這種圖案分析可以使用常規的圖案鑒定方法來定位指示了與某些物體的觸摸的觸摸圖案，例如通過鑒定這些細分部內的圖案。接著當圖案分析與所述細分分析一致時，可以針對與所述觸敏表面接觸的物體確定類別。可選地，在一個實施例中，可以例如基于觸摸強度來確定所述類別。可以用多種方式來確定觸摸強度，例如可以將觸摸強度確定為高于或低于閾值、或確定為低、中等和高強度之一。替代地，觸摸強度可以被確定為連續數值，例如在0.0與100.0之間。在此情況下，觸摸強度的類型數量是根據用于區分觸摸強度的振幅的量的指標數量確定的。

由于觸摸強度可以取決于施加觸摸的物體124從根本上改變，因此可能有利的是相對于這些獨立的物體124類型來確定用于區分所述數字的聲音/振動信號的振幅的量的上述物體124類型指標。這樣的確定可以用多種方式中的任一種進行。例如，這樣的區分可以至少部分地通過使用振動聲學數據來進行，如在2015年2月2日提交的標題為“用于對觸敏表面上的觸摸事件進行分類的方法和裝置(Method and Apparatus for Classifying Touch Events on a Touch Sensitive Surface)”的共同受讓的且共同未決的美國專利申請號14/612,089中描述的，所述申請通過援引以其全部內容并入本文。本申請部分地描述了一種用于對觸摸事件進行分類的裝置，所述裝置具有觸敏表面、觸摸檢測器以及觸摸事件分類器，所述觸敏表面被配置成用于在物體或手指觸摸所述觸敏表面時產生觸摸事件，其中，所述觸摸事件引起在與所述表面接觸時產生的機械振動，所述觸摸檢測器被配置成與檢測觸摸的開始，并且所述觸摸事件分類器被配置成用于對觸摸事件進行分類以便鑒定所述觸摸事件所使用的物體。

此外，還可以至少部分地使用在2013年8月2日提交的共同受讓的且共同未決的“捕捉用于確定觸摸類型的振動聲學數據(Capture of Vibro-Acoustic Data used to Determine Touch Types)”美國專利申請號13/958,427中描述的技術來進行這樣的確定，所述申請通過援引以其全部內容并入本文。所述申請部分地描述了一種用于在用戶與具有觸敏表面的電子設備之間進行交互的方法。在所述方法中，接收觸摸事件觸發信息，所述觸摸事件觸發信息指示了所述觸敏表面上的物理觸摸事件的發生。訪問由所述觸摸事件產生的觸摸數據，并且在時間窗口上訪問由所述物理觸摸事件產生的振動聲學數據，所述時間窗口在接收所述觸摸事件觸發信息之前的時刻開始，并且基于所述觸摸數據和所述振動聲學數據來確定所述觸摸事件的觸摸類型。

此外，可以至少部分地使用在2014年3月19日提交的標題為“用于感測觸摸輸入的方法和設備(Method and Device for Sensing Touch Inputs)”的共同受讓的且共同未決的美國專利申請號14/219,919中描述的技術來進行這樣的確定，所述申請通過援引以其全部內容并入本文。所述申請部分地描述了一種用于感測輸入數字設備中的觸摸輸入的方法，在所述方法中，感測由觸摸產生的聲音/振動信號，并且對所感測到的聲音/振動信號進行數字處理。在此，基于從經處理的聲音/振動信號的時域和頻域表示得到的特征來確定觸摸裝置的類型以及觸摸強度。

在一些情況下，可以至少部分地基于當輸入工具的不同部分接觸觸敏表面時與感測表面進行的接觸之間的振動-聲學差異來確定觸摸強度。這種情況的一個示例可以在2013年2月28日提交的標題為“具有振動-聲學相異區域的輸入工具和與之一起使用的計算設備(Input Tools Having Vibro-Acoustically Distinct Regions and Computing Device For Use With Same)”的共同受讓的且共同未決的美國專利申請號13/780,494中找到，所述申請通過援引以其全部內容并入本文。

所述申請部分地描述了一種用于與觸摸屏交互的輸入工具，所述輸入工具包括：校準筆形式的本體，所述本體具有一個或多個振動-聲學相異區域，其中每個振動-聲學區域在觸摸所述觸摸屏的表面時產生離散的振動-聲學信號，并且所述振動-聲學信號被用于檢測使用的是所述輸入工具的哪個區域。這樣的振動-聲學信號還可以用于在不同類型的手指接觸(例如與指關節、指甲和指尖的接觸)之間進行區分，例如在2013年3月25日提交的標題為“使用不同類型的手指接觸來激活不同交互功能的方法和系統(Method and System For Activating Different Interactive Functions Using Different Types of Finger Contact)”的共同受讓的且共同未決的美國專利申請號13/849,698中描述的，所述申請通過援引以其全部內容并入本文。

手指觸摸類型確定可以例如導致針對第一手指觸摸類型執行第一動作并且針對第二手指觸摸類型執行第二動作。例如，2013年5月06日提交的并且通過援引以其全部內容并入本文的標題為“使用手指觸摸類型來與電子設備交互(Using Finger Touch Types to Interact with Electronic Devices)”的美國專利申請號13/887,711描述了這樣的應用。

至少部分地基于電容性數據也可以獲得觸摸強度。例如在2014年2月26日提交的標題為“使用電容性圖像進行觸摸類型分類(Using Capacitive Images for Touch Type Classification)”的共同受讓的且共同未決的美國專利申請號14/191,329部分地描述了一種在用戶與具有觸敏表面的電子設備之間進行交互的方法。在其一個方面，訪問電容性圖像，所述電容性圖像包括與所述觸摸表面上的多個位置處的電容相對應的電容性圖像數據，這些電容響應于所述觸摸表面上的物理觸摸而變化。處理所述電容性圖像數據，并且基于所述處理的電容性圖像數據來確定所述物理接觸的觸摸類型。還可能有用的是(在有可能這樣做的情況下)維持關于此類物體的啟發式數據。

可以基于物體124與觸敏表面112之間的觸摸強度來確定觸摸強度數據，所述觸摸強度進而可以例如基于電容、電阻、或剪切力測量來確定。此外，可以基于所感測到的對觸敏表面112施加的力的量的變化來確定觸摸強度數據，這種變化可以用上文更詳細描述的這些不同方式以及用于感測對表面施加的力的任何其他已知方式進行感測。

物體分類單元230可以發送物體表征信息。此外，物體分類單元230可以發送表征力的量的觸摸強度數據、或表征在觸摸過程中由或通過物體124施加的觸摸強度的其他觸摸強度信息。這在一個實施例中可以通過提供與觸摸強度數據的每個元素相對應的觸摸強度數據、或通過采樣、數學處理、或以其他方式處理用于表征在獲得所述幀數據的時間段期間施加的力的量的力數據來實現。

在每個細分部中進行的幀數據分析可以采用多種形式，包括：

平均

標準偏差

標準偏差(經整體振幅歸一化)

方差

偏斜度、峰度、和

絕對值和

均方根(RMS)

峰值因數

離差、熵、功率和

重心(質心)

變差系數、過零

使用以下方法得到的一組已知示例性信號的模板匹配得分：

卷積

逆濾波匹配技術

和-平方差(SSD)，以及

彈性匹配。

在一些實施例中，觸摸感測系統110單獨地、或與觸敏設備100的其他部件的組合將產生可以使用的額外數據，包括但不限于：

觸摸接觸位置(2D、或在曲面玻璃或其他非平面幾何形狀的情況下為3D)，

觸摸接觸的大小(一些觸摸技術提供了具有長軸和短軸的觸摸接觸橢圓)，

觸摸接觸的旋轉，

觸摸的形狀(一些觸摸技術可以提供觸摸的實際形狀、并且并非正好是圓或橢圓)，

觸摸接觸的表面積(例如，單位是mm的平方或像素)、觸摸壓力(在一些觸摸系統上可獲得)，

觸摸的剪切力(在一些觸摸系統上可獲得)，

“切應力”(在文獻中也稱為“切向力”)由垂直于觸摸屏的表面法線(即，平行于觸摸屏表面)的力矢量引起。這類似于：法向應力(一般稱為壓力)，所述法向應力由平行于表面法線的力矢量引起；觸摸接觸的數量；

觸摸的電容(如果使用電容性觸摸屏)；

觸摸的掃頻電容(如果使用掃頻電容性觸摸屏)，以及

觸摸的掃頻阻抗(如果使用掃頻電容性觸摸屏)。

在一個實施例中，可以在所述幀數據中通過將邊界區域320變換成頻域表示(例如，使用快速傅里葉變換或類似函數)來限定邊界區域的圖案。從所述頻域表示中提取以下特征：

頻譜重心，

頻譜密度，

球諧函數，

總平均頻譜能量，以及

對數譜帶比。

物體分類單元230可以使用任何數量的方法，包括但不限于基本啟發法、決策樹、支持向量機、隨機森林、樸素貝葉斯、彈性匹配、動態時間規整、模板匹配、k均值聚類、K最近鄰算法、神經網絡、多層感知器、多項邏輯回歸、高斯混合模型、和AdaBoost。

此外，物體分類單元230還可以將來自若干不同分類途徑的結果通過例如表決方案、或通過分析一種圖案進行組合，由所述圖案可以確定在一定時間段期間所述觸敏表面的哪些部分在與物體接觸。

物體分類單元230基于與所述幀數據相關聯的相關數據的分析來確定所述圖案分析的類別是否與所述細分分析的結果一致。在這不一致的情況下，獲得并分析隨后的幀(步驟440)。

然而，在所述分析一致的情況下，確定440所述幀數據與所述圖案分析或其他分類以及任何進一步的分析(例如，一旦確定了與所述觸敏表面接觸的物體就可以對所述幀數據執行的精細分析)一致。

一旦針對與觸敏設備100接觸的物體確定了類別，可以基于所述類別來確定事件。為了減小假的正模式改變的機會(例如，切換至使用耳朵)，可以遵循兩種示例性策略。圖8的實施例展示了這兩種示例性策略中的第一種。

在這個實施例中，事件確定單元250使用來自多于一個時間段的幀數據輔助這種分類。例如，接觸敏感性表面112可以以具體幀速率來捕捉觸摸圖像/幀數據(例如，每秒30幀)。在這些幀的過程中捕捉的幀數據可以被單獨分類(例如，“耳朵接觸”或“無接觸”)。雖然任何給定幀數據中的任何接觸可能具有較低類別置信度，通過使用小的表決窗口可以實現更穩健結果。例如，如果最后10個觸摸屏幀具有以下分類結果——“耳朵、耳朵、無接觸、耳朵、無接觸、耳朵、耳朵、耳朵、耳朵、無接觸”——所述結果將是“耳朵”類別(最后10個類別結果中的6個)(步驟450)。類似地，對于可以出于分類目的而鑒定和使用的接觸，可能存在預定圖案類別隨時間的變化。例如，可以預期在耳朵接觸過程中將存在一定比率的“無接觸”確定結果。例如，如果預期在維持耳朵靠在觸摸屏上的時間段期間的十個接觸類別中的三個將顯示無接觸，或者如果預期五個幀中的只是一個將顯示無接觸，則“無接觸”確定結果的存在增強了以上事例中耳朵接觸類別的可靠性。所進行的確定可以被稱為當前類別狀態，并且可以使用所述當前類別狀態來確定例如將啟用或停用顯示器110或顯示器110的一部分或采取其他措施的事件(步驟460)。

可替代地，一些分類器產生類別置信度。為了得到更穩健行為，所述設備的模式將僅在高置信度類別時進行切換。如果產生低置信度類別，所述設備將簡單地維持其當前模式。所述過程接著可以終止或繼續(步驟470)。

此外，為了避免兩種或更多種模式之間的“閃變”(即，在模式之間快速切換)，可以使用滯后函數。

將了解的是，多種不同的接觸類別是可能的，并且在所接收的幀數據中可以找到多于一種接觸類別。例如，考慮圖13和14中展示的情景。如圖13所示，用戶500不常將觸敏設備100例如手機放置成靠在其頭部502上而使得在多于一個地方存在觸敏表面112與頭部502之間的接觸圖案508。如圖13所示，在頭部502與觸敏表面之間存在若干不同的接觸，包括耳朵接觸510、臉頰接觸512以及可能的頭發/頭部接觸514。

圖14展示了在獲取一個幀的幀數據時的時間段期間可以確定的幀數據的幀圖像520的示例。在此，耳朵接觸510得到了接觸圖案530，而臉頰接觸512提供了具有卵形形狀的相對均勻的接觸圖案540，而頭發/頭部接觸得到了具有一定均勻性但由于與頭發接觸而潛在地受長形條紋552的存在所影響的接觸圖案550。

將了解的是，接觸圖案530、540和550中的每一個提供了一種簽名，所述簽名聯合地或單獨地來看可能能夠被分類、或者可能能夠被用于證實一種類別。

還將了解的是，這種情況的許多不同變體是可能的。例如，用戶可能佩戴眼鏡，所述眼鏡包繞耳朵的后部并且因此以可以調節在手指被擱放在耳朵上時所感測到的接觸圖案的方式來支撐耳朵。類似地，所述用戶可能佩戴可以感測到的頭帽、或與觸敏表面100產生特定接觸圖案的刺孔/珠寶，所述接觸圖案對于確定頭部何時擱放在觸敏表面112上是特別有用的。

圖15示出了進一步展示以上描述的原理的應用的另一個示例。圖15展示了表示具有多個接觸562、564和566的幀數據的幀圖像560。在這個示例中，如上文描述地進行分類，其中通過檢測幀數據560中的圖案來對幀數據進行分類。然而，將了解的是，對幀數據560進行圖案分類可能沒有得出具有高置信度的結果。相應地，可以應用細分分析(步驟410)。在這種情況下，這樣的細分分析可以幫助基于以上描述的分析來對例如接觸562是否是指關節接觸或指尖接觸進行更高置信度的確定。類型地，可以基于以上描述的分析關于接觸556是否是與觸敏表面112的指甲接觸、校準筆接觸、或其他接觸作出確定。

由此將了解的是，使用在此描述的技術，可以提供具有解釋與觸敏表面的接觸圖案的更高能力的觸敏設備。

例如，將理解的是，在本發明的精神和范圍內，方法步驟的排序和數量可以改變。

圖16展示了這種情況的示例。在圖16的實施例中，執行細分分析(步驟410)，并且接著基于所述細分分析來進行幀接觸類別確定(步驟430)。

如上文總體上描述的，在細分分析(步驟410)中，接著可以計算每個細分部中一定數量的描述性特征。例如可以通過分析所述細分部內的數據而確定這些描述性特征。所述分析的示例包括上文關于細分分析步驟4所描述的分析、并且例如可以包括確定所述細分部內的高或低強度(例如最大強度)、細分部內的強度區域的大小或形狀、細分部內的強度的標準偏差、或基于細分部內的幀數據可以確定的任何其他信息。此外，與正在分析的細分部相鄰或鄰近的一個或多個細分部的特性也可以用于計算細分部的描述性特征。

在圖16的實施例中，接著可以基于所述細分部的描述性特征可以進行類別確定(步驟430)。例如，細分分析(步驟410)可以鑒定細分部的描述性特征，所述描述性特征指示了所述幀數據的具體細分部似乎代表了耳垂。當耳朵與觸敏表面112接觸時，類別確定(步驟430)接著可以確定細分部是否位于形成更大接觸面積的一個或多個細分部的底部的近處，所述更大接觸面積看起來可以是耳朵的中間部分。相反，如果細分部看起來是耳垂但出現在接觸區域的中間，則類別確定可以判定這不是在耳朵處。

從上文將理解的是，在圖8或圖16中展示的實施例之一中，可以創造性地使用針對所述幀數據的細分部確定的任一個或所有描述性特征、細分部的位置、以及細分部的位置、連同幀數據以及與正在分析的細分部相鄰或鄰近的細分部相關聯的描述性特征，以便改進所述過程的可靠性、速度或效率中的任一項或全部。

類別確定可以可選地進行置信度測試(步驟435)以便確定在類別確定中是否存在足夠的置信度(步驟430)。如上文指出的，一些分類器產生類別置信度。為了得到更穩健行為，觸敏設備100的模式僅在置信度類別達到閾值水平時進行切換，所述閾值水平可以包括使得類別置信度高的閾值水平。可選地，可以通過與替代性的類別確定進行比較來評估分類的置信度。這樣的替代性分類可以用任意數量的方式來確定并且可以使用替代性分類方法來進行，例如使用如上文描述的圖案分析進行的分類、或使用細分部的描述性特征進行的次好的分類。

將了解的是，在完成這點的情況下，圖8的一致性確定步驟(步驟440)或圖16的類別置信度確定(步驟435)可以創造性地使用在細分分析過程中確定的特征與位置信息的組合。此外，可以使用關于任何細分部的形狀的形狀信息。最后，還可能出現的是，可以通過計算用于類別確定的置信度度量標準并且基于這個度量標準來確定置信度，而進行確定類別置信度的步驟。

在圖16的實施例中，接著可以總體上如上文描述的來執行將幀接觸類別與之前的幀類別進行比較(步驟450)以及基于當前接觸狀態來確定事件(步驟460)的過程。

如上文描述的根據本發明的實施例可以以不同計算機部件可以執行的程序指令的形式來實施、并且可以存儲在計算機可讀記錄介質上。所述計算機可讀記錄介質可以包括分開的或組合的程序指令、數據文件、數據結構等等。存儲在所述計算機可讀記錄介質上的程序指令可以是專門針對本發明設計和配置的、或者還可以是計算機軟件領域的計算人員已知的和可獲得的。所述計算機刻可讀記錄介質的示例包括以下各項：磁介質如硬盤、軟盤、和磁帶；光介質例如壓縮盤只讀存儲器(CD-ROM)和數字通用盤(DVD)；磁光介質例如光盤；以及專門被配置成用于存儲和執行程序指令的硬件設備，例如只讀存儲器(ROM)、隨機存取存儲器(RAM)和閃存。這些程序指令的示例不僅包括由編譯器等等產生的機器語言代碼，而且還可以包括可以由計算機使用解釋器執行的高級代碼。以上硬件設備可以更換成一個或多個軟件模塊，用于執行本發明的操作，反之亦然。

雖然上文是結合具體限制例如詳述的部件、以及受限的實施例和圖來描述本發明的，但這些僅被提供用于幫助對本發明的一般性理解。本發明不局限于以上實施例，并且本領域技術人員將了解的是，根據本說明作出不同的改變和修改是可能的。

因此，本發明的精神不應局限于以上描述的實施例，并且所附權利要求書及其等同物的總體范圍將落入本發明的范圍和精神之內。