專利名稱：一種用于移動設備的手寫輸入及手勢識別的方法和裝置的制作方法
技術領域：
本發明涉及手寫輸入及手勢識別技術，特別涉及一種用于移動設備的手寫輸入及手勢識別的方法和裝置。
背景技術：
移動設備，如手機的中文輸入在國內市場上主要存在三種技術方式，分別是拼音輸入、筆劃輸入和手寫輸入。就使用范圍所作的調查顯示拼音輸入的使用比例高居榜首為79.7％，筆劃輸入和手寫輸入的使用比例分別為15.7％和4.6％。但是，隨著短信業務的增長，拼音輸入和筆劃輸入引起的“拇指疲勞”問題逐漸暴露，而此時手寫輸入的技術卻日漸成熟，使其成為移動設備小型化之后最受使用者推寵的輸入法。多項調查結果顯示，接近80％的被調查者將帶有中文手寫功能的手機作為最佳選擇。
手機上的手寫輸入指的是手機通過內置的觸控筆在手機屏幕上書寫，手機屏幕可以通過壓力變化或磁力變化等感知接觸點的位置。然后，手機通過內部的手寫識別系統把手寫的各種字體轉換為手機可識別的標準字體，并顯示在手機屏幕上，這樣就大大地提高了輸入的速度。目前具有手寫輸入的手機大部分出現在高端手機上，因為這種具有手寫輸入功能的手機需要增加額外的手寫輸入設備，如手寫筆，增加了手機的成本。
通常手寫輸入設備的手寫識別系統是通過記錄文字圖像抬筆、落筆、筆跡上各像素的空間位置，以及各筆段之間的時間關系等信息，并對這些信息加以處理，以一定的規則提取特征，由識別模塊加以識別，識別模塊將所提取的特征與識別特征庫的特征相比較。一般，手寫輸入的識別特征庫是基于人們習慣的筆劃書寫的統計特征而建立的。而且手寫筆基本上沿襲了人們日常中的書寫習慣。手寫輸入法的這些高度人性化的特征，使其深受廣大用戶的推寵。
另外，還有一些手機產品具有手勢識別功能，在這種手機中需要增加機械式動作感應裝置，如手勢控制傳感器，來感應使用者揮動手機的動作，如夏普的904SH手機就具備手勢識別功能，其中裝載了6軸加速度及地磁傳感器AMI601，可根據重力及地磁方向檢測手機的方位和姿態。
由以上描述可以看出，現有的具有手寫輸入和手勢識別功能的手機都需要增加額外的特殊硬件設備，如手寫筆、手勢控制傳感器等，這必然會使產品的成本增加。
發明內容
有鑒于此，本發明的主要目的在于提供一種用于移動設備的手寫輸入及手勢識別方法，不需要增加額外硬件設備，就可以在移動設備上實現手寫輸入及手勢識別功能。
本發明的另一個目的在于提供一種用于移動設備的手寫輸入及手勢識別裝置，不需要增加額外硬件設備，就可以在移動設備上實現手寫輸入及手勢識別功能。
為了實現上述目的的第一方面，本發明提供了一種用于移動設備的手寫輸入及手勢識別方法，預先在具有攝像裝置的移動設備中建立筆劃或手勢軌跡模型，該方法包括以下步驟A、比較由攝像裝置獲取的相鄰兩幀圖像，求出相鄰兩幀圖像的相對運動矢量；B、將一次完整輸入過程中求出的所有相鄰兩幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡；C、將獲得的攝像頭平面運動軌跡與移動設備中的筆劃或手勢軌跡模型進行匹配，匹配成功時輸出匹配結果。
步驟A所述的求出相鄰兩幀圖像的相對運動矢量包括以下步驟
A1、對相鄰兩幀圖像中的同一區域進行FFT變化，并求出兩個FFT變換結果的相位的相關函數；A2、查找相位相關函數的最大值，將最大值對應的坐標確定為相鄰兩幀圖像的偏移量。
當希望獲得的精度更高的軌跡時，步驟A2所述的確定為相鄰兩幀圖像的偏移量后，進一步包括A3、將步驟A1中的兩個區域分別進行雙三插值處理，放大整數倍。
A4、對步驟A3中的結果進行區塊比對，得到放大整數倍的相鄰兩幀圖像的偏移量。
步驟A所述的求出相鄰兩幀圖像的相對運動矢量為求出當前幀相對于前一幀的相對全局運動矢量作為相鄰兩幀圖像的相對運動矢量，包括以下步驟a1、對當前幀的預裁剪有效像素區域的每個宏塊與塊進行運動估計，求出每個宏塊與塊相對于當前幀的前一幀的運動矢量；a2、統計每個宏塊與塊的運動矢量的分布頻度，以頻度最高的運動矢量作為當前幀相對于前一幀的相對全局運動矢量。
所述的在移動設備中建立的軌跡模型為按比例縮放到一個單位正方形中的軌跡模型；相應的，步驟B所述的獲得攝像頭的平面運動軌跡后，進一步包括將所獲取的軌跡按比例縮放到一個單位正方形中。
所述相鄰兩幀圖像為攝像裝置獲取的具有固定時間間隔的兩幀圖像。
步驟C所述的匹配為模板匹配、正則文法匹配或動態時間歸正技術。
為了實現上述目的的第二方面，本發明提供了一種用于移動設備的手寫輸入及手勢識別裝置，該裝置包括圖像輸入模塊、顯示模塊，圖像輸入模塊用于獲取圖像，顯示模塊用于顯示輸入的信息，其特征在于，該裝置進一步包括圖像比較模塊和軌跡匹配模塊，圖像比較模塊，用于比較相鄰兩幀圖像的相對運動矢量，并將一次完整的輸入過程中求出的所有相鄰幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡；軌跡匹配模塊，用于將獲得的攝像頭平面運動軌跡與移動設備中的筆劃或手勢軌跡模型進行匹配，在匹配成功時，將匹配結果輸出到所述的顯示模塊。
所述圖像比較模塊為傅立葉變換圖像比較模塊，用于對圖像輸入模塊獲取的相鄰兩幀圖像的同一區域進行傅立葉變換，將兩個傅立葉變換結果的相位相關函數的最大值對應的坐標確定為相鄰兩幀圖像的偏移量；并將一次完整的輸入過程中求出的所有相鄰兩幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
所述圖像比較模塊包括運動估計模塊和全局矢量計算模塊，所述運動估計模塊，用于估計當前幀圖像的每個宏塊與塊相對于前一幀的運動矢量；所述全局矢量計算模塊，用于將每個宏塊與塊的頻度最高的運動矢量確定為當前幀相對于前一幀的相對全局運動矢量，并將一次完整的輸入過程中求出的各幀圖像的相對全局運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
所述運動估計模塊為移動設備的視頻編碼器中的運動估計模塊。
所述圖像輸入模塊為移動設備的攝像裝置；所述顯示模塊為移動設備的顯示屏。
本發明提供的用于移動設備的手寫輸入及手勢識別方法，通過移動設備的攝像裝置獲取圖像，然后對獲取的相鄰圖像幀進行比較，求出兩個相鄰圖像幀的相對運動矢量，并將一次完整輸入過程中求出的所有相鄰圖像幀的相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡。利用獲得的攝像頭的精確平面運動軌跡與事先建立的筆劃或手勢軌跡模型進行匹配，在匹配成功時，將匹配結果輸出到移動設備的顯示屏。
本發明的用于移動設備的手寫輸入及手勢識別裝置，通過在移動設備中增加圖像比較模塊和圖像匹配模塊，利用上述的用于移動設備的手寫輸入及手勢識別方法在移動設備上實現了手寫輸入及手勢識別功能，并且不需要在移動設備上增加特殊的硬件設備，比如手寫筆、手勢控制傳感器等。因此本發明提供的這種用于移動設備的手寫輸入及手勢識別的方法和裝置，可以大大節省具有手寫輸入及手勢識別功能的移動設備的成本。
圖1為本發明的用于移動設備的手寫輸入及手勢識別方法的一個較佳
具體實施例方式
為使本發明的目的、技術方案以及有益效果更加清楚明白，下面結合附圖和實施例對本發明作進一步的詳細說明。
本發明的用于移動設備的手寫輸入及手勢識別的方法和裝置，首先由移動設備的攝像裝置獲取圖像，通過比較獲取的相鄰圖像幀，求出一次完整輸入過程中所有相鄰圖像幀的相對運動矢量，并將所求得的所有相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡，然后將該精確平面運動軌跡與事先建立的筆劃或手勢軌跡模型進行匹配，并在匹配成功時，將匹配結果輸出到移動設備的顯示屏。
本發明所述的移動設備具有攝像裝置，并且本發明的用于移動設備的手寫輸入及手勢識別方法需要預先在移動設備中建立筆劃或手勢軌跡模型。
參見圖1，圖1為本發明的用于移動設備的手寫輸入及手勢識別方法的一個較佳實施例的流程圖。該流程包括以下步驟
步驟101，通過移動設備的攝像裝置獲取當前圖像。
步驟102，對所獲取的當前圖像幀與之前獲取的相鄰圖像幀進行比較，求出當前圖像幀與之前獲取的相鄰圖像幀的相對位移的方向和幅度。
在實際應用中，步驟102可以采用多種不同的實現方式，比如采用以下的方法假設當前圖像為第N幀圖像，則對第N幀圖像與以前獲取的第N-1幀圖像進行比較，求出第N幀圖像與以前獲取的第N-1幀圖像的相對位移的方向和幅度，具體包括以下步驟1)對第N幀和第N-1幀圖像中的同一區域進行傅立葉變換，并求出兩個傅立葉變換結果的相位的相關函數(phase correlation function)。
2)從步驟1)求出的相位的相關函數中查找最大值，最大值對應的坐標即為第N幀圖像與第N-1幀圖像的偏移量。
為了提高求得的第N幀圖像與第N-1幀圖像的偏移量的精確度，還可以執行以下步驟3)將步驟1)中的兩個區域分別進行雙三次插值，并且放大數倍，比如4倍。
4)對步驟3)中求出的結果進行區塊比對，得到放大數倍的第N幀圖像與第N-1幀圖像的偏移量。
步驟103，將一次完整輸入過程中求出的所有相鄰圖像幀的相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡。
這里所述的一次完整輸入一般指一個完整的字、字符的輸入過程，如每次輸入完一個字或字符后可以通過按動在移動設備上設置的一個按鍵來標志。當然也可采用現有技術的手寫輸入時，判斷一次完整輸入的其它方法。
步驟104，利用獲得的攝像頭的精確平面運動軌跡與事先在移動設備中建立的筆劃或手勢軌跡模型進行匹配。
其中，模型匹配可以采用的方法有很多種，包括模板匹配、正則文法匹配、動態時間歸正(DTW)技術等。
步驟105，判斷匹配是否成功，如果成功，則執行步驟106；否則，返回執行步驟101。
步驟106，將匹配結果輸出到移動設備顯示屏。
以數字“2”的輸入過程為例對上述步驟進一步說明。首先，手持具有攝像裝置的移動設備在空中書寫數字“2”。假設整個數字“2”的書寫過程中，間隔或不間隔地共獲取了K幀圖像，則根據獲取的每相鄰兩幀圖像之間的相對位移方向及幅度的計算，可以得出K-1個相對位移的方向及幅度。然后，將這K-1個相對位移首尾拼接，可以得到一條軌跡，如圖2(a)所示。為了便于匹配，將這條軌跡按比例縮放到一個單位正方形內，如圖2(b)所示。所述的將軌跡按比例縮放到一個單位正方形內的技術為公知技術，這里不再詳述。在事先建立的筆劃或手勢模型中同樣進行了類似的比例縮放處理。然后比較獲取的軌跡和事先建立的筆劃或手勢模型，就可以從預先在移動設備中設置的軌跡模型庫中挑出相似度最高的筆劃或手勢軌跡模型，作為匹配的結果輸出到移動設備的顯示屏上。如圖2(c)所示，圖2(c)給出了預先在移動設備中建立的數字“2”的筆劃或手勢軌跡模型。
本發明的攝像頭平面運動軌跡也可以通過移動設備的視頻編碼器獲得，利用視頻編碼器中的運動估計模塊估計拍攝獲取的各幀圖像的相對全局運動矢量，進而獲得攝像頭的平面運動軌跡。該過程包括以下步驟1)運動估計，即對獲取的當前幀，進行預裁剪，形成預裁剪后的有效像素區域；然后對當前幀的預裁剪有效像素區域的每個宏塊與塊進行運動估計；由視頻編碼器的運動估計模塊輸出每個宏塊與塊相對于參考幀的運動矢量，這里所述的參考幀為當前幀的前一幀。
2)統計宏塊與塊相對于參考幀的運動矢量的分布頻度，以頻度最高的運動矢量作為相對全局運動矢量。
3)將一次完整輸入過程中獲取的各幀圖像的相對全局運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
參見圖3，圖3為本發明的用于移動設備的手寫輸入及手勢識別裝置的結構示意圖。如圖3所示，該裝置包括圖像輸入模塊301、圖像比較模塊302、軌跡匹配模塊303以及顯示模塊304。
圖像輸入模塊301用于獲取圖像，并將圖像傳輸給圖像比較模塊302。圖像比較模塊302用于對圖像輸入模塊301獲取的相鄰圖像幀進行比較，求出相鄰兩幀圖像的相對運動矢量，并將一次完整輸入過程中求出的所有相鄰圖像幀的相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡。
軌跡匹配模塊303用于對圖像比較模塊302求得的攝像頭的精確平面運動軌跡與事先建立的筆劃或手勢模型進行匹配，如果匹配成功，就將匹配結果輸出到顯示模塊304。
參見圖4，圖4為圖3所示的本發明的用于移動設備的手寫輸入及手勢識別裝置的一個較佳實施例的結構示意圖。如圖4所示，該裝置包括圖像輸入模塊401、傅立葉變換圖像比較模塊402、軌跡匹配模塊403以及顯示模塊404。本實施例中，圖像比較模塊為傅立葉變換圖像比較模塊402。
在移動設備中，圖像輸入模塊401就是攝像裝置，顯示模塊404就是移動設備的顯示屏。
圖像輸入模塊401用于獲取圖像，并將圖像傳輸給圖像比較模塊402。傅立葉變換圖像比較模塊402用于對圖像輸入模塊401獲取的相鄰圖像幀進行比較，求出相鄰兩幀圖像的相對運動矢量，并將一次完整輸入過程中求出的所有相鄰圖像幀的相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡。
其中，求出相鄰兩幀圖像的相對運動矢量的過程包括對相鄰兩幀圖像的同一區域進行傅立葉變換，并求出兩個傅立葉變換結果的相位的相關函數；從求出的相位的相關函數中查找最大值，最大值對應的坐標即為相鄰兩幀圖像的偏移量。
軌跡匹配模塊403用于對傅立葉變換圖像比較模塊402求得的攝像頭的精確平面運動軌跡與事先建立的筆劃或手勢模型進行匹配，如果匹配成功，就將匹配結果輸出到顯示模塊404。
參見圖5，圖5為圖3所示的本發明的用于移動設備的手寫輸入及手勢識別裝置的另一個較佳實施例的結構示意圖。如圖5所示，該裝置包括圖像輸入模塊501、運動估計模塊502、全局運動矢量計算模塊503，軌跡匹配模塊504以及顯示模塊505。本實施例中，圖像比較模塊為運動估計模塊502和全局運動矢量計算模塊503的組合。
在移動設備中，圖像輸入模塊501就是攝像裝置，顯示模塊505就是移動設備的顯示屏。
圖像輸入模塊501用于獲取圖像，并將圖像傳輸給運動估計模塊502。運動估計模塊502用于分析拍攝獲取的圖像的運動情況，即對輸入的當前幀進行預裁剪，形成預裁剪后的有效像素區域，然后對當前幀的預裁剪有效像素區域的每個宏塊與塊進行運動估計，并向全局運動矢量計算模塊503輸出每個宏塊與塊相對于參考幀的運動矢量，這里所述的參考幀為當前幀的前一幀圖像。
全局運動矢量計算模塊503用于統計宏塊與塊相對于前一幀的運動矢量的分布頻度，以頻度最高的運動矢量作為當前幀的相對全局運動矢量，并將一次完整輸入過程中獲取的各幀圖像的相對全局運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
軌跡匹配模塊504用于對全局運動矢量計算模塊503求得的攝像頭的精確平面運動軌跡與事先建立的筆劃或手勢模型進行匹配，如果匹配成功，就將匹配結果輸出到顯示模塊505。
本發明中，所述的相鄰兩幀圖像是指攝像裝置獲取的、具有固定時間間隔的兩幀圖像，所述固定時間間隔可以為一個單位時間，比如以毫秒為單位，每毫秒獲取一幀圖像，那么，第1毫秒和第2毫秒獲取的兩幀圖像、第2毫秒和第3毫秒獲取的兩幀圖像分別為相鄰兩幀圖像；所述固定時間間隔也可以為一個以上單位時間，比如以毫秒為單位，每毫秒獲取一幀圖像，那么，第1毫秒和第4毫秒獲取的兩幀圖像、第4毫秒和第7毫秒獲取的兩幀圖像分別為相鄰兩幀圖像。
總之，以上所述僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種用于移動設備的手寫輸入及手勢識別方法，在具有攝像裝置的移動設備中建立筆劃或手勢軌跡模型，其特征在于，該方法還包括以下步驟A、比較由攝像裝置獲取的相鄰兩幀圖像，求出相鄰兩幀圖像的相對運動矢量；B、將一次完整輸入過程中求出的所有相鄰兩幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡；C、將獲得的攝像頭平面運動軌跡與移動設備中的筆劃或手勢軌跡模型進行匹配，匹配成功時輸出匹配結果。
2.如權利要求1所述的方法，其特征在于，步驟A所述的求出相鄰兩幀圖像的相對運動矢量包括以下步驟A1、對相鄰兩幀圖像中的同一區域進行FFT變化，并求出兩個FFT變換結果的相位的相關函數；A2、查找相位相關函數的最大值，將最大值對應的坐標確定為相鄰兩幀圖像的偏移量。
3.如權利要求2所述的方法，其特征在于，步驟A2所述的確定為相鄰兩幀圖像的偏移量后，進一步包括A3、將步驟A1中的兩個區域分別進行雙三插值處理，放大整數倍。A4、對步驟A3中的結果進行區塊比對，得到放大整數倍的相鄰兩幀圖像的偏移量。
4.如權利要求1所述的方法，其特征在于，步驟A所述的求出相鄰兩幀圖像的相對運動矢量為求出當前幀相對于前一幀的相對全局運動矢量作為相鄰兩幀圖像的相對運動矢量，包括以下步驟a1、對當前幀的預裁剪有效像素區域的每個宏塊與塊進行運動估計，求出每個宏塊與塊相對于當前幀的前一幀的運動矢量；a2、統計每個宏塊與塊的運動矢量的分布頻度，以頻度最高的運動矢量作為當前幀相對于前一幀的相對全局運動矢量。
5.如權利要求1、2、3或4所述的方法，其特征在于，所述的在移動設備中建立的軌跡模型為按比例縮放到一個單位正方形中的軌跡模型；相應的，步驟B所述的獲得攝像頭的平面運動軌跡后，進一步包括將所獲取的軌跡按比例縮放到一個單位正方形中。
6.如權利要求1、2、3或4所述的方法，其特征在于，所述相鄰兩幀圖像為攝像裝置獲取的具有固定時間間隔的兩幀圖像。
7.如權利要求1所述的方法，其特征在于，步驟C所述的匹配為模板匹配、正則文法匹配或動態時間歸正技術。
8.一種用于移動設備的手寫輸入及手勢識別裝置，該裝置包括圖像輸入模塊、顯示模塊，圖像輸入模塊用于獲取圖像，顯示模塊用于顯示輸入的信息，其特征在于，該裝置進一步包括圖像比較模塊和軌跡匹配模塊，圖像比較模塊，用于比較相鄰兩幀圖像的相對運動矢量，并將一次完整的輸入過程中求出的所有相鄰幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡；軌跡匹配模塊，用于將獲得的攝像頭平面運動軌跡與移動設備中的筆劃或手勢軌跡模型進行匹配，在匹配成功時，將匹配結果輸出到所述的顯示模塊。
9.如權利要求8所述的裝置，其特征在于，所述圖像比較模塊為傅立葉變換圖像比較模塊，用于對圖像輸入模塊獲取的相鄰兩幀圖像的同一區域進行傅立葉變換，將兩個傅立葉變換結果的相位相關函數的最大值對應的坐標確定為相鄰兩幀圖像的偏移量；并將一次完整的輸入過程中求出的所有相鄰兩幀圖像的相對運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
10.如權利要求8所述的裝置，其特征在于，所述圖像比較模塊包括運動估計模塊和全局矢量計算模塊，所述運動估計模塊，用于估計當前幀圖像的每個宏塊與塊相對于前一幀的運動矢量；所述全局矢量計算模塊，用于將每個宏塊與塊的頻度最高的運動矢量確定為當前幀相對于前一幀的相對全局運動矢量，并將一次完整的輸入過程中求出的各幀圖像的相對全局運動矢量首尾連接，獲得攝像頭的平面運動軌跡。
11.如權利要求10所述的裝置，其特征在于，所述運動估計模塊為移動設備的視頻編碼器中的運動估計模塊。
12.如權利要求8、9或10所述的裝置，其特征在于，所述圖像輸入模塊為移動設備的攝像裝置；所述顯示模塊為移動設備的顯示屏。
全文摘要
本發明公開了一種用于移動設備的手寫輸入及手勢識別方法，通過比較由攝像裝置獲取的相鄰兩個圖像幀，求出兩個相鄰圖像幀的相對運動矢量。并將一次完整輸入過程中求出的所有相鄰圖像幀的相對運動矢量首尾連接，獲得攝像頭的精確平面運動軌跡。利用獲得的攝像頭的精確平面運動軌跡與事先建立的筆劃或手勢軌跡模型進行匹配，在匹配成功時將匹配結果輸出到移動設備的顯示屏。本發明同時公開了一種用于移動設備的手寫輸入及手勢識別裝置，這種裝置不需要在移動設備上增加特殊的硬件設備，就可以在移動設備上實現手寫輸入及手勢識別功能，因此可以大大節省具有手寫輸入及手勢識別功能的移動設備的成本。
文檔編號H04M1/247GK1881994SQ200610081330
公開日2006年12月20日 申請日期2006年5月18日 優先權日2006年5月18日
發明者王浩, 夏煜 申請人:北京中星微電子有限公司