盲人用移動電話交互系統及其裝置的制作方法

專利名稱：盲人用移動電話交互系統及其裝置的制作方法
技術領域：
本發明涉及人機交互中手勢識別與控制輸入技術領域，尤其涉及一種可提供給盲
人使用的移動電話。
背景技術：
目前，隨著信息社會發展迅速日益加快，移動電話(手機)已經成為人們日常生活 中必不可少的，最貼身便攜的信息交流工具。常規的手機用戶通過鍵盤輸入和以顯示屏為 主的視覺信息輸出完成交互過程。這樣使得具有視覺障礙的盲人或視力衰退的老年人(以 下統稱盲人)使用常規手機幾乎不可能。 目前，有少量提出專門為盲人用戶設計的手機產品，盲人用手觸摸識別原理，在現 有手機的鍵盤上刻印并顯突出所代表的盲文，這樣盲人通過觸摸手機的按鍵來識別出其功 能。但是這些輸入裝置必須為特殊的鍵盤，為了方便盲人觸摸， 一般體積較大，不方便攜帶， 非常不適用于普通手機大小的便攜式數碼產品。即使將觸摸式鍵盤尺寸縮小，設置在普通 手機鍵盤為盲人使用，但過小的尺寸導致觸點過密，不方便盲人用戶辨識，輸入效率不高。

發明內容
本發明的目的旨在至少解決現有技術中的上述問題之一。 為此，本發明的實施例提出一種便攜且具有高辨識率的盲人用移動電話交互系統 及其裝置。 根據本發明的一個方面，本發明實施例提出了一種盲人用移動電話交互系統，所
述交互系統包括信號采集與發射裝置和移動電話裝置。信號采集與發射裝置設置在人手
臂上，包括信號采集模塊，用以采集基于手勢動作產生的信號，其中所述手勢動作用來作
為盲人移動通訊的輸入指令；模數轉換模塊，用于將所述采集信號進行模擬-數字轉換；發 射模塊，與所述模數轉換模塊連接以發射已轉換為數字信號的所述采集信號。移動電話裝
置，包括接收模塊，用于接收所述采集信號；信號處理模塊，將接收的所述采集信號進行 手勢識別處理；以及功能控制模塊，用于根據所述識別結果提供各種功能的交互控制。
根據本發明進一步的實施例，所述信號采集模塊包括表面肌電傳感器單元，用以 基于手勢動作采集人手臂的表面肌電信號。所述表面肌電傳感器單元的數量為多個，以分 別采集人手臂不同部位的多通道表面肌電信號。 根據本發明進一步的實施例，所述信號采集模塊還包括三軸加速度傳感器單元， 用以采集手勢動作的加速度信號。 根據本發明進一步的實施例，所述信號處理模塊包括活動段檢測單元，用于從連 續接收到的所述采集信號流中確定執行手勢動作時期的活動段；特征提取單元，用于從所 述采集信號中提取一組最有效的特征數據來描述所述活動段的信號；以及分類識別單元， 用于根據所述特征數據確定手勢動作的類別以給出所述識別結果。 根據本發明的另一方面，本發明的實施例提出一種信號采集與發射裝置，所述裝
4置設置在人手臂上并包括信號采集模塊，用以采集基于手勢動作產生的信號，其中所述 手勢動作用來作為盲人移動通訊的輸入指令；模數轉換模塊，用于將所述采集信號進行模 擬-數字轉換；以及發射模塊，與所述模數轉換模塊連接以無線發射已轉換為數字信號的 所述采集信號。 根據本發明進一步的實施例，所述信號采集模塊包括表面肌電傳感器單元，用以 基于手勢動作采集人手臂的表面肌電信號；以及/或者三軸加速度傳感器單元，用以采集 手勢動作的加速度信號。 根據本發明的再一方面，本發明的實施例提出 一種移動電話裝置，所述移動電話 裝置包括接收模塊，用于接收基于人手勢動作采集的信號，其中所述手勢動作用來作為盲 人移動通訊的輸入指令；信號處理模塊，將接收的所述采集信號進行手勢識別處理；以及 功能控制模塊，用于根據所述識別結果提供各種功能的交互控制。 根據本發明進一步的實施例，所述信號處理模塊包括活動段檢測單元，用于從連 續接收到的所述采集信號流中確定執行手勢動作時期的活動段；特征提取單元，用于從所 述采集信號中提取一組最有效的特征數據來描述所述活動段的信號；以及分類識別單元， 用于根據所述特征數據確定手勢動作的類別以給出所述識別結果。 根據本發明進一步的實施例，移動電話裝置還包括語音輸出模塊，用于根據對應 功能的交互控制提供語音輸出。 根據本發明進一步的實施例，所述功能控制模塊根據所述的手勢識別結果，結合 多種觸發事件處理移動電話為盲人用戶提供的各類服務的交互控制，所述觸發事件包括 來電話事件，用于處理移動電話來電時的交互應用；來短信事件，用于處理移動電話收到短 信息時的交互應用；以及調出功能菜單，用于處理盲人用戶主動請求移動電話提供的各類 服務的交互控制，所述各類服務包括電話呼叫，用于為盲人用戶提供有關呼叫通話求助的 服務；媒體播放，用于為盲人用戶提供有關媒體播放休閑娛樂的服務；信息查詢，用于為盲 人用戶提供各類信息服務，包括為盲人提供的常用資訊、GPS戶外導航和自定聚合內容。
本發明采用手勢識別技術通過判斷用戶執行的手勢動作來取代鍵盤按鍵操作，作 為移動通訊輸入指令，移動電話響應相應的操作功能并進行語音輸出，使盲人可以順利完 成與移動電話的交互，解決了盲人用戶因無法看到常規手機鍵盤和顯示屏而無法與手機交 互的障礙。并且，本發明采用基于無線表面肌電傳感器和/或加速度傳感器的手勢動作交 互輸入方式具有輸入信號檢測及識別效率高，方便攜帶的便利性。 本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。


本發明的上述和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中 圖1為本發明實施例的盲人用移動電話交互系統結構示意圖；
圖2為本發明實施例的盲人手勢輸入方案示意圖； 圖3為本發明實施例的檢測手勢動作的信號采集與發射裝置結構原理圖；
圖4為本發明實施例的表面肌電傳感器背面電極結構示意 圖5為本發明實施例的盲人用移動電話裝置信號處理模塊結構原理圖；
圖6為本發明實施例的多通道表面肌電信號MAV特征分布示意圖；
圖7為本發明實施例的三軸加速度連續多點的信號特征序列示意圖；
圖8為本發明實施例的分類器結構示意圖；
圖9為本發明實施例的盲人用移動電話交互方案示意圖； 圖10為本發明實施例的為盲人用戶提供有關呼叫通話的服務簡化結構示意圖；
圖11為本發明實施例的為盲人用戶提供有關媒體播放的服務簡化結構示意圖； 以及 圖12為本發明實施例的為盲人用戶提供有關信息查詢的服務簡化結構示意圖。
具體實施例方式
下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發明，而不能解釋為對本發明的限制。
現在參考圖1 ，該圖顯示了本發明實施例的盲人用移動電話交互系統結構。盲人用 移動電話交互系統包括設置在人手臂上的信號采集與發射裝置以及移動電話裝置20，在該 實施例中，如圖所示，信號采集與發射裝置包括信號采集模塊12和發射模塊14。信號采集 模塊12用以采集基于手勢動作產生的信號；發射模塊14與信號采集模塊12連接，用以發 射采集的信號。 移動電話裝置20包括接收模塊22、采集信號處理模塊24和功能控制模塊26，其 中接收模塊22用于接收來自信號采集與發射裝置得采集信號；采集信號處理模塊24則用 于將接收的采集信號進行手勢識別處理；功能控制模塊26用于根據上述識別結果以及相 應的盲人移動電話交互方案提供各種功能的交互控制。 在一個實施例中，信號采集模塊12為表面肌電(SurfaceElectroMyoGraphy， SEMG)傳感器。由于手指或手腕運動主要受到分布在手前臂的相關肌肉群控制，因此可用于 手勢識別的表面肌電傳感器通常被放置在盲人手前臂皮膚表面檢測相關肌肉活動產生的 電信號。在該實施例中，為了提高基于表面肌電信號的手勢動作的識別效果，本發明可采用 多通道SEMG采集技術，即在手前臂上設置有多個SEMG傳感器，以分別對手勢動作對應的多 種肌群上產生的信號進行采集。 另外，在一個實施例中，信號采集模塊12還可以包括加速度傳感器，用以采集手
勢動作的加速度信號。即，采集反映手勢較大尺度動作在空中揮劃的軌跡和動作完成過程
中手的擺姿與朝向信息。優先地，加速度傳感器為三軸傳感器，該加速度傳感器檢測自身運
動的加速度在其三軸的投影分量，包括靜態加速度如重力加速度和運動時刻動態加速度。
為了有效檢測手勢動作的朝向和軌跡，本發明實施例中將三軸加速度傳感器放置在手前
臂，例如前臂背側靠近手腕關節的位置，以盡最大可能地檢測手部揮劃的軌跡。 圖2給出了本發明一個實施例的盲人手勢輸入方案示意圖，其中圖2(a)為一組可
識別的手勢動作輸入集，用于盲人用戶執行上述手勢動作表達控制意圖；圖2(b)為手勢動
作相應的指令功能，用于手機系統理解識別的手勢動作并完成相應操作。 如圖2(a)所示，上述手勢動作和輸入控制指令對應關系具體包括四維選擇功
6能，由屈腕，伸腕，伸拇指和伸小指分別代表左、右、上和下四維選擇鍵；本發明實施例的交互系統為簡化菜單結構，其選項多為上下排列，故左、右鍵又兼有切換到鄰近菜單的功能。
具體來說，所述的四維選擇功能對應的輸入手勢動作考慮到按照絕大部分用戶習慣，自然放松手臂下垂時，右手掌心向身體內側，也即身體左側。此時拇指處于身體前方，小指大致處于身體后方，屈腕朝向身體左側，伸腕朝向身體右側。因此，所述的四維選擇功
能對應的輸入手勢動作符合自然舒適，簡單易行的特點，符合盲人用戶執行手勢動作的習
腫1貝。 接聽掛機功能，由握拳和伸掌分別代表"接聽/呼叫"和"掛機/停止"功能，若在非通話狀態，這兩個按鍵又兼有"確認"和"取消"功能。 上述手勢動作輸入方案是提供給盲人用戶表達控制意圖，在動作選擇上考慮例如以下幾點 (1)手勢動作全部是單手動作，在執行時無需雙手配合，最大限度的保證盲人用戶執行動作的隨意性，不會為執行動作占用雙手造成不便。動作設計時以右手為例，因為現實生活中右例手人群占主導，同時左例手用戶只需要稍微調整既可以使用所述的手勢動作輸入集。 (2)所選的手勢動作執行時簡單自由，無需參考其他信息，尤其是不需要借助視覺信息，無需輔助其他介質或工具。 (3)所選的手勢動作有自然認知性，即盲人用戶無需特殊培訓也能很輕松的理解動作意圖，便于記憶，有利于正確做出需要的手勢動作。 另外如圖2(b)所示，數字輸入功能包括由用戶伸出食指，在空中書寫"O 9"十個數字，分別代表鍵盤上0 9十個數字按鍵。所述的十個數字輸入手勢既可以用于電話號碼撥號，也可以在特殊功能中充當快捷鍵使用。 在本發明實施例的上述方案中，輸入的手勢指令采用日常生活中常見的、具有自然認知性的、容易被用戶習慣接受的手勢動作，并照顧到用戶可定制的需求。同時也考慮到手勢識別算法的簡單易行和識別結果的魯棒性；在交互功能設計上，重點考慮了本發明提出的基于手勢輸入的手機如何為盲人提供更豐富的信息、更貼心的服務和更好的生活質 需要指出的是，本實施例中上述基于手勢輸入的盲人手勢的移動電話輸入方案是一種直觀可行的優選方案，是為了下文中更清楚地闡述本發明信號采集模塊對基于手勢動作產生信號的采集。但實際使用中，用戶可以根據自己喜好習慣等情況，自由調整，隨意定制，而不局限于該具體實施例。 下面參考圖3，該圖為本發明實施例的檢測手勢動作的信號采集與發射裝置結構原理圖。 在圖示實施例中，信號采集模塊12包括SEMG傳感器122和3軸加速計124，以分別用于采集皮膚的表面肌電信號和3軸加速度信號。 本實施例中，采用四個表面肌電傳感器，分別放置在前臂小指伸肌、伸指總肌、尺側腕伸肌和肱橈肌附近以檢測手指和手腕的多種運動。每個表面肌電傳感器122完成一個通道的表面肌電信號采集，多個傳感器可以并行工作。因此，所采集的多通道表面肌電信號為四個通道，并且為模擬信號。
另夕卜，如圖4所示，在本實施例中，SEMG傳感器122采用能夠檢測到皮膚表面肌電信號的銀制線形差分電極和與皮膚接觸的參考電極，以對所述表面肌電信號進行采集。每個表面肌電傳感器包含有差分電極，參考電極和差分放大電路和濾波電路。圖4所示為所述表面肌電傳感器背面電極結構示意圖，差分電極由兩股銀絲擰成的電極完成信號的檢測，其中每股由10根直徑為1mm的長度為10mm的銀絲擰成。采用差分信號檢測可以提高信噪比，提高信號采集質量。 由于表面肌電信號和加速度信號均為模擬信號，因此，信號采集與發射裝置還包括模數轉換模塊16，用于將對應的模擬采集信號轉換為數字信號。本實施例中的模數轉換處理需要一定的采樣分辨率，考慮到表面肌電信號一般比較微弱，幅值很小，主要信號能量集中在20-250Hz，因此要采用轉換精度^ 10位的模數轉換器(ADC)，并且采樣率^ 500Hz。
在本實施例中，發射模塊14為藍牙發射模塊，用于將進行模數轉換后的多通道表面肌電和加速度數字信號按照標準藍牙(Bluetooth)協議進行無線發射。
本實施例中采用的無線協議需要考慮到標準化的、在手機中常用的無線通訊方式，目的是能最大限度利用現有手機系統的資源，減少開發成本，因此選擇藍牙協議進行數字信號的無線傳輸，但不限于藍牙這一種方式，其余無線數字傳輸標準如IEEE 802. llb/g等可以完成相應功能均落在本發明的保護范圍內。 現在結合圖5，對本發明實施例的移動電話裝置20工作原理進行詳細說明，圖5為本發明實施例的盲人用移動電話裝置信號處理模塊結構原理圖。 在本實施例中，接收模塊22為藍牙接口 ，用于接收上述實施例中通過藍牙協議傳輸的多通道表面肌電和加速度數字信號。采集信號處理模塊24將接收到的多通道表面肌電和加速度數字信號進行手勢識別處理。 具體地，采集信號處理模塊24包括三個主要單元活動段檢測單元242、特征提取單元244以及分類識別單元246。 活動段檢測單元242用于從連續接收到的所述的多通道表面肌電和加速度信號流中確定盲人用戶執行手勢動作時期的信號段，也即活動段。考慮到表面肌電信號是伴隨手勢運動過程中肌肉活動而產生的，其強度和手勢運動密切相關。兩個動作間隔中存在肌肉的短暫放松，此時的表面肌電信號強度會非常的低。因此本實施例中采用多通道表面肌電移動平均瞬時能量與閾值比較的方法自動檢測活動段的起點和終點，加速度信號流也按照相同的起點和終點分段，即3軸加速度信號流的分段與SEMG傳感器信號流相同。
具體的說，活動段檢測單元242又包括以下處理過程
(1)計算多通道表面肌電信號的平均信號，如公式(1)所示五MG^—(0 = f>MGcW
d (1) 其中EMG。(t)為一個通道的表面肌電信號，N。為通道數，在本實施例中N。 = 4。
(2)計算上述平均信號的平方移動平均，得到移動平均后的瞬時能量信號EM(t)，如公式(2)所示:<formula>formula see original document page 8</formula> 其中W為移動平均窗的寬度，本實施例中采用W = 60的采樣點。
(3)根據上述移動平均后的瞬時能量信號EM(t)與預設閾值比較確定手勢動作活動段的起點和終點若從某個時刻ts開始E皿(t)高于預設閾值且后100ms的信號均高于預設閾值則該時刻為活動段起點，直到某個時刻te開始E皿(t)低于預設閾值且后100ms的信號均低于預設閾值則該時刻為活動段終點。于是時刻ts te之間的多通道表面肌電和三軸加速度信號均為活動段信號。 進一步地，預設閾值的選擇和盲人用戶執行手勢動作時用力的大小習慣有關，本實施例中設為用戶持續用較大力執行握拳動作時算得的E皿(t)信號典型值的2%。
特征提取單元244用于從采集信號中提取一組最有效的特征數據描述所述的活動段信號，達到信號維數的壓縮，以盡可能做到不同手勢動作對應特征差異明顯，以利于分類。 本實施例中采用多通道表面肌電和加速度活動段信號分別進行特征提取，以盡可能的保留多通道信號的空間信息。其中，多通道表面肌電信號按照每通道活動段提取幅值絕對值均值(MAV)和三階自回歸(Auto-Regressive， AR)模型系數4個特征值，四通道共計16個特征值組成16維特征向量，另外還提出活動段信號動作時長作為一種特征用于分類判斷。同時，三軸加速度活動段信號不論動作長短減采樣為32點，幅值按照最大值和最小值線性歸一化至-1 1之間的區間，得到3維特征向量連續32點的信號特征序列。以上對所述的三軸加速度活動段信號進行的時間和幅值的規范化處理可以消除同類手勢動作因執行時在時間和尺度的差異引入的不一致性，有利于分類。 如圖6所示為六類手勢動作其中三個通道表面肌電信號MAV特征分布示意圖。從圖中可以看出，本實施例一中提出的6類手勢動作具有較高的區分度。圖7為IO類數字手勢典型的三軸加速度連續32點的信號特征序列示意圖。 分類識別單元246用于將提取的特征按照特定規則確定手勢動作的類別，給出識別結果。 本實施例中，分類識別單元246采用層級決策樹的分類結構，用于在決策級融合
從兩類傳感器中提取的特征，達到對實施例一中所述的手勢動作進行有效識別。 具體的說，所述的分類識別單元246包含有多個分類器，并按照樹形結構層級排
列，如圖8所示 動作長短分類器2462，用于按照所述手勢動作執行時間長度進行第一級分類，依據本發明實施例中的活動段信號動作時長特征。 本發明實施例的手勢動作輸入集可以根據動作執行時間長度明顯的分為兩個分支短促動作分支，包含有握拳、伸掌、屈腕、伸腕、伸拇指和伸小指6個動作，一般執行時間在800ms以內；長時動作分支，包含有0-9十個數字，涉及伸食指并揮劃書寫十個數字， 一般動作時間較長，執行時間在ls到3s之間。因此，動作長短分類器2462按照待識別手勢動作時間與特定時間閾值比較進行分類，若小于特定時間閾值則分為短促動作分支，若長于特定時間閾值則分為長時動作分支。特定時間閾值由分類器過程得到，設定為短促動作分支中手勢動作訓練樣本活動段信號動作時長特征最大值，本實施例中按照用戶執行手勢動作的一般習慣設為800ms左右。 進一步地，分類識別單元246還包括手型分類器2464，在分類器算法選擇上主要考慮到1)分類性能穩定，取得較高的動作分類率；2)分類算法低復雜度，盡量節省手機計算資源，提高交互實時性。可采用的分類算法包括線性判別分類器(Linear Discriminant Classifier, LDC)，支持向量機(Support Vector Machine, SVM)或k近鄰(K-Nearest Neighbor, KNN)分類器等。 綜合考慮這些備選方法的分類性能和計算代價，優選地本實施例中選擇線性判別 分類器對上述短促動作分支中的6個手勢動作進行識別，依據本發明實施例中的多通道表 面肌電信號16維特征向量。 具體地，線性判別分類器是應用貝葉斯準則的線性統計分類器，其基本原理為應 用貝葉斯準則的條件概率模型，如公式(3)所示
尸") (3 ) 其中，g為待識別動作的多通道表面肌電信號16維特征向量，"k代表第k個類別。
線性判別分類器具體包括訓練和測試兩個過程 (1)線性判別分類器訓練過程用于建立每一個類別的概率統計模型，用于估計待 識別動作特征g對每一個類別的條件概率，用多維變量高斯分布建模如公式(4):P(g—fc) = (2;r)—w/2|2:t|—1/2expj—4(g-nj'!^(g —fij[
L 2 J (4) 這里N為特征維數，本實施例中N = 16， ii k和E k代表第k個類的均值和協方差 矩陣，可由所屬第k個類的訓練樣本計算得到，如公式(5)_(6):
k = E [x] (5)
E k = E[(xlk) (xlk) ' )] (6) (2)線性判別分類器測試過程用于根據已經訓練好每一個類別的概率統計模型， 以最大后驗概率確定所述的待識別動作所屬類別，給出最終識別結果，如公式(7):"argmax(尸(gh)尸(^卄 ge r
fc ( 7 J 在本實施例中，認為所有手勢動作類別發生概率均等。 根據上面的分析，若待識別動作歸屬所述的短促動作分支，可以由手型分類器 2464給出握拳、伸掌、屈腕、伸腕、伸拇指和伸小指6個動作其中之一的結果。
進一步地，分類識別單元246還包括軌跡分類器2466，適用于對描述目標運動 軌跡的時序特征序列，可選擇的分類算法包括隱馬爾可夫模型(Hidden Markov Model, HMM)，有限狀態機(Finite State Machine,FSM)和動態時間規整(Dynamic Time Warping， DTW)方法等。 綜合考慮這些備選方法的分類性能和計算代價，優選地本實施例中可采用隱馬爾 可夫模型分類器對上述長時動作分支中的10個數字手勢動作進行識別，依據本發明實施 例中三軸加速度信號連續32點的信號特征序列。 具體地，隱馬爾可夫模型分類器是識別序列信號一種非常有效的工具。每一個隱 馬爾可夫模型代表一個隨機過程，其輸入為一組時間序列數據，也稱為觀測數據。輸出為由 該模型評估輸入數據給出的似然概率。 隱馬爾可夫模型分類器具體包括訓練和測試兩個過程 (1)隱馬爾可夫模型分類器訓練過程用于為每一個類別建立隨機過程模型A 。，用
10一組觀測數據(0」(V 02， ... ， (U，優化模型參數，使得模型對該組觀測數據給出的似然概 率盡可能大。在本實施例中模型的觀測數據即為所述的三軸加速度信號連續32點的信號 特征序列= {0l， o2， . . . ， o32}。 具體的說，一個N狀態的隱馬爾可夫模型由三個變量描述A = (Ji ， A， B)，包括 模型的狀態初始概率向量n = [^](1《i《N)、模型狀態轉移概率矩陣A二 [aij](l《i， j《N)和模型的狀態觀測概率B = [bj(o)] (1《j《N)，本實施例中可以采用混合高斯概 率分布函數的連續隱馬爾可夫模型，其狀態觀測概率密度函數為(8)式~(o) = X(o; fc;、) }《
A:=l — 7 — ( 8 ) 其中，M為混合分量個數，Cjk為第j個狀態的第k個混合分量的混合系數，N (O ; ;
E)是多維變量高斯分布概率密度函數，y和E分別為其均值和方差。 綜合考慮到模型用于識別手勢動作的效果和計算復雜性，本實施例中選擇狀態數 目N = 5，高斯混合分量數M = 3，每一個手勢動作類用于訓練的觀測數據樣本數量L = 10， 訓練過程由標準的Baum-Welch算法完成。 (2)隱馬爾可夫模型分類器測試過程用于估計待識別動作信號特征序列= {0l，
o2， . . . ， o32}對每一個類別的似然概率P，以每類模型輸出的似然概率最大值確定待識別動
作所屬類別，給出最終識別結果，如公式(9):
"arg ax尸(OJ義c)0^ 。)
上述測試過程的核心是計算每一個類別的似然概率P，由標準的前向-后向算法完成。 根據上面的分析，若待識別動作歸屬長時動作分支，可以由軌跡分類器2466給出 0-9十個數字動作其中之一的結果。 圖9為本發明實施例的盲人用移動電話交互方案示意圖，該交互方案在設計時主 要考慮到 (1)全部采用手勢動作作為輸入，交互方案例如都以圖2所示實施例中定義的手 勢動作集為例； (2)考慮到盲人用戶對功能理解的便利性，所有功能全部按照多級選擇菜單組織， 選擇菜單全部采用一維上下排列的結構，用戶用"伸拇指"手勢和"伸小指"手勢分別上下
移動菜單，"握拳"手勢確認進入下一級，"伸掌"手勢返回上一級或取消。
(3)全部采用語音播報作為輸出，包括菜單當前選項標題，撥號時當前撥出的數字等。 (4)以移動電話軟件的方式實現所有功能的交互控制，方便開發和升級擴展。
基于以上三點考慮，該交互方案具體由移動電話裝置20的功能控制模塊26根據 采集信號處理模塊24輸出的識別結果，以移動電話軟件實現的方式，結合三類主要觸發事 件處理移動電話為盲人用戶提供的各類服務的交互控制，移動電話裝置20還包括語音輸 出模塊(圖中未顯示)，用于根據對應功能的交互控制提供語音輸出。例如，根據手勢輸入 對應的識別結果發出對應的語音提示，以方便盲人用戶了解自己的手勢輸入是否成功或正
11確。
具體的說，所述的三類主要觸發事件包括
來電話S41，用于處理手機來電話時的交互應用； 在本實施例中，來電話時系統通過語音提示來電者姓名或號碼，用戶可以用"握 拳"手勢接聽、"伸掌"手勢拒絕和"伸腕"手勢拒絕電話后打開預設短信菜單并用單個"數 字"手勢選擇內容回復，也可以用"伸拇指"和"伸小指"手勢依次選擇適合的短信內容并用 "握拳"手勢確認回復。 來短信S42，用于處理手機收到短信息時的交互應用； 在本實施例中，來短信時系統通過語音提示來信者姓名或號碼，用戶可以用"伸小 指"手勢啟動短信內容語音播報、"握拳"手勢回復電話、"伸掌"手勢忽略和"伸腕"手勢打 開預設短信菜單并用單個"數字"手勢選擇內容回復，也可以用"伸拇指"和"伸食指"手勢 依次選擇適合的短信內容并用"握拳"手勢確認回復。 進一步地，所述交互方案的主要功能體現在功能菜單S43，處理盲人用戶主動請求 移動電話提供的各類服務的交互控制。 在本實施例中，當手機系統處于桌面空閑狀態時，用戶執行"握拳"手勢調出所述
的功能菜單，菜單按照列表排列各項功能選項。 具體的說，功能菜單S43包括 電話呼叫S431，用于為盲人用戶提供有關呼叫通話求助的服務。 如圖10所示，在本實施例中，所述的電話呼叫S431又具體包括以下菜單項 快捷撥號，用于為盲人用戶撥打預設置的最常用的號碼，比如家人、學校、居委會
等，快捷撥號可以包括IO個號碼條目分別對應1、2.....9、0十個數字，既可以通過菜單瀏
覽選擇撥號對象，也可以采用"數字手勢"一次確定撥號目標。 公用號碼，用于為盲人用戶撥打社會公用號碼，特指一些報警號碼，如民警、火警等。 通話記錄，用于查詢歷史通話記錄，具體又包括已撥電話、未接來電、已接來電三 個菜單，每個菜單項又包括子菜單項，按時間排列具體的電話撥叫情況。 名片夾，用于查詢手機中的所有號碼，考慮到盲人用戶使用手機的特殊性，名片夾
內容量較大時，逐一搜索菜單查詢號碼不方便，因此用名片夾查詢號碼不作為經常使用的
功能，故列在所述的電話呼叫之內，且推薦使用快捷撥號中記錄的最常用號碼。 進一步地，功能菜單S43還包括媒體播放S432，用于為盲人用戶提供有關媒體播
放休閑娛樂的服務。 如圖11所示，本實施例中，媒體播放S432又包括收聽廣播和音樂播放兩個功能。
收聽廣播，用于收聽AM或FM廣播電臺的節目，進入收聽廣播應用程序后，盲人用 戶可以采用"屈腕"手勢向前搜臺、"伸腕"手勢向后搜臺、"伸拇指"手勢調高音量和"伸小 指"手勢調低音量。 音樂播放，用于按照預設定播放列表播放相關曲目，進入音樂播放應用程序后，盲 人用戶可以采用"屈腕"手勢向前跳曲、"伸腕"手勢向后跳曲、"伸拇指"手勢調高音量和"伸 小指"手勢調低音量。 進一步地，功能菜單S43還包括信息查詢S433，用于為盲人用戶提供各類信息服務。 如圖12所示，在本實施例中，所述的信息查詢S433又包括以下菜單項
常用資訊，用于查詢用戶可能會感興趣的資訊信息，如財經資訊、體育資訊、娛樂 資訊和天氣資訊等。資訊信息可以按照類別編成不同級別的菜單條目，供用戶索引。
GPS導航，用于為盲人提供戶外導航服務，是針對盲人用戶的一種非常實用的功 能，其設計特點主要表現在幾個方面 (1)準確的戶外GPS導航和實時語音播報可以為盲人出行提供諸多便利。結合手 機具有的導航功能，盡量為盲人用戶外出行走提供更多的實時信息，以克服盲人用戶因視 覺缺失造成的不方便。 (2)導航的地圖更加注重盲人生活的城市部分，甚至是城區部分，而不用擴展到很 大范圍，但地圖的信息點應當比常規導航地圖的更多，地圖信息點建立上應更多的考慮盲 人用戶的實用性。比如重點提示危險路口，障礙，溝渠或者衛生間和社區服務站等相關信 息。 (3)在導航路徑搜索方面應更多考慮盲人行走時的客觀限制。盡量避免具有立交 橋，危險路口等路徑。 綜合以上設計特點，具體的說，GPS導航功能具體包括 當前位置，用于為盲人用戶實時播報當前位置，離出發點距離，距目標點距離等信 息，防止迷路。 周邊洗手間，用于為盲人用戶查詢周邊的洗手間的情況。并根據提供的周邊信息， 以菜單顯示，盲人用戶選擇目標作為導航引路。 周邊服務站，用于為盲人用戶查詢周邊的服務站的情況，以尋求社區工作人員的
幫助。并根據提供的周邊信息，以菜單顯示，盲人用戶選擇目標作為導航引路。 行程設置，用于設置導航目的地，以啟用路徑搜索，實時語音提示盲人用戶抵達目的地。 也就是說，本實施例所述的行程設置主要包括對一些盲人常用地點的設置，如家、
學校、醫院和超市等，以菜單方式供盲人用戶選擇，其中還包括取消當前行程的選項。 航跡設置，用于設置盲人用戶行走航跡的記錄方式。記錄的航跡起到對盲人監護
的作用，可以供盲人的家屬了解盲人的行蹤，也可以為醫生提供診斷信息。進一步地，信息查詢S433還包括自定聚合內容(Really SimpleSyndication，
RSS)項，用于不定期通過互聯網絡提供給盲人用戶預設定的感興趣的更新內容。內容的選
擇仍然以菜單方式，與上面的相同，不再贅述。 現在返回參考圖l，根據功能菜單S43的相應內容，本發明實施例的移動電話裝置 20還包括有GPS模塊40，用于接收GPS衛星信號實現導航定位。此外，移動電話裝置20通 過移動通信網絡30，執行最主要的信息傳輸和交換，包含一切和手機相關的數據交換。
進一步地，還可以提供有藍牙耳機50，用于為盲人用戶提供語音輸出的設備。相 應地，移動電話裝置20的藍牙接口 22還可以用于為相應的語音輸出模塊提供語音輸出的 無線傳輸功能。移動電話裝置20的普通鍵盤和LCD屏幕與常規手機相同，用于為盲人的家 屬、社區工作人員、技術維護人員操作手機，從而為盲人用戶配置其內部應用功能。
本發明所述技術方案中，采用手勢動作作為移動電話的輸入，實時語音播報作為
13移動電話輸出，解決了盲人用戶因無法看到常規手機鍵盤和顯示屏而無法與手機交互的障 礙。盲人用戶群體可幾乎無障礙的使用手機，一方面使其真正融入信息社會的大家庭，以滿 足盲人用戶與外界進行溝通和信息交流的迫切需要；另一方面，結合手機多媒體功能和強 大的計算性能，為盲人提供更多更貼身的服務，盡量克服其因視覺缺失給生活帶來的不方 便。 此外，本發明采用自然便攜的手勢動作輸入指令操作手機等數碼設備是盲人用戶 的合適選擇。進一步地，采用基于無線表面肌電傳感器和加速度傳感器的手勢動作交互輸 入方式具有明顯的便利性，主要表現在 (1)可識別的動作種類多樣基于表面肌電信號的人機交互系統通過肌電傳感器 在相應肌群上采集到的表面肌電信號對不同手勢動作進行識別，由于識別結果不但能反映 關節的伸屈狀態和強度，還能實時反映手勢完成過程中手的形狀、姿勢和運動信息，尤其在 精細手勢動作識別方面具有獨特的優勢；基于加速計的人機交互系統通過檢測手勢運動中 的加速度信號對不同的手勢動作識別，識別結果主要反映手勢較大尺度動作在空中揮劃的 軌跡和動作完成過程中手的擺姿與朝向信息。因此，有效融合兩類傳感器的信息可檢測和 識別多種手勢動作，可為多自由度的人機交互控制系統提供豐富的手勢輸入命令。
(2)傳感器便攜由于手指或手腕運動主要受到分布在手前臂的相關肌肉群控 制，可用于手勢識別的表面肌電傳感器通常放置在手前臂皮膚表面檢測相關肌肉活動產生 的電信號。為了有效檢測手勢動作的朝向和軌跡，將加速度傳感器放置在手前臂如靠近手 腕的位置。兩類放置在手臂的傳感器對手勢動作的執行沒有任何妨礙，令用戶舒適無束縛 感。進一步地，無論表面肌電還是加速度傳感器都具有集成度高、體積小、重量輕的優點， 如商業公司Delsys和Noraxon生產的三軸加速度傳感器和每通道SEMG傳感器尺寸都在 25mmX20mmX8mm之內，重量小于400g，非常便攜。同時這兩類傳感器工作時無需外界參考 信號源或設備，具有易于穿戴，可以實現信號無線發射等優點，若嵌入到腕帶、手表手鐲等 飾品中，可獲得非常高的用戶接受度。 此外，采用本發明實施例的盲人手勢輸入方案具有極高的可定制性，盲人用戶可 以采用自己更容易記憶和理解的手勢動作作為輸入手勢，同時手勢動作和指令功能的對應 關系也可以隨用戶調整，動作種類和功能都能非常輕易的擴展。相比固定的鍵盤結構只能 采用有限的按鍵這種常規方式，具有更好的靈活性。 本發明信號采集與發射裝置可做成手表，腕帶，衣服或其他飾物的形式，具有美觀
性；藍牙無線傳輸手勢信號和語音播報信息，使得整個系統不用受到連接線的束縛；傳感
器和藍牙耳機都具有重量輕、體積小的優點，整個系統具有很高的隱藏性。 盡管已經示出和描述了本發明的實施例，對于本領域的普通技術人員而言，可以
理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換
和變型，本發明的范圍由所附權利要求及其等同限定。
1權利要求
一種盲人用移動電話交互系統，其特征在于，所述交互系統包括信號采集與發射裝置，設置在人手臂上，包括信號采集模塊，用以采集基于手勢動作產生的信號，其中所述手勢動作用來作為盲人移動通訊的輸入指令；模數轉換模塊，用于將所述采集信號進行模擬-數字轉換；發射模塊，與所述模數轉換模塊連接以發射已轉換為數字信號的所述采集信號；移動電話裝置，包括接收模塊，用于接收所述采集信號；信號處理模塊，將接收的所述采集信號進行手勢識別處理；以及功能控制模塊，用于根據所述識別結果提供各種功能的交互控制。
2. 如權利要求1所述的交互系統，其特征在于，所述信號采集模塊包括若干個表面肌電傳感器單元，用以基于手勢動作采集人手臂的多通道表面肌電信號。
3. 如權利要求2所述的交互系統，其特征在于，所述信號采集模塊還包括三軸加速度傳感器單元，用以采集手勢動作的加速度信號。
4. 如權利要求2或3所述的交互系統，其特征在于，所述發射模塊為藍牙發射模塊，用于將已轉換為數字信號的所述采集信號按照標準藍牙協議進行無線發射；所述接收模塊為藍牙接收模塊。
5. 如權利要求4所述的交互系統，其特征在于，所述信號處理模塊包括活動段檢測單元，用于從連續接收到的所述采集信號流中確定執行手勢動作時期的活動段；特征提取單元，用于從所述采集信號中提取一組最有效的特征數據來描述所述活動段的信號；以及分類識別單元，用于根據所述特征數據確定手勢動作的類別以給出所述識別結果。
6. —種信號采集與發射裝置，其特征在于，所述裝置設置在人手臂上并包括信號采集模塊，用以采集基于手勢動作產生的信號，其中所述手勢動作用來作為盲人移動通訊的輸入指令；模數轉換模塊，用于將所述采集信號進行模擬-數字轉換；以及發射模塊，與所述模數轉換模塊連接以無線發射已轉換為數字信號的所述采集信號。
7. —種移動電話裝置，其特征在于，所述移動電話裝置包括接收模塊，用于接收基于人手勢動作采集的信號，其中所述手勢動作用來作為盲人移動通訊的輸入指令；信號處理模塊，將接收的所述采集信號進行手勢識別處理；以及功能控制模塊，用于根據所述識別結果提供各種功能的交互控制。
8. 如權利要求7所述的移動電話裝置，其特征在于，還包括語音輸出模塊，用于根據對應功能的交互控制提供語音輸出。
9. 如權利要求7所述的移動電話裝置，其特征在于，所述功能控制模塊根據所述勢識別結果，結合多種觸發事件處理所述移動電話裝置為盲人用戶提供的各類服務的交互控制，所述觸發事件包括來電話事件，用于處理所述移動電話裝置來電時的交互應用；來短信事件，用于處理所述移動電話裝置收到短信息時的交互應用；以及調出功能菜單，用于處理盲人用戶主動請求所述移動電話裝置提供的各類服務的交互控制，所述各類服務包括電話呼叫，用于為盲人用戶提供有關呼叫通話求助的服務；媒體播放，用于為盲人用戶提供有關媒體播放休閑娛樂的服務；信息查詢，用于為盲人用戶提供各類信息服務，包括為盲人提供的常用資訊、全球定位系統GPS戶外導航和自定聚合內容。
全文摘要
本發明公開了一種盲人用移動電話交互系統，包括設置在人手臂上的信號采集與發射裝置和移動電話裝置。信號采集與發射裝置包括用以采集基于手勢動作產生信號的信號采集模塊，其中所述手勢動作用來作為盲人移動通訊的輸入指令；將所述采集信號進行模擬-數字轉換的模數轉換模塊；與所述模數轉換模塊連接以發射所述轉換采集信號的發射模塊。移動電話裝置包括用于接收所述采集信號的接收模塊；將接收的所述采集信號進行手勢識別處理的信號處理模塊；以及根據所述識別結果提供各種功能的交互控制的功能控制模塊。本發明能夠提供便于攜帶且高效交互的移動電話。
文檔編號H04M1/247GK101741952SQ200910252098
公開日2010年6月16日 申請日期2009年12月10日 優先權日2009年12月10日
發明者張旭, 李云, 楊基海, 田建勛, 陳香 申請人:中國科學技術大學