用于語音識別和手語識別的智能眼鏡的制作方法

本實用新型涉及智能穿戴設備領域，特別涉及一種用于語音識別和手語識別的智能眼鏡。

背景技術：

目前，全國范圍內的聽障人超過兩千萬人(數據來源，中國殘疾人聯合會)，由于該人群無法與正常人(即非聽障人)直接進行語言交流，從而造成這樣一個龐大的群體一直生活在社會的邊緣，他們很難真正融入這個社會。

當前，聽障人與正常人溝通主要通過以下兩種途徑：手語員翻譯或佩戴助聽器。

由于手語員人才十分稀缺；其次大多數交流場景都是隨機出現的，很難保證手語員及時出現在聽障人身邊；再加上聘用專職手語員花費較大，一般聽障人很難承擔。

對于不同的聽障人，助聽器的效果不盡相同，佩戴助聽器對于神經性耳聾患者效果甚微。長久佩戴助聽器會導致耳朵很不舒服，還有可能引發中耳炎等不良后果。

隨著科技的發展和人們生活水平的不斷提高，各種智能眼鏡為聽障人提供了一種與正常人交流的工具，它通過將聽障人士的手語信息轉化為普通正常人可以識別的信息，同時將正常人的語音信息轉化為聽障人可以識別的信息來實現聽障人士與正常人的交流。但由于目前智能眼鏡主要使用攝像頭來采集手語信息，存在著采集信息識別率不高，抗干擾能力差，對光線要求高，并且直接使用智能眼鏡的鏡片作為顯示設備，不利于后續用戶增加矯正視力的鏡片，這些都使該類智能眼鏡沒有大規模推廣應用。

技術實現要素：

鑒于上述現有技術的不足，本實用新型的目的在于提供一種用于語音識別和手語識別的智能眼鏡，其結構輕巧，操作方便，轉化識別率高，抗干擾能力強，為聽障人士提供一種使用方便的智能眼鏡，方便聽障人與正常人無障礙交流。

本實用新型的技術方案如下：

一種用于語音識別和手語識別的智能眼鏡，包括鏡框及設置在鏡框上的智能裝置，

該智能裝置包括雷達、揚聲器、麥克風、顯示器、處理器；

其中，所述雷達固定設置在所述智能裝置的下方，所述揚聲器和麥克風固定設置在所述智能裝置的前方；

所述雷達用于收集手語信息；

所述麥克風用于收集語音信息；

所述處理器用于將手語信息轉化為待播放的語音信息實現手語識別或將收集的語音信息轉化為文字信息實現語音識別；

所述揚聲器用于播放語音信息；

所述顯示器用于顯示文字信息；

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述鏡框上設置有加裝鏡片的內槽和固定孔。

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述雷達為谷歌的Soli微型雷達芯片。

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述顯示器為近眼顯示的穿透式光學引擎。

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述電子系統還包括：

通信模塊，與所述處理器連接，用于與藍牙耳機、移動終端和云端服務器建立無線通信；

觸控板，用于操作該智能眼鏡進行各種參數設置或待機狀態下喚醒智能眼鏡；

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述語音識別和手語識別支持離線識別和在線識別。

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述智能裝置上安裝有智能操作系統。

如上所述的用于語音識別和手語識別的智能眼鏡，優選的是，所述顯示器還用于用戶操作該智能眼鏡時的交互反饋界面；所述處理器還用于信息的接收與轉發。

所述雷達、揚聲器、麥克風、顯示器和處理器均采用低功耗或超低功耗技術的芯片并且任一器件均可替換為不同配置參數的同類器件。

本實用新型與現有技術相比，其有益效果在于：本實用新型的技術方案是采用雷達來實現手語感知，相比傳統的攝像頭來實現手語感知具有如下優點：高流暢性，高精準度，抗干擾強，可在低光亮環境使用。該技術方案通過將聽障人的手語信息轉化為語音信息播放給正常人聽，而將正常人的語音信息轉化為文字信息展示給聽障人看，這樣就實現了聽障人士與正常人的無障礙交流。

附圖說明

為了更清楚地說明本實用新型實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本實用新型的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。

圖1是本實用新型提供的用于語音識別和手語識別的智能眼鏡的結構示意圖；

圖2是本實用新型一實施例提供的用于語音識別和手語識別的智能眼鏡的電氣結構圖；

圖3是本實用新型另一實施例提供的用于語音識別和手語識別的智能眼鏡的電氣結構圖及其外部連接設備；

主要元件符號說明：

10-智能裝置、20-鏡框、101-雷達、102-顯示器、103-揚聲器、104-麥克風、105-處理器、106-存儲器、107-電池、108-通信模塊、109-觸控板。

具體實施方式

下面詳細描述本實用新型的實施例，所述實施例的示例在附圖中示出。其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本實用新型，而不能理解為對本實用新型的限制。

本實用新型具體實施方式提供一種用于語音識別和手語識別的智能眼鏡，

見圖1至圖3，一種用于語音識別和手語識別的智能眼鏡，包括鏡框20及設置在鏡框上的智能裝置10。該鏡框20上設置有加裝鏡片的內槽和固定孔，可以根據用戶需求加裝不同類型的鏡片，可以是近視鏡片、遠視鏡片或太陽鏡片，以起到矯正和保護視力的目的。

所述智能裝置10不局限安裝于圖1所示的鏡框的右邊，也可以安裝在鏡框20的左邊，安裝在鏡框20左邊的智能裝置10與安裝在鏡框右邊的智能裝置10為鏡像對稱結構，選擇智能裝置左置還是右置于鏡框，這個是基于用戶的用手用眼習慣來決定的，智能裝置10在鏡框20上的位置還需保證該智能裝置10不會對用戶的正常視野產生干擾。

該智能裝置10包括雷達101、揚聲器103、麥克風104、顯示器102、處理器105。

其中，所述雷達101固定設置在所述智能裝置的下方，以便使聽障人士的手語動作處于雷達有效檢測范圍內；

所述揚聲器103和麥克風104固定設置在所述智能裝置的前方，以便麥克風能有效收集正常人的語音信息及正常人能夠聽清楚智能眼鏡播放的語音信息。

所述處理器105設置在智能裝置的側面，該位置信息不局限于側面，只要保證能實現相應的功能并滿足其散熱要求即可。

所述雷達101用于收集手語信息；

進一步地，雷達101主要利用無線電波的反射來進行成像。通過計算從天線發射無線電波，到天線收到反射波的延時，可以得出物體的位置。通過比較發射波與反射波的波長變化(多普勒頻移)，可以計算出物體的速度。當物體靠近雷達101運動，其反射波的波長會變短；當物體遠離雷達101運動，其反射波的波長則會變長。物體的速度越大，波長的變化也越大。這樣，通過對比發射波和反射波，就得到了物體的位置和速度，也就可以精細地捕捉物體的運動。

進一步地，所述雷達101采用谷歌的Soli微型雷達芯片，該芯片由傳感器和天線陣列組成，雷達101發射并接收反射回來的毫米波雷達信號。從原始的雷達信號到最終的手勢控制需要經歷下面幾步：

1、捕捉原始反射信號

2、將接收的時序信號處理和轉換到Range Doppler Map(距離多普勒映射)

3、特征提取，識別，定位與追蹤

4、從提取的特征實現手語識別

根據谷歌提供給第三方開發者的SDK(軟件開發工具包)實現手語識別算法。

所述麥克風104用于收集語音信息；

進一步地，所述麥克風104采用科大訊飛股份有限公司的麥克風陣列XFM10211，它是一款基于2麥克風陣列的語音解決方案。采用2麥克風咪頭錄音，再經過麥克風陣列XFM10211進行語音降噪、回聲消除、語音增強、語音喚醒后，輸出數字音頻信號、模擬音頻信號、喚醒觸發信號等。其有效語音獲取距離超過3米。

所述處理器105用于將手語信息轉化為語音信息實現手語識別或將語音信息轉化為文字信息實現語音識別；

進一步地，所述處理器105采用北京君正集成電路股份有限公司的M200芯片，該芯片基于MIPS架構，擁有移動設備級性能的XBurst CPU雙核，其中一個1.2GHz的高性能CPU用以處理最繁重的工作，而要求不高的任務則可以使用功耗更低、頻率為300MHz的第二個CPU來處理。該芯片還具有可穿戴式設備級的超低功耗(0.07mW/MHz)、可穿戴設備級的超小封裝(7.7x 8.9x 0.76mm)、內置語音喚醒引擎。

進一步地，所述處理器105在智能裝置10通過通信模塊108與藍牙耳機、移動終端和云端服務器建立無線通信時還實現信息的接收與轉發。

所述揚聲器103用于播放手語信息轉化得到的語音信息；

進一步地，所述揚聲器103采用適用于穿戴設備的微型揚聲器。

所述顯示器102用于顯示語音信息轉化得到的文字信息；

進一步地，所述顯示器102采用浙江水晶光電科技股份有限公司的CVG29F02C模組(其顯示芯片為臺灣立景光電股份有限公司的HX7097)。CVG29F02C是一款針對近眼顯示應用開發的LCOS型穿透式智能眼鏡光學引擎，尺寸大小為41×13×14mm，重量12g，功耗0.1W，其分辨率800×480，全視場角為17°，相當于在人眼距離2.4m處成28”的虛像，亮度為300cd/m²。以其重量輕、體積小，可以適用于各種穿透式智能眼鏡應用場景。

進一步地，所述顯示器102還用于設置智能眼鏡參數時的交互反饋顯示。

優選地，所述智能裝置10還包括存儲器106：

所述存儲器106，用于存儲所述處理器105進行信息轉化所需的手語模型和語音模型。

進一步地，所述存儲器106采用三星電子株式會社的KMK7X000VM flash存儲芯片，該芯片的存儲空間為8G。

進一步地，所述存儲器106還保存智能眼鏡的操作系統和算法。

優選地，所述智能裝置10還包括電池107：

所述電池107為整個智能裝置提供電能。

進一步地，所述電池107采用SM5007電源管理芯片，該芯片具有功耗低、效率高且路數多等特點，非常適合應用在智能眼鏡等穿戴設備上面。

進一步地，所述電池107為鋰離子電池，電池在電力不足時，會有告警信息產生，提示用戶充電。用戶可以通過USB接口來進行充電操作。

優選地，所述智能裝置10還包括通信模塊108：

所述通信模塊108采用博通的BCM43438芯片，該芯片支持WIFI IEEE802.11b/g/n和藍牙4.1(支持BLE)，同時具有體積小功耗低的特點。WIFI采用SDIO(Secure Digital Input and Output Card)安全數字輸入輸出卡接口，藍牙采用UART(Universal Asynchronous Receiver and Transmitter)通用異步收發和PCM(Pulse-code modulation)脈沖編碼調制接口。

進一步地，用戶可以使用藍牙耳機與智能眼鏡配對連接，正常人佩戴藍牙耳機，通過藍牙耳機與智能眼鏡之間的藍牙通信，來接收和發送語音信息，而不必局限于智能眼鏡上的麥克風和揚聲器。

進一步地，用戶可以使用移動終端與智能眼鏡建立無線wifi連接，通過移動終端上的APP軟件來設置智能眼鏡。

進一步地，用戶還可以使用智能眼鏡通過wifi熱點連接到云端服務器，使用云端服務器來進行語音識別與手語識別，可以極大提高識別率。

優選地，所述智能裝置10還包括觸控板109：

進一步地，所述觸控板109位于智能裝置的側面，用戶通過操作觸控板109的左滑、右滑、上滑、下滑、單擊、長按幾個動作來設置智能眼鏡。例如：可以通過上下滑動來調節智能眼鏡的音量信息，同時音量的參數值會實時顯示在顯示器上，顯示器此時用作設置智能眼鏡參數時的交互反饋顯示。

進一步地，用戶通過操作觸控板109可以實現設置智能眼鏡的參數以及在待機狀態下喚醒智能眼鏡。

如圖2所示的是本實用新型一實施例提供的用于語音識別和手語識別的智能眼鏡的電氣結構圖。

以下是使用過程中最常見的實施例：

智能眼鏡沒有連接到云端服務器，也沒有使用藍牙耳機連上智能眼鏡，語音識別和手語識別使用離線識別方式，依靠智能眼鏡的處理器105來完成語音信息轉文字信息和手語信息轉語音信息。

其具體的識別轉化流程如下：

通過智能眼鏡上的雷達101收集聽障人士的手語信息，并將該手語信息傳遞給處理器105進行處理。處理器105結合存儲器106上保存的手語模型和相關算法將手語信息轉化語音信息，并將該語音信息傳遞給揚聲器103播放出來。

通過智能眼鏡上的麥克風104收集正常人的語音信息，并將該語音信息傳遞給處理器105，處理器105結合存儲器106上保存的語音模型和相關算法將語音信息轉化文字信息，并將該文字信息傳遞給顯示器102顯示。

使用離線識別，使用方便，響應快速。

語音識別和手語識別所使用的數據模型和算法都保存在智能眼鏡的存儲器106上。

該離線場景下手語識別與語音識別的成功率達到80％以上。

離線識別利用智能眼鏡的處理器105來進行識別，由于該處理器105是低功耗的設計，其數據處理能力有限，可以采用在線識別的方式提高識別的效率與準確率。

如圖3所示的本實用新型另一實施例提供的用于語音識別和手語識別的智能眼鏡的智能裝置的電氣結構圖及其外部連接設備。

以下是使用過程中最佳的實施例：

外部設備藍牙耳機通過藍牙通信協議與智能眼鏡建立連接。智能眼鏡通過WIFI熱點或者移動數據連接到外部設備云端服務器。語音識別和手語識別使用云端服務器在線識別方式，依靠云端服務器強勁性能的處理器來完成語音信息轉文字信息和手語信息轉語音信息。云端服務器憑借其強大的數據分析處理能力，能夠提供更加高效可靠的手語識別和語音識別服務。

藍牙耳機收集正常人的語音信息，并將該語音信息通過智能眼鏡的通信模塊108傳遞給智能眼鏡，智能眼鏡檢測到云端服務器可用時，就會優先選擇在線識別模式，會將收到的語音信息通過通信模塊108上送至云端服務器進行語音識別。云端服務器將識別后得到的文字信息通過通信模塊108回傳給智能眼鏡，智能眼鏡將該文字信息提供給顯示器102顯示。

通過智能眼鏡上的雷達101收集聽障人士的手語信息，智能眼鏡檢測到云端服務器可用時，就會優先選擇在線識別模式，并將該手語信息通過通信模塊108上傳至云端服務器進行手語識別。云端服務器將識別后得到的語音信息通過通信模塊108回傳給智能眼鏡，智能眼鏡將該語音信息通過通信模塊108中的藍牙通信傳遞給藍牙耳機并播放給正常人收聽。

使用藍牙耳機時，發聲源與接收源間距小，可以減少聲音傳播過程中，外界噪音對語音信息的收集與獲取產生的干擾，聯網使用云端服務器有助于提高語音與手勢的識別率，這些可以大大提高聽障人士與正常人的溝通效率。

語音識別和手語識別所使用的數據模型和算法保存在云端服務器上。

該在線場景下手語識別與語音識別的成功率高達98％以上。

智能眼鏡支持離線識別和在線識別，離線識別利用智能眼鏡的處理器來進行識別，在線識別利用云端服務器的超強處理器來進行利用云端服務器的強大的數據處理分析能力，能夠提供更加準確高效的語音和手語識別。離線識別和在線識別(網速不低于20kb/s)，識別結果延遲在毫秒級別，語音識別和手語識別具有延遲低，實時性高的特點。

在上述實施例的基礎上，所述智能眼鏡上安裝有智能操作系統，該智能操作系統包括：安卓系統、Windows系統或嵌入式Linux系統。

以上所述實施例僅表達了本實用新型的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本實用新型范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本實用新型構思的前提下，還可以做出若干變形和改進，這些都屬于本實用新型的保護范圍。因此，本實用新型的保護范圍應以所附權利要求為準。