一種頭戴式智能視障輔助系統的制作方法
【技術領域】
[0001]本發明屬于計算機視覺和人機交互領域，是一種頭戴式智能視障輔助系統。
【背景技術】
[0002]視覺障礙者簡稱視障者，廣義而言，如果個人需透過輔助器具如眼鏡、放大鏡等才能看清楚東西，就稱為視障者。視障又可分為為全盲及弱視，其中又以弱視居多，據世界衛生組織估計，全球視障人群達到1.3億以上，我國弱視群體人群達到700萬人，如何幫助弱視群體更好地適應生活成為社會關注的焦點。
[0003]弱視顧名思義是指視覺功能受到損傷或障礙，那么如何通過現有的科學技術輔助性增強視障者的視覺能力是解決這個問題的關鍵。
【發明內容】
[0004]本發明的目的在于克服現有技術的不足，提供一種頭戴式智能視障輔助系統，該系統為輕量化設計的穿戴式硬件系統，功耗低，攜帶方便，基于嵌入式平臺實現各個核心服務模塊，包括人臉識別、物體識別、貨幣識別等，交互設計簡單、自然、智能，簡單易操作。
[0005]本發明的目的是通過以下技術方案來實現的:一種頭戴式智能視障輔助系統，它包括眼鏡端組件和功能端組件，所述的眼鏡端組件包括攝像頭、圖像驅動單元和音頻處理器，攝像頭與圖像驅動單元連接；所述的功能端組件包括通訊模塊、電池及充電管理模塊、中央處理模塊和按鍵，圖像驅動單元、音頻處理器、通訊模塊、電池及充電管理模塊和按鍵分別與中央處理模塊連接；所述的中央處理模塊包括指尖檢測模塊、敏感信息檢測模塊、識別模塊和語音處理模塊；
所述的指尖檢測模塊檢測用戶是否使用指尖指向某個物體；所述的敏感信息檢測模塊檢測指尖周圍是否存在物體、人臉、文字、貨幣等敏感信息，并分割出敏感信息所在區域；所述的識別模塊在敏感區域進行信息識別；所述的語音處理模塊對信息進行處理并進行語音播報。
[0006]所述的眼鏡端組件還包括耳機揚聲器和麥克風，耳機揚聲器和麥克風分別與音頻處理器連接。
[0007]所述的敏感信息檢測模塊包括物體檢測模塊、文字檢測模塊、人臉檢測模塊和標示、標志檢測模塊，所述的物體檢測模塊檢測視障人員日常家居生活常見的物體，所述的文字檢測模塊檢測敏感信息區域內的文字，人臉檢測模塊檢測敏感區域內的人臉，標示、標志檢測模塊檢測敏感區域內的標志。
[0008]所述的識別模塊包括物體識別模塊、貨幣識別模塊、文字識別模塊、人臉識別模塊和標示識別模塊，所述的貨幣識別模塊對使用的貨幣進行識別，所述的標示識別模塊對標示進行識別。
[0009]所述的攝像頭采用小型CMOS高分辨率攝像頭，所述的通訊模塊為4G、5G通訊模塊。
[0010]一種頭戴式智能視障輔助系統實現輔助的方法，它包括如下子步驟:
51:圖像采集，攝像頭采集人視野中的圖像；
52:指尖檢測，檢測視野圖像中是否有用戶使用指尖指向某個特定物體；
S3:敏感信息檢測，檢測到指尖后，在指尖周圍區域進行敏感信息檢測，檢測是否存在包括物體、人臉、文字、貨幣的敏感信息，并分割出敏感信息所在的區域；
54:信息識別，識別模塊在敏感區域進行識別任務，不同的敏感信息進入相應的識別模塊，得到具體的信息；
55:語音處理，將識別出來的信息通過語音播報出來；
56:云端同步，將識別出來的信息進行保存，同時同步到云端。
[0011]所述的步驟S2指尖檢測，首先通過膚色檢測獲得待選區域，然后通過輪廓匹配的方式檢測出指尖。
[0012]所述的步驟S3敏感信息檢測包括物體檢測、文字檢測、人臉檢測和標示、標志檢測。
[0013]所述的步驟S4信息識別包括貨幣識別、物體識別、人臉識別、文字識別、顏色識別和標記識別，貨幣檢測采用0RB特征，物體識別結合特征提取模板匹配和深度學習方法，人臉識別采用基于SVM特征分類方法。
[0014]本發明的有益效果是:本發明提供了一種頭戴式智能視障輔助系統，該系統為輕量化設計的穿戴式硬件系統，設備輕便，易于攜帶，基于嵌入式平臺實現各個核心服務模塊，包括人臉識別、物體識別、貨幣識別等，通過分離檢測識別模塊實現資源有效利用，多樣、簡單的交互操作，提高用戶體驗，同時充分利用云端存儲處理能力。
【附圖說明】
[0015]圖1為系統結構圖；
圖2為輔助方法流程圖；
圖3為貨幣識別方法。
【具體實施方式】
[0016]下面結合附圖進一步詳細描述本發明的技術方案，但本發明的保護范圍不局限于以下所述。
[0017]如圖1所示，一種頭戴式智能視障輔助系統，它包括眼鏡端組件和功能端組件，所述的眼鏡端組件包括攝像頭、圖像驅動單元和音頻處理器，攝像頭與圖像驅動單元連接；所述的功能端組件包括通訊模塊、電池及充電管理模塊、中央處理模塊和按鍵，圖像驅動單元、音頻處理器、通訊模塊、電池及充電管理模塊和按鍵分別與中央處理模塊連接；所述的中央處理模塊包括指尖檢測模塊、敏感信息檢測模塊、識別模塊和語音處理模塊；
所述的指尖檢測模塊檢測用戶是否使用指尖指向某個物體；所述的敏感信息檢測模塊檢測指尖周圍是否存在物體、人臉、文字、貨幣等敏感信息，并分割出敏感信息所在區域；所述的識別模塊在敏感區域進行信息識別；所述的語音處理模塊對信息進行處理并進行語音播報。
[0018]所述的眼鏡端組件還包括耳機揚聲器和麥克風，耳機揚聲器和麥克風分別與音頻處理器連接。
[0019]所述的敏感信息檢測模塊包括物體檢測模塊、文字檢測模塊、人臉檢測模塊和標示、標志檢測模塊，所述的物體檢測模塊檢測視障人員日常家居生活常見的物體，所述的文字檢測模塊檢測敏感信息區域內的文字，人臉檢測模塊檢測敏感區域內的人臉，標示、標志檢測模塊檢測敏感區域內的標志。
[0020]所述的識別模塊包括物體識別模塊、貨幣識別模塊、文字識別模塊、人臉識別模塊和標示識別模塊，所述的貨幣識別模塊對使用的貨幣進行識別，所述的標示識別模塊對標示進行識別。
[0021]所述的攝像頭采用小型CMOS高分辨率攝像頭，所述的通訊模塊為4G、5G通訊模塊。
[0022]如圖2