專利名稱：一種基于智能手機交互的綜合型迎賓機器人的制作方法
技術領域：
本實用新型涉及一種機器人，尤其涉及一種基于可重構型強、可靠性高、靈活、方便的智能手機交互的綜合型迎賓機器人。
背景技術：
智能機器人作為一個快速發展的新興產業，已成為我國“十二五”發展規劃的扶植重點。中國工程院院士徐楊生先生2010年在科學時報上發表這樣的一段話，“加大對智能機器人科學的基礎研究，加強對機器人核心技術的攻關，培育機器人產業市場，不僅能夠帶動智能機器人技術本身的發展，同時也必將引領其他相關高新技術的發展和壯大”。可見鼓勵和扶持發展機器人產業，不僅能推動微電子、通信、計算機、人工智能、控制和圖像處理等學科領域的發展，而且將推動我國社會服務業、制造業、教育、娛樂等相關行業的科技進步和發展。目前，通信、計算機、人工智能、控制、語音識別和圖像處理等學科發展迅速，已為機器人的高度智能化奠定了基礎。因此，研究一種實用、靈活、可靠性高的智能機器人勢在必行。綜合分析目前智能機器人有以下特點1、判斷客人出現的方式有兩種人臉識別和傳感器探測。利用傳感器探測的方式實現簡單，但只能判斷客人的來去，比如CN10145(^60A、 CN201978479U、CN201823309U或CN2551614Y等公開的技術方案。而人臉識別可以根據識別結果判斷出客人是熟人還是陌生人，甚至可以分清是男是女，是動物還是人，更加智能， 是目前大部分智能機器人所采用的方式。2、表情表達方式主要有四種計算機仿真表情、LED顯示表情、關節控制顯示、圖片顯不。為了使機器人更具親和力，很多機器人都具有表情，其中利用LED顯示表情實現簡單，但親和力不夠，擬人程度低，比如CN101571930A、CN101751852A或CN201638526U 等公開的技術方案；利用關節控制實現表情表達，擬人程度高，但結構設計困難，控制非常復雜，而且可靠性差，如CN101458778B、CN101570019B、CN101618280B、CN101474481B、 CN201445795U或CN 101804257A等公開的技術方案；利用計算機仿真表情，成本低，擬人程度也高，但計算方法復雜，不同的人面部結構特征不同，男人、女人、老人、小孩需要不同的特征數據，不具通用性，如CN100527170C公開的技術方案，利用圖片方式顯示表情，具有較高的親和力，擬人程度介于LED和關節控制之間，但實現簡單，表情表達豐富，是目前推向市場比較容易接受的一種方式。3、外部輔助交互控制手段鼠標/鍵盤、觸摸屏、遙控器、智能手機等。為了可靠、完整的完成迎賓服務，機器人需要借助外部設備來輔助機器人完成任務。目前的很多機器人主要通過鼠標/鍵盤(CN 101618M2A)、觸摸屏(CN 201899878 U)、 智能手機(CN 201327585 Y，CN 101977240 A)等方式將信息傳輸給機器人。智能手機小巧、功能齊全、不受距離限制，而且價格越來越低、智能化程度越來越高，較其他控制方式更好。但目前已有的3G智能手機(CN 201327585 Y)和iPhone智能手機(CN 101977240 A) 都屬于高端產品，價格相對較高，應用還不廣泛，因此，采用低端智能手機作為機器人輔助設備更具實用性。4、通訊方式3G網絡、Internet網絡、無線網絡。隨著網絡技術的不斷發展，外部控制器與機器人之間的通信利用網絡實現，比如 3G 網絡(CN201327585Y)，Internet 網絡(CN101977240A)，無線網絡(CN201899878 U)。無線網絡中的有基礎設施方式網絡、3G網絡和hternet網絡都與外界有關，若在山區或一些信號比較弱的地方將無法實現通信。另外，無論什么網都有連接不上的情況，連接可靠性并不是很高，因此不能完全依賴網絡實現控制，若對網絡依賴性太強將會阻止機器人的進一步推廣應用，如CN201327585Y和CN201899878U公開的技術方案都過分的依賴網絡。綜上所述，目前智能機器人功能還不完善、技術還不成熟，為了使機器人進入人們的生活還需做大量的工作。
實用新型內容本實用新型的任務在于提供一種可重構型強、可靠性高、靈活、方便的智能手機交互的綜合型迎賓機器人。其技術解決方案是一種基于智能手機交互的綜合型迎賓機器人，包括機器人本體和智能手機，二者之間自動組成Ad hoc對等網絡進行通信；上述機器人本體包括基座、位于基座上的軀干部、位于軀干部頂端的頭部和分別位于軀干部左右兩側帶有多個活動關節的左手臂與右手臂，以及嵌入式工控機、觸摸屏、IXD顯示器、CAN總線通信模塊、運動控制模塊、USB攝像頭、 無線音頻接收器、手持發射器、揚聲器和電源；上述嵌入式工控機安裝在基座內部；LCD顯示器安裝在頭部的前臉側，用于顯示面部表情；觸摸屏安裝在軀干部的前胸側，用于顯示主控程序主界面，以及設置有便于進行人機交互的一些圖形化的系統功能按鈕；攝像頭安裝在頭部前臉側上部，用于采集外部人臉信息；無線音頻接收器放置在基座內部，手持發射器放置在左手臂上的左手中，電源放置在基座內部，揚聲器安裝在頭部的兩側；運動控制模塊包括能控制左、右手臂各活動關節動作的關節電機和電機驅動器，電機驅動器放置在基座內部；CAN總線通信模塊安裝在基座內部。上述運動控制模塊包括設置在各手臂上的手關節直流電機及其驅動器、肘關節直流電機及其驅動器、肩關節直流電機及其驅動器。上述軀干部與基座之間設置有腰部轉動關節，頭部與軀干部之間設置有頸部轉動關節；上述運動控制模塊還包括腰部轉動關節直流電機及其驅動器，頸部轉動關節直流電機及其驅動器。上述智能手機安裝有Android系統，帶有WIFI功能，無線電波的有效覆蓋范圍為 100米；機器人本體配有無線網卡，該無線網卡完美兼容802. IlN標準，連接速率最高可達 150Mbps,能工作在2. 46HZ工業頻段；所采取的組網方式為Ad-hoc模式，不設置無線路由
器[0019]上述嵌入式工控機包括人臉注冊模塊、人臉識別模塊、語音識別模塊、信息處理模塊、語音合成模塊、機械動作模塊或表情顯示模塊；通過人臉識別模塊和語音識別模塊來接收賓客的需求信息及身份信息，經過信息處理模塊處理后，給出“說話”、“動作”、“表情”或它們之間組合的指令，并根據指令調用語音合成模塊、機械動作模塊、表情顯示模塊獨立或配合完成迎賓任務。本實用新型具有以下有益技術效果本實用新型實現了利用一種體積小、功能強的智能手機為輔助的具有人臉識別、 語音交流、舞蹈表演、表情表演、地圖導航、拍照等多功能為一體的整體形象生動逼真、活潑可愛的綜合型迎賓機器人。
以下結合附圖與具體實施方式
對本實用新型作進一步說明
圖1為本實用新型一種實施方式的結構原理示意圖，主要示出了機器人本體部分。圖2為
圖1方式的整體系統組成框圖。圖3為
圖1方式中嵌入式工控機的程序流程圖。
具體實施方式
結合
圖1、圖2與圖3，一種基于智能手機交互的綜合型迎賓機器人，包括機器人本體2和智能手機1，二者之間自動組成Ad hoc對等網進行通信。上述機器人本體包括基座201、位于基座上的軀干部202、位于軀干部頂端的頭部203和分別位于軀干部左右兩側帶有多個活動關節的左手臂205與右手臂204，以及嵌入式工控機、觸摸屏206、IXD顯示器 207、CAN總線通信模塊、運動控制模塊、USB攝像頭208、無線音頻接收器、手持發射器209、 揚聲器210和電源；軀干部與基座之間設置有腰部轉動關節，頭部與軀干部之間設置有頸部轉動關節。上述嵌入式工控機安裝在基座內部；可采用研華ARK-3440作為機器人的主控制器，配置Shtel Core i5 520E CPU，4G內存、3206硬盤、串口、雙顯卡、集成網卡、4個 USB插口。上述IXD顯示器安裝在頭部的前臉側，分辨率為800*600，能清晰真實地顯示面部表情。上述觸摸屏安裝在軀干部的前胸側，用于顯示主控程序主界面，以及設置有便于進行人機交互的一些圖形化的系統功能按鈕，為用戶提供了一種直觀的人機交互方式。攝像頭安裝在頭部前臉側上部，采用USB攝像頭2.0，用于采集外部人臉信息。無線音頻接收器放置在基座內部，手持發射器放置在左手臂上的左手中或右手臂上的右手中，二者采用射頻載波通信，載波范圍為470-493MHZ，覆蓋范圍約100米，手持發射器是一款單向(心形) 動圈人聲話筒，其球形過濾器可有效地降低噪聲，提高音質。電源放置在基座內部，采用免維護鉛蓄電池，供電電壓為12V，具有耐震、耐高溫、體積小、自放電小的特點，能穩定地為機器人提供連續6小時的電力供應。揚聲器安裝在頭部的兩側，采用MDU9有源音箱系統，內部采用全防磁設計，音頻效果逼真且不會造成干擾。運動控制模塊包括能控制左、右手臂各活動關節動作的關節電機和電機驅動器，電機驅動器放置在基座內部；包括比如設置在各手臂上的手關節直流電機及其驅動器、肘關節直流電機及其驅動器、肩關節直流電機及其驅動器，以及腰部轉動關節直流電機及其驅動器、頸部轉動關節直流電機及其驅動器上述各中直流電機都采用瑞士 Maxon直流微電機，驅動器采用美國Copley驅動器。CAN總線通信模塊安裝在基座內部，CAN卡采用瑞士 KvaserCAN卡。[0027]上述方式中，智能手機安裝有Android系統，帶有WIFI功能，無線電波的有效覆蓋范圍為100米；機器人本體配有無線網卡，該無線網卡完美兼容802. IlN標準，連接速率最高可達150Mbps，能工作在2. 4GHZ工業頻段；所采取的組網方式為Ad-hoc模式，不設置無線路由器。智能手機的操作系統為Android，可開發有效的遠程控制程序，該程序采用雙線程同步socket網絡套接字與機器人主體進行通信。目前已實現停止機器人本體說話、關閉某個線程、更新人臉特征庫、補充語音語法等功能；另外，該類智能手機支持訊飛語音輸入， 手寫輸入使用方便，在保證整體系統的可靠性的同時還具有靈活、方便的特點，使其更具實用性。上述嵌入式工控機包括人臉注冊模塊、人臉識別模塊、語音識別模塊、信息處理模塊、語音合成模塊、機械動作模塊或表情顯示模塊；通過人臉識別模塊和語音識別模塊來接收賓客的需求信息及身份信息，經過信息處理模塊處理后，給出“說話”、“動作”、“表情”或它們之間組合的指令，并根據指令調用語音合成模塊、機械動作模塊、表情顯示模塊獨立或配合完成迎賓任務。上述人臉注冊模塊主要分為兩部分視頻注冊和照片注冊。其中視頻注冊方法采用了改進的AdaBoost算法進行實時人臉檢測，標定人臉區域，再利用隱馬爾科夫算法從已標定的人臉區域中提取并訓練特征，最后將訓練好的特征保存為特征文件并存儲在人臉特征庫路徑下，供人臉識別模塊使用。照片注冊與視頻注冊算法相同，不同的是一個是離線注冊，一個是在線注冊，前者用的是一張是舊照片，背景、光照、特征都與現場照片差別較大， 將其作為特征數據將影響識別結果。為了提高識別率，照片注冊時需盡量選取正面、免冠、 清晰的照片，并改進識別算法。上述人臉識別模塊包括單人人臉識別和多人人臉識別。單人人臉識別利用隱馬爾科夫算法將已標定的人臉區域與人臉特征庫中的特征文件進行對比，并判斷特征文件是視頻注冊所獲得還是照片注冊所獲得，分別設定不同的對比閾值，照片注冊的特征對比閾值小于視頻注冊的；然后進行識別，設定識別結果為三個，選識別相似度最大的作為該次的識別結果，并重復該過程兩次，如果這兩次結果相同并且都大于0，則表示認識此人，并說出此人的名字；等于0則表示不認識。多人人臉識別是在單人人臉識別方法基礎上進行改進，利用攝像頭對多人集體拍照，通過人臉檢測算法標定照片中的人臉區域，并從左到右進行排序，然后按順序與人臉特征庫中的特征文件進行對比，流程與單人人臉識別類似，最后依次輸出識別結果。上述語音識別模塊采用科大訊飛的hterReco 4. 0的端點檢測開發接口，可以將語音數據從背景噪聲中分離出來，有效地提高了識別效率以及識別效果。上述信息處理模塊主要根據人臉識別和語音識別的結果來決定迎賓過程中執行的動作、合成的語音和顯示的表情。在與賓客進行交流時，機器人會將識別結果與系統中預先設定的情感分類(包括愉快、得意、羞澀、難過、疑惑等)進行比對，判斷說話人表達的情感，作出回應，有感情的跟客人交流。上述語音合成模塊采用了科大訊飛的ViviVoice 2. 1語音合成系統，可以實現甜美的聲音合成。本系統利用此模塊開發出了自我介紹、介紹學校、朗誦詩歌、唱歌、口技表演、路徑導航等功能。上述機械動作模塊是在接受到信息處理模塊發送的動作執行消息后，將內存中預存的動作指令通過CAN總線發送至10個驅動器，然后經過協議解析驅動直流微電機運動， 最終通過10個電機的組合運動完成舞蹈、體操等表演。上述表情顯示模塊為一個獨立的進程，實現了微笑、搞怪、傷心、哭泣、害羞、疑問等豐富的人類表情圖形。表情圖形由多張連續的圖片組成，采用定時器進行圖片循環變換， 畫面掃描頻率為30FPS，為了防止切換圖片時出現閃屏，采用了雙緩沖技術。采用同樣的方法可以方便地制作其他常見的人類表情。具體工作流程大致是當有賓客來臨時，攝像頭會采集賓客的視頻圖像信息，將此信息傳輸給人臉識別模塊，如果成功識別此人，IXD顯示器顯示微笑表情，語音合成模塊輸出“你好，XXX先生 (或女士)，歡迎您來到AAA”，同時主動伸出右手跟賓客握手，然后與賓客進行交流；若不認識此人，機器人會直接與其交流。機器人將告訴賓客自己的本領，如現場注冊、自我介紹、介紹學校/企業歷史、朗誦詩歌、唱歌、表情表演、口技表演、路徑導航等供賓客選擇，賓客通過外置無線麥克告訴機器人所需的服務，機器人將愉快的、得意的、羞澀的、難過的還是疑惑表達自己的情感，都將根據信息處理模塊的處理結果執行。無論哪種情感都將需要機械動作模塊、語音合成模塊、表情顯示模塊獨立或同時配合完成，這樣機器人就會聲容并茂的完成一個迎賓服務。在上述的整個過程中，機器人將自己的狀態通過Ad hoc網絡發送給智能手機，智能手機也可以根據需求中止機器人說話、關閉某個線程、更新人臉特征庫、補充語音語法等，從而提高了機器人的穩定性和可靠性。本實用新型能夠著重從提高機器人的可靠性和實用性的角度出發，具備以下特占.
^ \\\ ·1、充分利用了智能手機自有的語音輸入、手寫輸入、無線通信、開放系統等強大功能，開發有效的應用程序輔助機器人完成任務，比如停止說話、關閉某個線程、更新人臉特征庫、補充語音語法等功能，以保證整體系統的可靠性、實用性。2、開發了基于照片注冊的方式，即客人不需要親臨現場，通過事先獲得的照片進行注冊，這樣機器人第一次見到客人時可以直呼其名，會給客人一個意外的驚喜；另外，還可以同時識別多人臉，提高了識別效率；3、利用連續播放圖片方式實現表情顯示功能，開發了十多種表情可供客戶選擇， 還可配合人臉識別結果和語音識別結果做出相應的表情，使機器人更具人性化。4、實現了手臂、頭部、腰部10個自由度，除了可以打招呼、握手之外，還可以進行各種舞蹈動作表演，增加了趣味性。以上所述，僅是對本實用新型的具體舉例說明，并非因此限制本實用新型的專利保護范圍，本領域的技術人員根據本實用新型的進一步改進也應落入本實用新型的保護范圍。
權利要求1.一種基于智能手機交互的綜合型迎賓機器人，其特征在于包括機器人本體和智能手機，二者之間自動組成Ad hoc對等網絡進行通信；所述機器人本體包括基座、位于基座上的軀干部、位于軀干部頂端的頭部和分別位于軀干部左右兩側帶有多個活動關節的左手臂與右手臂，以及嵌入式工控機、觸摸屏、IXD顯示器、CAN總線通信模塊、運動控制模塊、USB 攝像頭、無線音頻接收器、手持發射器、揚聲器和電源；上述嵌入式工控機安裝在基座內部； LCD顯示器安裝在頭部的前臉側，用于顯示面部表情；觸摸屏安裝在軀干部的前胸側，用于顯示主控程序主界面，以及設置有便于進行人機交互的一些圖形化的系統功能按鈕；攝像頭安裝在頭部前臉側上部，用于采集外部人臉信息；無線音頻接收器放置在基座內部，手持發射器放置在左手臂上的左手中，電源放置在基座內部，揚聲器安裝在頭部的兩側；運動控制模塊包括能控制左、右手臂各活動關節動作的活動關節電機和電機驅動器，電機驅動器放置在基座內部；CAN總線通信模塊安裝在基座內部。
2.根據權利要求1所述的一種基于智能手機交互的綜合型迎賓機器人，其特征在于 所述運動控制模塊包括設置在各手臂上的手關節直流電機及其驅動器、肘關節直流電機及其驅動器、肩關節直流電機及其驅動器。
3.根據權利要求2所述的一種基于智能手機交互的綜合型迎賓機器人，其特征在于 所述軀干部與基座之間設置有腰部轉動關節，頭部與軀干部之間設置有頸部轉動關節；上述運動控制模塊還包括腰部轉動關節直流電機及其驅動器，頸部轉動關節直流電機及其驅動器。
4.根據權利要求1所述的一種基于智能手機交互的綜合型迎賓機器人，其特征在于所述智能手機安裝有Android系統，帶有WIFI功能，無線電波的有效覆蓋范圍為100 米；機器人本體配有無線網卡，該無線網卡完美兼容802. IlN標準，連接速率最高可達 150Mbps,能工作在2. 4GHZ工業頻段；所采取的組網方式為Ad-hoc模式，不設置無線路由ο
5.根據權利要求1所述的一種基于智能手機交互的綜合型迎賓機器人，其特征在于 所述嵌入式工控機包括人臉注冊模塊、人臉識別模塊、語音識別模塊、信息處理模塊、語音合成模塊、機械動作模塊或表情顯示模塊；通過人臉識別模塊和語音識別模塊來接收賓客的需求信息及身份信息，經過信息處理模塊處理后，給出“說話”、“動作”、“表情”或它們之間組合的指令，并根據指令調用語音合成模塊、機械動作模塊、表情顯示模塊獨立或配合完成迎賓任務。
專利摘要本實用新型公開了一種基于智能手機交互的綜合型迎賓機器人，特征是包括機器人本體和智能手機，二者之間自動組成Ad hoc對等網絡進行通信；機器人本體包括基座、位于基座上的軀干部、位于軀干部頂端的頭部和分別位于軀干部左右兩側帶有多個活動關節的左手臂與右手臂，以及嵌入式工控機、觸摸屏、LCD顯示器、CAN總線通信模塊、運動控制模塊、USB攝像頭、無線音頻接收器、手持發射器、揚聲器和電源。本實用新型實現了利用一種體積小、功能強的智能手機為輔助的具有人臉識別、語音交流、舞蹈表演、表情表演、地圖導航、拍照等多功能為一體的整體形象生動逼真、活潑可愛的綜合型迎賓機器人。
文檔編號A63H29/22GK202315292SQ20112044739
公開日2012年7月11日 申請日期2011年11月11日 優先權日2011年11月11日
發明者劉寶軍, 孔祥斐, 張付友, 張志獻, 朱蘇寧, 李世光, 李明超, 李玉霞, 狄謙星, 王海霞, 類紅樂, 范香華, 裴曉雷, 黃粱松 申請人:山東科技大學