一種人工智能機器人與智能顯示終端間的交互系統的制作方法

本發明涉及mr(混合現實)及人工智能技術領域，尤其涉及一種人工智能機器人與智能顯示終端間的交互系統。

背景技術：

vr(vitualreality，虛擬現實)，是利用計算設備模擬產生一個三維的虛擬世界，提供用戶關于視覺、聽覺等感官的模擬，你看到的所有東西都是計算機生成的，純虛擬畫面。ar(augmentedreality，增強現實)，是虛擬數字畫面加上裸眼現實，典型的ar設備是googleglass。mr(mediatedreality，介導現實)，由“智能硬件之父”多倫多大學教授stevemann提出，是數字化現實+虛擬數字畫面。

mr(mixedreality，混合現實技術)是虛擬現實技術的進一步發展，該技術通過在現實場景呈現虛擬場景信息，在現實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。從而實現比ar、vr廣泛得多的應用。

機器人是一種可編程和多功能的，用來搬運材料、零件、工具的操作機，或是為了執行不同的任務而具有可改變和可編程動作的專門系統。智能機器人則是一個在感知-思維-效應方面全面模擬人的機器系統，外形不一定像人。它是人工智能技術的綜合試驗場，可以全面地考察人工智能各個領域的技術，研究它們相互之間的關系。一部智能機器人應該具備三方面的能力：感知環境的能力、執行某種任務而對環境施加影響的能力和把感知與行動聯系起來的能力。

目前已經有不少公司專注于將vr、ar、mr等技術與智能機器人結合起來，但其應用主要在vr游戲、vr購物、vr電影及體驗上面，目前也正在向家庭客廳、電影院、會議室、公共場所等地方的應用邁進，而本發明就是在這種大環境或大趨勢下，將智能機器人與mr結合，研究一種人工智能機器人與智能顯示終端間的交互系統來應用于家庭客廳、電影院、會議室、公共場所等更多的場景中，也應用于娛樂、教育、公共服務等更炙手可熱的領域中，為廣大客戶群體帶來更前衛的mr享受。

技術實現要素：

本發明提供一種人工智能機器人與智能顯示終端間的交互系統，解決了通過聯通人工智能機器人與智能顯示終端，并將人工智能機器人結合智能顯示終端以及人的參與，來依照程序預設交互信息共同構建一種預定mr應用環境的技術問題。

為解決以上技術問題，本發明提供一種人工智能機器人與智能顯示終端間的交互系統，包括人工智能機器人與智能顯示終端，所述人工智能機器人包括一個主機器人或一個主機器人及其從機器人；每個所述主機器人或從機器人均設有機器人主控模塊及與其連接的機器人無線收發模塊、語音識別模塊、音頻解析及響應模塊和伺服電機模塊；所述智能顯示終端設有終端主控模塊及與其連接的終端無線收發模塊、視頻解析及響應模塊；所述主機器人的機器人無線收發模塊與所述終端無線收發模塊、與/或所述從機器人的機器人無線收發模塊通過無線方式連接；

所述主機器人的機器人主控模塊內設有預設程序交互信息；所述主機器人的機器人主控模塊解析所述預設程序交互信息后保留自身的主機器人交互信息，并通過自身的機器人無線收發模塊向所述終端無線收發模塊實時發送終端程序交互信息、向所述從機器人實時發送從機器人程序交互信息；

所述終端主控模塊接收所述終端程序交互信息后實時發送對應的視頻信息到所述視頻解析及響應模塊，所述主機器人或從機器人的機器人主控模塊解析所述主機器人程序交互信息或從機器人程序交互信息并發出對應的語音信息及電機驅動信息到自身的音頻解析及響應模塊和伺服電機模塊，所述音頻解析及響應模塊和伺服電機模塊解析所述語音信息及電機驅動信息后發出對應的語音及做出對應的動作；

所述主機器人或從機器人的語音識別模塊用于識別人體發出的語音操作命令并生成對應的人聲操作信息實時發送到自身的機器人主控模塊，所述機器人主控模塊解析所述人聲操作信息后在所述主機器人程序交互信息或從機器人程序交互信息中查找到對應的人聲處理指令并按照所述人聲處理指令響應。

進一步地，所述終端程序交互信息中包括終端程序交互指令和終端mr視頻文件，所述主機器人程序交互信息或從機器人程序交互信息中包括主機器人程序交互指令或從機器人程序交互指令和應用于所述音頻解析及響應模塊的機器人音頻文件或機器人音頻學習生成程序；

在不同的預設程序交互信息中，所述主機器人不限于只能為主機器人，所述從主機器人不限于只能為從機器人，僅限定在同一預設程序交互信息中，設有一個主機器人，設有零或大于零個從機器人。

進一步地，所述智能顯示終端包含智能電視、智能手機、電腦、投影或電影屏幕。

更進一步地，當所述智能顯示終端為智能電視時，所述智能顯示終端還能接收到電視臺實時發送的mr互動節目信息，所述智能電視保留所述mr互動節目信息中的終端mr互動節目信息并實時發送所述mr互動節目信息中的主從機器人互動節目信息到所述主機器人，所述主機器人接收所述主從機器人互動節目信息。

更進一步地，當設有從機器人時，所述主機器人將接收到的主從機器人互動節目信息中的從機器人互動節目信息實時發送到所述從機器人。

進一步地，所述無線方式包含wifi、zigbee、2.4g、藍牙、4g、5g。

進一步地，當所述預設程序交互信息為電子游戲互動信息時，所述人工智能機器人設有連接于所述機器人主控模塊的游戲仿真工具和輔助硬件體系，所述智能顯示終端設有連接于所述終端主控模塊的與所述游戲仿真工具和輔助硬件體系對應的硬件體系。

更進一步地，游戲過程中產生的游戲數據實時自動更新在所述電子游戲互動信息中。

進一步地，所述機器人主控模塊設有機器人usb接口，所述終端主控模塊上設有終端usb接口。

更進一步地，當所述智能顯示終端中缺少所述終端無線收發模塊時，所述終端usb接口外接所述終端無線收發模塊，或連接所述機器人usb接口與所述終端usb接口進行有線方式的聯通。

本發明提供的一種人工智能機器人與智能顯示終端間的交互系統，聯通人工智能機器人與智能顯示終端，并將人工智能機器人結合智能顯示終端以及人的參與，來依照預設程序交互信息共同構建一種預定mr應用環境，根據預設程序交互信息(即用戶的需求)的不同，選擇不同的人工智能機器人與智能顯示終端，能夠廣泛應用于家庭客廳、電影院、會議室、公共場所等更多的場景中，也應用于娛樂、教育、公共服務等更炙手可熱的領域中，為廣大客戶群體帶來前衛的mr享受。

附圖說明

圖1是本發明實施例1提供的一種人工智能機器人與智能顯示終端間的交互系統的模塊結構圖；

圖2是本發明實施例2提供的一種人工智能機器人與智能顯示終端間的交互系統的模塊結構圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。以下元器件僅為較佳實施例，不構成對本發明保護范圍的限制。

實施例1

參見圖1，是本發明實施例1提供的一種人工智能機器人與智能顯示終端間的交互系統的模塊結構圖。在圖1中虛線表示無線連接，實線表示電氣連接。在本實施例中，本發明提供一種人工智能機器人與智能顯示終端間的交互系統，包括人工智能機器人1與智能顯示終端2，所述人工智能機器人1包括一個主機器人10；所述主機器人10設有機器人主控模塊101及與其連接的機器人無線收發模塊102、語音識別模塊103、音頻解析及響應模塊104和伺服電機模塊105；所述智能顯示終端2設有終端主控模塊201及與其連接的終端無線收發模塊202、視頻解析及響應模塊203；所述主機器人10的機器人無線收發模塊102與所述終端無線收發模塊202通過無線方式連接；

所述主機器人10的機器人主控模塊101內設有預設程序交互信息；所述主機器人10的機器人主控模塊101解析所述預設程序交互信息后保留自身的主機器人交互信息，并通過自身的機器人無線收發模塊102向所述終端無線收發模塊202實時發送終端程序交互信息；

所述終端主控模塊201接收所述終端程序交互信息后實時發送對應的視頻信息(包括視頻中的音頻信息)到所述視頻解析及響應模塊203，所述主機器人10的機器人主控模塊101解析所述主機器人程序交互信息并發出對應的語音信息及電機驅動信息到自身的音頻解析及響應模塊104和伺服電機模塊105，所述音頻解析及響應模塊104和伺服電機模塊105解析所述語音信息及電機驅動信息后發出對應的語音及做出對應的動作；

所述主機器人10的語音識別模塊103用于識別人體發出的語音操作命令并生成對應的人聲操作信息實時發送到自身的機器人主控模塊101，所述機器人主控模塊101解析所述人聲操作信息后在所述主機器人程序交互信息中查找到對應的人聲處理指令并按照所述人聲處理指令響應。

在本實施例中，所述終端程序交互信息中包括終端程序交互指令和終端mr視頻文件，所述主機器人程序交互信息或從機器人程序交互信息中包括主機器人程序交互指令或從機器人程序交互指令和應用于所述音頻解析及響應模塊104的機器人音頻文件或機器人音頻學習生成程序。

具體地，所述智能顯示終端2包含智能電視、智能手機、電腦、投影或電影屏幕；所述無線方式可以為wifi、zigbee、2.4g、藍牙、4g、5g中的任一種；在實際應用中，考慮到成本及兼容性，所述機器人主控模塊101設有機器人usb接口，所述終端主控模塊201上設有終端usb接口，當所述智能顯示終端2中缺少所述終端無線收發模塊202時，所述終端usb接口外接所述終端無線收發模塊202，或連接所述機器人usb接口與所述終端usb接口進行有線方式的聯通。

當所述智能顯示終端2為智能電視時，所述智能顯示終端2還能接收到電視臺實時發送的mr互動節目信息，所述智能電視保留所述mr互動節目信息中的終端mr互動節目信息并實時發送所述mr互動節目信息中的主機器人10互動節目信息到所述主機器人10，所述主機器人10接收所述主機器人10互動節目信息。

總的來說，所述預設程序交互信息包括體現人工智能機器人1(主機器人10)、智能顯示終端2、用戶(一個或多個觀眾及參與者)三者之間的互動交流功能，能夠共同完成一項任務(如卡通片或教學片或游戲節目)，完全地展現虛擬與現實交融場景。

特別說明，用戶與智能顯示終端2間的互動也是通過主機器人10傳遞，并非用戶與智能顯示終端2直接互動。

下面舉一個應用于教育中的簡單的例子，來幫助理解所述智能顯示終端2與所述人工智能機器人1的交互過程。在本例子中，所述智能顯示終端2為智能液晶電視，所述人工智能機器人1只有一個主機器人10(內設課目信息，該科目信息即為所述預設程序交互信息)，命名為“apple班長”，“apple班長”與智能液晶電視已經通過wifi連接好，并且“apple班長”已經發送相關的vr視頻信息以及其內在操作指令等到所述智能液晶電視，現在進行程序的運行，選定拼音學習的第一課進行播放。

視頻中畫面里有老師在教小朋友學習拼音字母，apple班長作為現實中小朋友也在聽講。老師正講道：“我現在教單韻母a如何發音，a字是張大嘴巴啊啊啊，大家跟著我讀一遍。”小朋友齊聲跟讀道：“張大嘴巴啊啊啊”，老師說：“我們先讓機器人apple班長讀一遍，看他發音正不正確。”老師和小朋友們認真地看著電視機外的apple班長，apple班長會意地讀到：“啊啊啊，請問老師我讀得標準嗎？”視頻里的明明小朋友搶著說：“班長，你讀得真棒”，老師說：“嗯，是讀得很不錯，獎勵班長一朵小紅花”，apple班長的獎罰池(視頻中)里面就有了第一朵小紅花，apple班長激動地說到：“謝謝老師！”并開心得手舞足蹈……，就這樣拼音學習的第一課在愉快、和諧的氣氛中結束了。

當然，在上述例子中，現實中的人也可以參與進來，假設此處有一現實中的小朋友，名叫小花，她去跟apple班長說：“班長，我也想加入你們一起學習”，apple班長向老師報告說：“老師，我們班來了一個新同學，她叫小花，以后我們一起學習”(apple班長向智能液晶電視實時發送信息，智能液晶電視能夠在程序預設的范圍內做出響應)，這個時候，小花也可以參與到學習中來，作為老師的一個學生，可以回答問題，可以問問題，可以跟班長交流也可以跟視頻中的老師和其他小朋友們交流，整個環境，虛擬與現實，融為一體，這樣的學習對小花來說，更聲色并茂，并且有機器人班長在現實中陪伴，也不會覺得孤單，對小花的學習和心理健康都有很大的幫助，為父母老師都省了不少心。當然，以上課目信息也可以是數學、英語、音樂等等，不作限制，機器人apple班長并不限定為類人形，也可以是卡通人物、動物，或是一個電子產品形狀。

當該智能液晶電視接收到電視臺實時發送的mr互動節目信息時，并由用戶開始播放時，所述智能液晶電視保留所述mr互動節目信息中的終端mr互動節目信息并實時發送所述mr互動節目信息中的主機器人10互動節目信息到所述主機器人10即apple班長，apple班長接收所述主機器人10互動節目信息，然后整個程序開始運行，其運行過程與上述例子描述的情況一致。總的來說，無論是什么類型的節目，apple班長都對節目中的內容非常了解，對于現實中人的提問可以隨時進行解答，對現實中人的命令可以做出應對，在教學類的視頻節目中，機器人的作用尤為重要。

當所述預設程序交互信息為電子游戲互動信息時，則就要求所述人工智能機器人1設有連接于所述機器人主控模塊101的游戲仿真工具和輔助硬件體系，所述游戲仿真工具如仿真手槍結合機器人本身的輔助硬件體系如坐標體系、感光體系、發光體系和機器人主控模塊101的主控作用，該手槍具備手槍的瞄準、定點、聲光電等功能，還要求所述智能顯示終端2設有連接于所述終端主控模塊201的與所述游戲仿真工具和輔助硬件體系對應的硬件體系，如與所述仿真手槍對應的坐標體系、感光體系、發光體系等。而發光體系與感光體系可以是紅外光、激光、可見光等等，也可以采用攝像頭來進行捕捉，此處不作限制，坐標體系具有xyz三維數值，能夠滿足游戲射殺要求。

下面舉一個機器人玩融合mr的射擊游戲的例子來幫助理解：

在本例子中，所述智能顯示終端2為智能液晶電視，所述人工智能機器人1只有一個主機器人10(內設預設的電子游戲互動信息)，命名為“a”，機器人a與智能液晶電視已經通過wifi連接好，并且機器人a已經發送相關的mr視頻信息以及其內在操作指令等到所述智能液晶電視，現在游戲開始。

機器人a對著電視屏幕正在玩手槍射殺怪獸游戲，游戲一開始，畫面隨著背景音樂響起，一個一個各式各樣的怪獸依次出現在畫面中多個部位，機器人a舉起手中手槍，對著屏幕自己關注的目標(怪獸)進行射擊。由于機器人a對射擊目標有隨機選擇性，目標被擊中后畫面里出現各種反應，同時伴隨著不同的動作和叫聲(程序預先進行了多個可能的組合設計)，特別需要說明的是，如果機器人a打的部位不是怪獸的要害部位(心臟或腦袋等)，而是次要部位(手腳)的話，怪獸不會倒下，會進行掙扎，甚至會有其它同伴前來援助，當你打中要害部位后，怪獸才會倒下，成績會進行加分、加獎勵。畫面才會出現新的怪獸，如此交替進行直到你的子彈用盡或精力用完，游戲才結束，并宣布機器人a的成績，如此完成了一輪射擊游戲節目的演繹。游戲過程中產生的游戲數據實時自動更新在所述電子游戲互動信息中，待下一輪游戲開始便是從上一輪游戲結束的地方開始，除非用戶手動操作地回到歷史的游戲關卡中。

需要特別說明的是，上述原理還可以擴展到觀眾(或用戶)隨意在現場用語音命令指揮機器人a，叫它們的名字并給他們命令去打擊畫面中某個怪獸，還可以具體指揮打怪獸的頭、心臟、手、腳等不同部位，這樣使得游戲更加豐富多彩、扣人心弦，新穎獨特。而機器人a的外形并不限定為類人形，也可以是卡通人物、動物，或是一個電子產品形狀。

并且，容易想到的是，若現實中的人加入到游戲中來與機器人a進行雙人或多人游戲也是允許的。

需要說明的是，本實施例中所說的mr包括單一的vr或ar、混合的vr和ar，或結合了單一的vr或ar、或混合的vr和ar的mr。

實施例2

參見圖2，是本發明實施例2提供的一種人工智能機器人與智能顯示終端間的交互系統的模塊結構圖。在本圖中虛線表示無線連接，實線表示電氣連接。在本實施例中，本發明提供一種人工智能機器人1與智能顯示終端2間的交互系統，包括人工智能機器人1與智能顯示終端2，所述人工智能機器人1包括一個主機器人10及其從機器人11(從機器人11-1，從機器人11-2，從機器人11-3，……)；每個所述主機器人10或從機器人11均設有機器人主控模塊101或111及與其連接的機器人無線收發模塊102或112、語音識別模塊103或113、音頻解析及響應模塊104或114和伺服電機模塊105或115；所述智能顯示終端2設有終端主控模塊201及與其連接的終端無線收發模塊202、視頻解析及響應模塊203；所述主機器人10的機器人無線收發模塊102與所述終端無線收發模塊202、所述從機器人11的機器人無線收發模塊112通過無線方式連接；以上模塊標注的區分只是為了對同一個系統中的主機器人10與從機器人11作區分，對于單獨的一個主機器人10或從機器人11，這些模塊為相同結構。

所述主機器人10的機器人主控模塊101內設有預設程序交互信息；所述主機器人10的機器人主控模塊101解析所述預設程序交互信息后保留自身的主機器人交互信息，并通過自身的機器人無線收發模塊102向所述終端無線收發模塊202實時發送終端程序交互信息、向所述從機器人11的無線收發模塊112實時發送從機器人程序交互信息；

所述終端主控模塊201接收所述終端程序交互信息后實時發送對應的視頻信息(包括視頻中的音頻信息)到所述視頻解析及響應模塊203，所述主機器人10或從機器人11的機器人主控模塊101或111解析所述主機器人程序交互信息或從機器人程序交互信息并發出對應的語音信息及電機驅動信息到自身的音頻解析及響應模塊104或114和伺服電機模塊105或115，所述音頻解析及響應模塊104或114和伺服電機模塊105或115解析所述語音信息及電機驅動信息后發出對應的語音及做出對應的動作；

所述主機器人10或從機器人11的語音識別模塊103或113用于識別人體發出的語音操作命令并生成對應的人聲操作信息實時發送到自身的機器人主控模塊101或111，所述機器人主控模塊101或111解析所述人聲操作信息后在所述主機器人程序交互信息或從機器人程序交互信息中查找到對應的人聲處理指令并按照所述人聲處理指令響應。

所述終端程序交互信息中包括終端程序交互指令和終端mr視頻文件，所述主機器人程序交互信息或從機器人程序交互信息中包括主機器人10程序交互指令或從機器人11程序交互指令和應用于所述音頻解析及響應模塊104或114的機器人音頻文件或機器人音頻學習生成程序；

在不同的預設程序交互信息中，所述主機器人10不限于只能為主機器人10，所述從機器人11不限于只能為從機器人11，僅限定在同一預設程序交互信息中，設有一個主機器人10，大于零個從機器人11。

具體地，所述智能顯示終端2包含智能電視、智能手機、電腦、投影或電影屏幕；所述無線方式可以為wifi、zigbee、2.4g、藍牙、4g、5g中的任一種；在實際應用中，考慮到成本及兼容性，所述機器人主控模塊101設有機器人usb接口，所述終端主控模塊201上設有終端usb接口，當所述智能顯示終端2中缺少所述終端無線收發模塊202時，所述終端usb接口外接所述終端無線收發模塊202，或連接所述機器人usb接口與所述終端usb接口進行有線方式的聯通。

總的來說，所述預設程序交互信息包括體現人工智能機器人1(主機器人10及其從機器人11)、智能顯示終端2、用戶(一個或多個觀眾及參與者)三者之間的互動交流功能，能夠共同完成一項任務(如卡通片或教學片或游戲節目)，完全地展現虛擬與現實交融場景。

特別說明，用戶與智能顯示終端2間的互動也是通過主機器人10傳遞，并非用戶與智能顯示終端2直接互動。

下面舉一個應用于公共旅游服務中的簡單的例子，具體地說，應用于旅游業中的視頻解說中，來幫助理解所述智能顯示終端2與所述人工智能機器人1的交互過程。在本例子中，所述智能顯示終端2為智能液晶顯示器(或投影設備，投在經過特殊處理的墻上)，所述人工智能機器人1中設有一個主機器人k(內設旅游視頻信息，該旅游視頻信息即為所述預設程序交互信息)以及從機器人m、從機器人n(當然還可以設置更多，此處只設置兩個)，主機器人k與智能液晶顯示器已經通過wifi連接好，并且主機器人k已經發送相關的mr旅游視頻信息以及其內在操作指令等到所述智能液晶顯示器、從機器人k和從機器人n中，現在進行程序的運行，選擇景點——bs進行播放，并設定從機器人m為講解員(講解內容以及問答內容僅為舉例參考)。

視頻節目開頭是航拍的風景區bs，該視頻節目經過處理的mr視頻信息，現場觀眾可配備對應的mr設備，使現場觀眾如身臨其境，還可用高精度捕捉鏡頭將現場觀眾的人像高保真度的實時錄入到視頻中，帶給觀眾前所未有的感官盛宴。節目一開始，機器人m對大家講解：“bs，她如一顆明珠鑲嵌在大山mt的山脈中段，這是一座雄偉秀麗獨特而又神奇的山。”

隨著鏡頭切換，游人進入bs畫面，有個小男孩(畫面中)問:“bs是多少級的風景區啊？”機器人m回答：“是國家4a級風景區，于2005年取得級別認證”現場有觀眾問機器人m：“請問這座山的海拔有多高？”機器人m回答說：“1889.5m。”現場有電視機觀眾爭相提問，這時機器人n邁出來，面對觀眾做出“安靜”的手勢，并面對觀眾說：“大家別著急，你們的問題都能得到對應的解答，我們一個個來。”

與通常視頻節目不同，本節目不是視頻中解說員解說，而是視頻外的機器人m來根據視頻場景以及視頻外觀眾提問，進行現場解說。但本節目中，機器人m乃至機器人k、機器人n都對節目中的內容非常了解，對于觀眾的提問、隨時進行解答，因為設定機器人m為解說員，在一般情況下，現場觀眾的非指定回答對象的提問，都由機器人m回答，指定了回答對象的則由指定對象(如機器人n)回答。這里機器人k主要擔任活躍氣氛的作用，機器人n主要擔任秩序維護的作用。機器人m、機器人k、機器人n并不限定為類人形，也可以是卡通人物、動物，或是一個電子產品形狀。

以上僅是一個演示舉例，對本發明并不構成說明內容上的限制。

在本實施例中，一般情況下，主機器人10中設定預設有程序交互信息，但當所述智能顯示終端2為智能電視時，所述智能顯示終端2還能接收到電視臺實時發送的mr互動節目信息，所述智能電視保留所述mr互動節目信息中的終端mr互動節目信息并實時發送所述mr互動節目信息中的主從機器人互動節目信息到所述主機器人10，所述主機器人10接收所述主從機器人互動節目信息中的從機器人互動節目信息實時發送到所述從機器人。因為電視臺有能力對電視節目進行版權掌控。

還有一種情況，當所述預設程序交互信息為電子游戲互動信息時，則就要求所述人工智能機器人1設有連接于所述機器人主控模塊101的游戲仿真工具和輔助硬件體系，所述游戲仿真工具如仿真手槍結合機器人本身的輔助硬件體系如坐標體系、感光體系、發光體系和機器人主控模塊101的主控作用，該手槍具備手槍的瞄準、定點、聲光電等功能，還要求所述智能顯示終端2設有連接于所述終端主控模塊201的與所述游戲仿真工具和輔助硬件體系對應的硬件體系，如與所述仿真手槍對應的坐標體系、感光體系、發光體系等。而發光體系與感光體系可以是紅外光、激光、可見光等等，也可以采用攝像頭來進行捕捉，此處不作限制，坐標體系具有xyz三維數值，能夠滿足游戲射殺要求。

下面舉一個主機器人10與從機器人11一起玩視頻游戲的例子來幫助理解：

在本例子中，所述智能顯示終端2為智能液晶電視，所述人工智能機器人1包括有一個機器人p(內設預設的電子游戲互動信息)，兩個從機器人e和f，主機器人10p與智能液晶電視、主機器人10p分別與從機器人e和f間已經通過wifi連接好，并且主機器人10p已經發送相關的mr視頻信息以及其內在操作指令等到所述智能液晶電視，和已經發送相關的mr視頻信息以及其內在操作指令等到所述機器人e和機器人f，現在游戲開始。

機器人p、機器人e、機器人f對著電視屏幕正在玩手槍射殺怪獸游戲，游戲一開始，畫面隨著背景音樂響起，一個一個各式各樣的怪獸依次出現在畫面中多個部位，機器人p、機器人e、機器人f舉起手中手槍，分別對著屏幕自己關注的目標(怪獸)進行射擊。由于所有機器人對射擊目標都有隨機選擇性，目標被擊中后畫面里出現各種反應，同時伴隨著不同的動作和叫聲(程序預先進行了多個可能的組合設計)，特別需要說明的是，如果機器人打的部位不是怪獸的要害部位(心臟或腦袋等)，而是次要部位(手腳)的話，怪獸不會倒下，會進行掙扎，甚至會有其它同伴前來援助，當你打中要害部位后，怪獸才會倒下，成績會進行加分、加獎勵。畫面才會出現新的怪獸，如此交替進行直到所有機器人的子彈用盡或精力用完，游戲才結束，并宣布所有機器人的成績，如此完成了一輪射擊游戲節目的演繹。游戲過程中產生的游戲數據實時自動更新在所述電子游戲互動信息中，待下一輪游戲開始便是從上一輪游戲結束的地方開始，除非用戶手動操作地回到歷史的游戲關卡中。

需要特別說明的是，上述原理還可以擴展到觀眾(或用戶)隨意在現場用語音命令指揮任一機器人，叫它們的名字并給他們命令去打擊畫面中某個怪獸，還可以具體指揮打怪獸的頭、心臟、手、腳等不同部位，這樣使得游戲更加豐富多彩、扣人心弦，新穎獨特。而機器人p、機器人e、機器人f的外形并不限定為類人形，也可以是卡通人物、動物，或是一個電子產品形狀。

并且，容易想到的是，若現實中的人加入到游戲中來與機器人p、機器人e、機器人f來進行多人游戲或代替機器人進行游戲也是允許的。

以上僅是另一個演示舉例，對本發明并不構成說明內容上的限制。

在本實施例中，所述無線方式可以為wifi、zigbee、2.4g、藍牙、4g、5g中的任一種；在實際應用中，考慮到成本及兼容性，所述機器人主控模塊101設有機器人usb接口，所述終端主控模塊201上設有終端usb接口，當所述智能顯示終端2中缺少所述終端無線收發模塊202時，所述終端usb接口外接所述終端無線收發模塊202，或連接所述機器人usb接口與所述終端usb接口進行有線方式的聯通。

需要說明的是，本實施例中所說的mr包括單一的vr或ar、混合的vr和ar，或結合了單一的vr或ar、或混合的vr和ar的mr。

以上所述是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也視為本發明的保護范圍。