一種實現增強現實的方法及用戶設備與制造工藝

本發明涉及信息技術(InformationTechnology，簡稱：IT)領域，尤其涉及一種實現增強現實的方法及用戶設備。

背景技術：
增強現實(AugmentedReality，簡稱AR)技術是在虛擬現實技術的基礎上發展起來的一種新興的人機交互技術，它借助于可視化技術，將虛擬現實信息應用到現實世界，把不能直接在現實世界獲取的虛擬現實信息疊加到現實世界的畫面上，并使用戶可以與增強現實應用進行互動，擴大了用戶對真實世界的感知。隨著智能的用戶設備(UserEquipment，簡稱：UE)的普及，AR技術在近年得到了高速的發展。現有的AR應用中，用戶設備可以通過攝像頭捕獲視頻流，將捕獲的視頻流作為現實世界信息，并從服務器側獲取與該現實世界信息相關的虛擬現實信息，將獲取的該虛擬現實信息疊加在捕獲的視頻流上，并顯示疊加后的視頻流。具體地，該UE在捕獲視頻流后，可以向服務器側發送獲取虛擬現實信息的請求，該獲取虛擬現實信息的請求包括該UE捕獲的關鍵幀或該UE所在位置的信息，其中，該關鍵幀包括被跟蹤對象的姿態圖像；服務器側在根據該UE捕獲的關鍵幀或該UE所在位置的信息，得到虛擬現實信息之后，向該UE發送該虛擬現實信息，該UE將接收的虛擬現實信息疊加到捕獲的視頻流的每一幀上進行顯示。其中，該UE接收的虛擬現實信息與現實世界中的被跟蹤對象，或者與該UE所在的位置相關。當該UE將接收的虛擬現實信息疊加到捕獲的視頻流上時，AR體驗開始。通過對現有技術的分析，發明人認為現有技術至少存在以下問題：UE接收的虛擬現實信息是與現實世界相關的，具體地，該UE接收的虛擬現實信息是與現實世界中的被跟蹤對象或該UE所在的位置相關的，在AR體驗結束后，若用戶需要再次經歷相同的AR體驗，則該用戶需要回到原來的現實世界中，例如，該用戶位于位置A處，當該用戶利用UE查詢在位置A附近的餐館時，服務器側會返回在位置A附近的餐館的信息，該UE將得到的餐館的信息疊加到捕獲的視頻幀上，如果該用戶之后還想經歷相同的AR體驗，則需要用戶再次回到位置A處，并捕獲相同的視頻幀。

技術實現要素：
為克服現有技術的缺陷，本發明實施例的目的在于提供一種實現增強現實的方法及用戶設備，以便在AR體驗結束之后，用戶還能夠在任何時候再次經歷相同的AR體驗。第一方面，本發明實施例提供一種實現增強現實的方法，包括：用戶設備存儲用戶經歷增強現實體驗時的增強現實上下文，所述增強現實上下文包括所述用戶設備從服務器側接收的虛擬內容信息以及所述用戶設備捕獲的視頻流；當所述用戶需要再次經歷所述增強現實體驗時，所述用戶設備根據存儲的所述虛擬內容信息，獲取虛擬現實信息；所述用戶設備按照視頻幀被捕獲的先后順序，依次獲取存儲的所述視頻流中的視頻幀，將獲取的所述虛擬現實信息疊加到獲取的所述視頻幀上，并顯示疊加后的視頻幀。在第一方面的第一種可能的實現方式中，所述用戶設備依次捕獲視頻幀，存儲捕獲的視頻幀的時間戳與被跟蹤對象信息之間的對應關系，將被跟蹤對象的姿態圖像從所述捕獲的視頻幀中去除，根據去除所述姿態圖像后的視頻幀更新全景圖，并存儲所述時間戳與背景信息之間的對應關系；所述用戶設備在捕獲視頻幀時存儲所述被跟蹤對象的標準圖像，并在所述用戶設備停止捕獲視頻幀時，存儲所述全景圖；其中，所述被跟蹤對象信息包括所述姿態圖像在所述捕獲的視頻幀中的位置信息，所述背景信息包括所述捕獲的視頻幀在所述全景圖中的位置信息。結合第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，所述被跟蹤對象信息還包括所述姿態圖像在所述捕獲的視頻幀上的單應性矩陣，所述背景信息還包括所述捕獲的視頻幀相對于所述全景圖偏轉的偏轉角度。結合第一方面的第二種可能的實現方式，在第一方面的第三種可能的實現方式中，所述用戶設備獲取存儲的所述標準圖像以及所述全景圖；所述用戶設備按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的被跟蹤對象信息以及背景信息，根據得到的所述被跟蹤對象信息包含的單應性矩陣，對獲取的所述標準圖像進行仿射變換，得到所述被跟蹤對象的姿態圖像，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖得到背景圖，根據得到的所述被跟蹤對象信息包含的位置信息，將得到的所述姿態圖像疊加到截取得到的背景圖上，生成所述當前所要顯示的視頻幀。結合第一方面的第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述虛擬內容信息包括與所述虛擬現實信息對應的所述被跟蹤對象的標識，則所述將獲取的所述虛擬現實信息疊加到獲取的所述視頻幀上，包括：在所述虛擬內容信息包括所述被跟蹤對象的標識時，所述用戶設備根據所述被跟蹤對象的姿態圖像在所述當前所要顯示的視頻幀中的位置，將獲取的所述虛擬現實信息疊加到所述當前所要顯示的視頻幀上。在第一方面的第五種可能的實現方式中，所述用戶設備依次捕獲視頻幀，根據捕獲的視頻幀更新全景圖，并存儲所述捕獲的視頻幀的時間戳與背景信息之間的對應關系；在所述用戶設備停止捕獲視頻幀時，所述用戶設備存儲所述全景圖；其中，所述背景信息包括所述捕獲的視頻幀在所述全景圖中的位置信息。結合第一方面的第五種可能的實現方式，在第一方面的第六種可能的實現方式中，所述背景信息還包括所述捕獲的視頻幀相對于所述全景圖偏轉的偏轉角度。結合第一方面的第六種可能的實現方式，在第一方面的第七種可能的實現方式中，所述用戶設備獲取存儲的所述全景圖；所述用戶設備按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的背景信息，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖，生成所述當前所要顯示的視頻幀。結合第一方面的第七種可能的實現方式，在第一方面的第八種可能的實現方式中，所述虛擬內容信息包括與所述虛擬現實信息對應的位置信息，所述背景信息還包括所述用戶設備所在位置的信息，則所述將獲取的所述虛擬現實信息疊加到獲取的所述視頻幀上，包括：所述用戶設備根據所述背景信息包含的所述用戶設備所在位置的信息以及所述虛擬內容信息包含的位置信息，將獲取的所述虛擬現實信息疊加到所述當前所要顯示的視頻幀上。第二方面，本發明實施例提供一種用戶設備，包括：接收單元，用于接收從服務器側返回的虛擬內容信息；視頻流捕獲單元，用于捕獲視頻流；存儲單元，用于存儲用戶經歷增強現實體驗時的增強現實上下文，所述增強現實上下文包括所述接收單元接收的所述虛擬內容信息以及所述視頻流捕獲單元捕獲的所述視頻流；虛擬現實信息獲取單元，用于當所述用戶需要再次經歷所述增強現實體驗時，根據所述存儲單元存儲的所述虛擬內容信息，獲取虛擬現實信息；視頻幀獲取單元，用于按照視頻幀被捕獲的先后順序，依次獲取所述存儲單元存儲的所述視頻流中的視頻幀；疊加單元，用于將所述虛擬現實信息獲取單元獲取的所述虛擬現實信息疊加到所述視頻幀獲取單元獲取的所述視頻幀上；顯示單元，用于顯示所述疊加單元疊加后的視頻幀。在第二方面的第一種可能的實現方式中，所述視頻流捕獲單元具體用于依次捕獲視頻幀；所述存儲單元具體用于存儲所述視頻流捕獲單元捕獲的視頻幀的時間戳與被跟蹤對象信息之間的對應關系，將被跟蹤對象的姿態圖像從所述捕獲的視頻幀中去除，根據去除所述姿態圖像后的視頻幀更新全景圖，并存儲所述時間戳與背景信息之間的對應關系；以及用于在所述視頻流捕獲單元捕獲視頻幀時存儲所述被跟蹤對象的標準圖像，并在所述視頻流捕獲單元停止捕獲視頻幀時，存儲所述全景圖；其中，所述被跟蹤對象信息包括所述姿態圖像在所述捕獲的視頻幀中的位置信息，所述背景信息包括所述捕獲的視頻幀在所述全景圖中的位置信息。結合第二方面的第一種可能的實現方式，在第二方面的第二種可能的實現方式中，所述被跟蹤對象信息還包括所述姿態圖像在所述捕獲的視頻幀上的單應性矩陣，所述背景信息還包括所述捕獲的視頻幀相對于所述全景圖偏轉的偏轉角度。結合第二方面的第二種可能的實現方式，在第二方面的第三種可能的實現方式中，所述視頻幀獲取單元具體用于獲取所述存儲單元存儲的所述標準圖像以及所述全景圖；以及用于按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的所述存儲單元存儲的被跟蹤對象信息以及背景信息，根據得到的所述被跟蹤對象信息包含的單應性矩陣，對獲取的所述標準圖像進行仿射變換，得到所述被跟蹤對象的姿態圖像，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖得到背景圖，根據得到的所述被跟蹤對象信息包含的位置信息，將得到的所述姿態圖像疊加到截取得到的背景圖上，生成所述當前所要顯示的視頻幀。結合第二方面的第三種可能的實現方式，在第二方面的第四種可能的實現方式中，所述接收單元接收的所述虛擬內容信息包括與所述虛擬現實信息對應的所述被跟蹤對象的標識，則所述疊加單元具體用于在所述虛擬內容信息包括所述被跟蹤對象的標識時，根據所述被跟蹤對象的姿態圖像在所述當前所要顯示的視頻幀中的位置，將所述虛擬現實信息獲取單元獲取的所述虛擬現實信息疊加到所述視頻幀獲取單元生成的所述當前所要顯示的視頻幀上。在第二方面的第五種可能的實現方式中，所述視頻流捕獲單元具體用于依次捕獲視頻幀；所述存儲單元具體用于根據所述視頻流捕獲單元捕獲的視頻幀更新全景圖，并存儲所述捕獲的視頻幀的時間戳與背景信息之間的對應關系；以及用于在所述視頻流捕獲單元停止捕獲視頻幀時，存儲所述全景圖；其中，所述背景信息包括所述捕獲的視頻幀在所述全景圖中的位置信息。結合第二方面的第五種可能的實現方式，在第二方面的第六種可能的實現方式中，所述背景信息還包括所述捕獲的視頻幀相對于所述全景圖偏轉的偏轉角度。結合第二方面的第六種可能的實現方式，在第二方面的第七種可能的實現方式中，所述視頻幀獲取單元具體用于獲取所述存儲單元存儲的所述全景圖；以及用于按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的背景信息，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖，生成所述當前所要顯示的視頻幀。結合第二方面的第七種可能的實現方式，在第二方面的第八種可能的實現方式中，所述接收單元接收的所述虛擬內容信息包括與所述虛擬現實信息對應的位置信息，所述背景信息還包括所述用戶設備所在位置的信息，則所述疊加單元具體用于根據所述背景信息包含的所述用戶設備所在位置的信息以及所述虛擬內容信息包含的位置信息，將所述虛擬現實信息獲取單元獲取的所述虛擬現實信息疊加到所述視頻幀獲取單元生成的所述當前所要顯示的視頻幀上。本發明實施例提供的一種實現增強現實體驗的方法及用戶設備，在用戶經歷增強現實體驗時，UE通過增強現實上下文存儲虛擬內容信息以及捕獲的視頻流，在所述增強現實體驗結束后，當所述用戶需要再次經歷所述增強現實體驗時，所述UE根據存儲的虛擬內容信息獲取虛擬現實信息，并將獲取的虛擬現實信息疊加到所述視頻流中的每一視頻幀上進行顯示，使得所述用戶在經歷了增強現實體驗之后，還能夠在任何時候再次經歷相同的增強現實體驗。附圖說明為了更清楚地說明本發明實施例的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本發明實施例提供的一種實現增強現實的系統架構圖；圖2為本發明實施例提供的一種實現增強現實的方法流程圖；圖3為本發明實施例提供的另一種實現增強現實的方法流程圖；圖4為本發明實施例提供的又一種實現增強現實的方法流程圖；圖5為本發明實施例提供的一種用戶設備的結構圖；圖6為本發明實施例提供的另一種用戶設備的結構圖。具體實施方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下獲得的所有其他實施例，都屬于本發明保護的范圍。如圖1所示，為本發明實施例提供的一種實現增強現實的系統架構圖。其中，在用戶確定需要經歷增強現實體驗時，UE向服務器側發送獲取虛擬內容信息的請求，所述獲取虛擬內容信息的請求包含標識被跟蹤對象的信息或所述UE所在位置的信息，所述標識被跟蹤對象的信息包括所述被跟蹤對象的姿態圖像或所述被跟蹤對象的姿態圖像的特征數據，所述服務器側根據所述獲取虛擬內容信息的請求，向所述UE發送所述虛擬內容信息，所述UE在接收到所述虛擬內容信息之后，存儲所述虛擬內容信息以及所述UE捕獲的視頻流。在所述增強現實體驗結束后，如果所述用戶確定需要再次經歷所述增強現實體驗，所述UE根據存儲的所述虛擬內容信息獲取虛擬現實信息，并按照視頻幀被捕獲的先后順序，依次獲取存儲的所述視頻流中的視頻幀，將獲取的所述虛擬現實信息疊加到獲取的所述視頻幀上，并顯示疊加后的視頻幀。其中，本發明實施例并不限定所述UE的類型，作為示例而非限定，所述UE可以包括智能手機、個人電腦、平板電腦、具有增強現實功能的眼鏡或其他具有增強現實功能的終端。其中，需要說明的是，本發明實施例并不限定所述服務器側的組成結構，作為示例而非限定，所述服務器側由至少一個服務器組成，所述服務器側中的服務器可以包括表示層服務器、應用層服務器以及數據庫服務器。基于圖1所示的系統架構圖，本發明實施例提供一種實現增強現實的方法，如圖2所示，所述方法包括：S201：UE存儲用戶經歷增強現實體驗時的增強現實上下文，所述增強現實上下文包括所述UE從服務器側接收的虛擬內容信息以及所述UE捕獲的視頻流；其中，需要說明的是，存儲的所述視頻流為一系列連續的視頻幀，所述UE將所述視頻流作為所述用戶經歷所述增強現實體驗時的現實世界信息，所述虛擬內容信息包括虛擬現實信息或虛擬現實信息的存儲位置信息；在所述UE將獲取的虛擬現實信息疊加到捕獲的視頻幀上進行顯示時，增強現實體驗開始；其中，當需要對被跟蹤對象進行增強時，即當所述UE捕獲的視頻流包含被跟蹤對象的姿態圖像時，所述UE可以將所述被跟蹤對象的姿態圖像和除去所述姿態圖像后的背景圖分開存儲；當需要對現實環境中的當前位置進行增強時，即當所述UE捕獲的視頻流沒有包含所述被跟蹤對象的姿態圖像時，可以直接將所述UE捕獲的視頻幀作為背景圖存儲；對于所述UE捕獲的視頻幀中的背景圖，所述UE可以將捕獲的視頻幀中的背景圖合并，生成全景圖(panorama)，所述UE可以根據背景圖在所述全景圖中的位置，恢復所述背景圖；具體地，所述UE可以采用以下任一方式存儲所述捕獲的視頻流：方式一，所述UE捕獲的視頻流中包含被跟蹤對象的姿態圖像：所述UE依次捕獲視頻幀，存儲捕獲的視頻幀的時間戳與被跟蹤對象信息之間的對應關系，將被跟蹤對象的姿態圖像從所述捕獲的視頻幀中去除，根據去除所述姿態圖像后的視頻幀更新全景圖，并存儲所述時間戳與背景信息之間的對應關系；所述UE在捕獲視頻幀時存儲所述被跟蹤對象的標準圖像，并在所述UE停止捕獲視頻幀時，存儲所述全景圖；其中，所述時間戳用于指示捕獲視頻幀的時刻，作為示例而非限定，所述時間戳可以是捕獲視頻幀時相對于所述增強現實體驗開始時的時刻；所述被跟蹤對象信息包括所述姿態圖像在所述捕獲的視頻幀中的位置信息，所述背景信息包括所述捕獲的視頻幀在所述全景圖中的位置信息以及；其中，所述被跟蹤對象信息還可以包括所述姿態圖像在所述捕獲的視頻幀上的單應性矩陣，所述背景信息還可以包括所述捕獲的視頻幀相對于所述全景圖偏轉的偏轉角度；其中，需要說明的是，所述被跟蹤對象是指在現實世界中所要跟蹤的對象，例如當前現實世界中的一個玩具車；所述被跟蹤對象的姿態圖像是指在捕獲的視頻幀中的所述被跟蹤對象的圖像，例如當前現實世界中有一個玩具車，在捕獲視頻幀時，捕獲的視頻幀中的玩具車的圖像即為所述玩具車的姿態圖像；所述被跟蹤對象的標準圖像是指在所述被跟蹤對象水平放置在水平面上時，當視野垂直于水平面時所捕獲的圖像；方式二，所述UE捕獲的視頻流中不包含被跟蹤對象的姿態圖像：所述UE依次捕獲視頻幀，根據捕獲的視頻幀更新全景圖，并存儲所述捕獲的視頻幀的時間戳與背景信息之間的對應關系；在所述UE停止捕獲視頻幀時，所述UE存儲所述全景圖；S202：當所述用戶需要再次經歷所述增強現實體驗時，所述UE根據存儲的所述虛擬內容信息，獲取虛擬現實信息；其中，所述UE可以采用以下方式獲取虛擬現實信息：若所述虛擬內容信息包括所述虛擬現實信息，則所述用戶設備可以直接獲取所述虛擬現實信息；或者，若所述虛擬內容信息包括所述虛擬現實信息的存儲位置信息，則所述用戶設備可以根據所述存儲位置信息，獲取所述虛擬現實信息；例如，作為示例而非限定，所述虛擬內容信息包含有所述虛擬現實信息的URI(UniformResourceIdentifier，統一資源定位符)，所述UE可以根據所述虛擬現實信息的URI，獲取所述虛擬現實信息；S203：所述UE按照視頻幀被捕獲的先后順序，依次獲取存儲的所述視頻流中的視頻幀，將獲取的所述虛擬現實信息疊加到獲取的所述視頻幀上，并顯示疊加后的視頻幀；其中，需要說明的是，所述UE可以根據視頻幀的時間戳確定視頻幀被捕獲的先后順序，在所述用戶需要再次經歷之前曾經經歷過的所述增強現實體驗時，所述UE需要獲取之前經歷所述增強現實體驗時的虛擬現實信息以及視頻流，并將獲取的所述虛擬現實信息疊加到獲取的所述視頻流中的每一幀上進行顯示；其中，所述UE可以采用以下方式依次獲取存儲的所述視頻流中的視頻幀：方式一，對應于步驟S201中存儲捕獲的視頻流的方式一：所述UE獲取存儲的所述標準圖像以及所述全景圖，并按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的被跟蹤對象信息以及背景信息，根據得到的所述被跟蹤對象信息包含的單應性矩陣，對獲取的所述標準圖像進行仿射變換，得到所述被跟蹤對象的姿態圖像，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖得到背景圖，根據得到的所述被跟蹤對象信息包含的位置信息，將得到的所述姿態圖像疊加到截取得到的背景圖上，生成當前所要顯示的視頻幀；方式二，對應于步驟S201中存儲捕獲的視頻流的方式二：所述UE獲取存儲的所述全景圖，并按照視頻幀被捕獲的先后順序，依次獲取當前所要顯示的視頻幀的時間戳，根據獲取的所述時間戳，得到與獲取的所述時間戳對應的背景信息，根據得到的所述背景信息包含的位置信息以及偏轉角度，按照顯示的分辨率截取獲取的所述全景圖，生成當前所要顯示的視頻幀。在本實施例中，在所述用戶開始經歷所述增強現實體驗時，所述UE還可以通過所述增強現實上下文存儲用戶操作信息，所述用戶操作信息用于描述所述用戶與所述UE之間的交互，所述用戶操作信息可以包括操作類型、操作參數以及時間戳，所述用戶操作信息包含的時間戳用于指示所述交互發生的時刻，作為示例而非限定，所述用戶操作信息包含的時間戳可以是所述交互發生時相對于所述增強現實體驗開始時的時刻；在所述用戶再次經歷所述增強現實體驗時，所述UE可以在所述用戶操作信息包含的時間戳所對應的時刻，根據根據所述操作類型以及所述操作參數，模擬用戶的操作。其中，需要說明的...