一種立體虛擬現實直播方法、裝置及設備與流程

本發明涉及顯示技術領域，特別涉及一種立體虛擬現實直播方法、裝置及設備。

背景技術：

隨著VR(Virtual Reality，虛擬與現實)技術的興起以及網絡直播平臺的盛行，使得基于VR的直播系統站在了時代的風口上，具備無限的市場潛力，而基于虛擬場景與現實直播場景中的直播主體(即主播)相結合的直播系統更是讓人們充滿了想象空間。其中，虛擬場景利用計算機通過OpenGL(Open Graphics Library，開放圖形庫)等圖形引擎構建，而現實直播場景是主播所在的真實直播環境。這種相結合的直播系統，將直播場景中的主播融合到虛擬場景中，帶給VR用戶，即利用VR設備觀看直播的觀眾類似于真實參與的用戶體驗。

目前，基于虛擬場景與現實的直播主體相結合的顯示系統最大的問題在于，如何融合虛擬場景與現實直播場景，使得用戶能享受到一種舒適、自然、更接近于真實的用戶體驗。因此，如何提升用戶的觀看體驗，是一個亟待解決的問題。

技術實現要素：

本發明要解決的技術問題是提供一種立體虛擬現實直播方法、裝置及設備，能夠實現立體的VR直播，而且能夠解決在融合虛擬場景與現實直播場景時，由于虛擬場景與現實直播場景圖像比例不一致，降低用戶觀看體驗的問題，給用戶提供更加身臨其境的沉浸感。

為解決上述技術問題，本發明的實施例提供一種立體虛擬現實直播方法，包括：

獲取左右雙目攝像機拍攝的直播場景的左右圖像；

分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖；

根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整；

將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

進一步來說，所述根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整的步驟包括：

根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例；

根據所述左右視圖的縮放比例，對所述左右視圖的尺寸進行調整。

進一步來說，在所述獲取所述左右視圖的縮放比例前，所述方法還包括：

確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系；

所述根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例的步驟包括：

根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離、所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系的步驟包括：

利用預定標記物的直播場景圖像和虛擬預訂標記物的虛擬場景圖像，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的。

進一步來說，所述利用預定標記物的直播場景圖像和虛擬預訂標記物的虛擬場景圖像，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系包括：

獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；

獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；

根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

進一步來說，所述根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系的步驟包括：

利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

進一步來說，在所述獲取所述左右視圖的縮放比例前，所述方法還包括：

確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系；

所述根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例的步驟包括：

根據直播場景中主播所在位置對應的直播場景拍攝距離、所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離、所述左右雙目攝像機的拍攝焦距、所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系的步驟包括：

獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；以及

獲取所述左右雙目攝像機為標準焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取標準焦距下的標記物視圖，并獲取標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸；獲取在左右雙目攝像機的至少一種拍攝焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取至少一種拍攝焦距下的標記物視圖，并獲取至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，其中，所述拍攝焦距與標準焦距不同；根據所述標準焦距，所述標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸、所述至少一種拍攝焦距、所述至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，確定拍攝焦距與標準焦距的圖像縮放比例關系；

根據所述第一函數關系、所述拍攝焦距與所述標準焦距的圖像縮放比例關系，確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系。

進一步來說，所述根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系的步驟包括：

利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；

所述根據所述標準焦距，所述標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸、所述至少一種拍攝焦距、所述至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，確定拍攝焦距與標準焦距的圖像縮放比例關系的步驟包括：

利用最小二乘法確定拍攝焦距與標準焦距的圖像縮放比例關系。

進一步來說，所述分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖之后，所述方法還包括：

對所述左右視圖中所述主播的邊界進行邊界優化處理；和/或

根據所述虛擬場景的色溫和/或色調，對所述左右視圖的色溫和/或色調進行調整。

為解決上述技術問題，本發明的實施例還提供一種立體虛擬現實直播裝置，包括：

獲取模塊，用于獲取左右雙目攝像機拍攝的直播場景的左右圖像；

摳圖模塊，用于分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖；

尺寸調整模塊，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整；

融合模塊，用于將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

進一步來說，所述尺寸調整模塊包括：

第一獲取子模塊，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例；

調整子模塊，用于根據所述左右視圖的縮放比例，對所述左右視圖的尺寸進行調整。

進一步來說，所述裝置還包括：

第一確定模塊，用于確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，具體用于：利用預定標記物的直播場景圖像和虛擬預訂標記物的虛擬場景圖像，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的。

進一步來說，所述第一獲取子模塊包括：

第一獲取單元，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離、所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述第一確定模塊包括：

第二獲取子模塊，用于獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；

第三獲取子模塊，用于獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；

第一確定子模塊，用于根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

進一步來說，所述第一確定子模塊包括：

第一確定單元，用于利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

進一步來說，所述裝置還包括：

第二確定模塊，用于確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系；

所述第一獲取子模塊包括：

第二獲取單元，用于根據直播場景中主播所在位置對應的直播場景拍攝距離、所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離、所述左右雙目攝像機的拍攝焦距、所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述第二確定模塊包括：

第二確定子模塊，用于獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；以及

第三確定子模塊，用于獲取所述左右雙目攝像機為標準焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取標準焦距下的標記物視圖，并獲取標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸；獲取在左右雙目攝像機的至少一種拍攝焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取至少一種拍攝焦距下的標記物視圖，并獲取至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，其中，所述拍攝焦距與標準焦距不同；根據所述標準焦距，所述標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸、所述至少一種拍攝焦距、所述至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，確定拍攝焦距與標準焦距的圖像縮放比例關系；

第四確定子模塊，用于根據所述第一函數關系、所述拍攝焦距與所述標準焦距的圖像縮放比例關系，確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系。

進一步來說，所述第二確定子模塊包括：

第二確定單元，用于利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；

所述第三確定子模塊包括：

第三確定單元，用于利用最小二乘法確定拍攝焦距與標準焦距的圖像縮放比例關系。

進一步來說，所述裝置還包括：

邊界優化模塊，用于對所述左右視圖中所述主播的邊界進行邊界優化處理；和/或

圖片調整模塊，用于根據所述虛擬場景的色溫和/或色調，對所述左右視圖的色溫和/或色調進行調整。

為解決上述技術問題，本發明的實施例還提供一種立體虛擬現實直播設備，包括：顯示屏，殼體、處理器、存儲器、電路板和電源電路，其中：

所述顯示屏嵌接在所述殼體上，與所述殼體一起圍成封閉空間；

所述電路板安置在所述殼體和所述顯示屏圍成的空間內部，所述處理器和所述存儲器設置在所述電路板上；

所述電源電路，用于為上述立體虛擬現實直播設備的各個電路或器件供電；

所述存儲器用于存儲可執行程序代碼；

所述處理器通過讀取存儲器中存儲的可執行程序代碼來運行與可執行程序代碼對應的程序，執行：

獲取左右雙目攝像機拍攝的直播場景的左右圖像；

分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖；

根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整；

將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而通過所述顯示屏根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

本發明的上述技術方案的有益效果如下：

本發明實施例的立體虛擬現實直播方法、裝置及設備，獲取左右雙目攝像機拍攝的直播場景的左右圖像后，分別對直播場景的左右圖像進行摳圖處理，獲取直播場景中主播的左右視圖；然后根據直播場景中主播所在位置對應的直播場景拍攝距離和左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離，對左右視圖的尺寸進行調整，調整后的左右視圖與虛擬場景的尺寸比例一致；最后將調整后的左右視圖放置在虛擬場景中的預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的虛擬場景，從而獲取合成有主播和虛擬場景的立體融合視圖，該立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現了立體虛擬現實直播。該方法通過拍攝直播的立體圖像與虛擬場景融合，實現了立體虛擬現實直播；且通過對直播的立體圖像的尺寸進行調整，使直播的立體圖像與虛擬場景的尺寸比例相匹配，優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗，有效避免了在融合虛擬場景與現實直播場景時，由于虛擬場景與現實直播場景圖像比例不一致，降低用戶觀看體驗的問題。

附圖說明

圖1為本發明立體虛擬現實直播方法的流程圖；

圖2為本發明直播流程示意圖；

圖3為本發明另一直播流程示意圖；

圖4為本發明預定標記物設置示意圖；

圖5為本發明立體虛擬現實直播裝置的結構示意圖；

圖6為本發明立體虛擬現實直播設備的結構示意圖；

圖7為本發明立體虛擬現實直播方法中直播場景雙目攝像機拍攝示意圖；

圖8為本發明立體虛擬現實直播方法中虛擬場景虛擬攝像機拍攝示意圖。

具體實施方式

為使本發明要解決的技術問題、技術方案和優點更加清楚，下面將結合附圖及具體實施例進行詳細描述。

為了使本領域技術人員更好的理解本發明，首先對本發明實施例中所言的虛擬場景與現實直播場景相結合的直播流程進行簡要介紹。

虛擬場景利用計算機通過OpenGL(Open Graphics Library，開放圖形庫)等圖形引擎構建，計算機可以通過渲染獲取虛擬場景的圖像，而現實直播場景(簡稱直播場景)是主播所在的真實直播環境，可通過真實攝像機拍攝而獲取直播場景的圖像。簡單來說，現實直播場景是可以使用真實攝像機拍攝的場景。虛擬場景是計算機按照設計渲染的場景。本發明實施例中，如圖2、3所示，現實直播場景圖像與虛擬場景圖像可首先經過圖像算法融合，然后經過網絡、藍牙等設備傳輸至直播設備進行顯示。現實直播場景與虛擬場景也可以先經過網絡、藍牙等設備傳輸至直播設備，然后進行圖像算法融合后顯示。

本發明實施例的立體虛擬現實直播方法、裝置及設備，在前述虛擬場景與現實直播場景相結合的直播基礎上，實現了立體化的虛擬現實直播，通過立體化顯示帶給用戶更加真實的沉浸感。而且，在直播場景與虛擬場景融合時，通過對主播的左右視圖的尺寸進行調整，使主播的左右視圖尺寸與虛擬場景的尺寸比例相匹配，優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗，有效避免了在融合虛擬場景與現實直播場景時，由于虛擬場景與現實直播場景圖像比例不一致，降低用戶觀看體驗的問題。

第一實施例

結合圖1所示，本發明實施例的立體虛擬現實直播方法，包括：

步驟101，獲取左右雙目攝像機拍攝的直播場景的左右圖像。

這里，通過左右雙目攝像機拍攝現實直播場景，得到了具有視差的立體圖像，即直播場景的左右圖像。

該直播場景的左右圖像中均包括直播主體(即主播)和直播主體所在的背景環境。主播可以是人，當然也可以是某種物體。為方便描述，以下以主播為人為例進行描述，可以理解的是，主播不限于人。

由于后續要將主播人像和虛擬場景進行融合，需要將主播人像從左右圖像中摳離出來，因此，在直播場景中，可將主播的背景環境設置為綠幕或藍幕，以方便在后續處理中將實際拍攝的背景環境去除，即將主播人像摳離出來，并將主播人像信息與虛擬場景模型進行合成。

步驟102，分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖。

這里，為了將直播場景中的主播(如人)放到虛擬場景中，需要對直播場景的左右圖像進行摳圖，獲取直播場景中主播的左右視圖。

具體的，假設主播的背景環境設置為綠幕或藍幕，則，本步驟中，首先，使用摳像算法分別去掉直播場景圖像信息中主播背后的藍色或綠色背景。所述摳像算法可以是色度鍵摳像法，該算法通過找到那些飽和度比較高的藍色或綠色背景顏色區域，并將這些背景顏色區域的透明值設為最小值，而人像顏色區域則保持原始顏色，從而在直播場景圖像信息中明顯地區分出人像區域和背景區域，完成摳圖。在經過摳圖處理后，可以得到主播人像的左右兩個視圖。

步驟103，根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整。

由于左右雙目攝像機擁有特定的相機參數等原因，影響著采集到的圖像大小和長寬比例，而虛擬場景中的虛擬攝像機需要拍攝(即渲染)的虛擬場景有已經設定好的大小和長寬比例，這兩者往往不一致。在多樣多樣的虛擬場景中，直播主體(如經過摳像算法后的人像)在不同位置以多大尺寸和長寬比例顯示能使人物與背景更接近于真實，對提升用戶觀看體驗起到至關重要的作用。因此，需要在主播和虛擬場景融合之前，對主播的左右視圖尺寸進行調整。

這里，因拍攝場地或攝像機分辨率等因素限制，現實直播場景拍攝距離與虛擬場景拍攝距離一般是不一樣的。例如直播場景拍攝距離一般為3m，虛擬場景拍攝距離一般為8m。直播場景拍攝距離和虛擬場景拍攝距離的變化都會對左右視圖的尺寸調整產生影響。

參見圖7，L和R為直播場景的左右雙目攝像機，A0為主播所在平面，即主播所在的位置對應的平面，則直播場景拍攝距離為Z0。參見圖8，L’和R’為左右虛擬攝像機，A1為主播左右視圖放置在虛擬場景中后主播左右視圖所在的平面，即主播視圖的預定放置位置所在的平面，則虛擬場景拍攝距離為Z1。

本步驟中，根據直播場景中主播所在的位置對應的直播場景拍攝距離和左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對左右視圖的尺寸進行調整，使得調整后的左右視圖與虛擬場景的尺寸比例相匹配。

具體的，可以預先根據根據直播場景中主播所在的位置對應的直播場景拍攝距離和左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離確定左右視圖的尺寸縮放比例，本步驟中，可以直接獲取該尺寸縮放比例并根據該比例對左右視圖進行縮放處理。當然，本步驟中，也可以實時根據直播場景拍攝距離和虛擬場景拍攝距離中的至少一個距離，計算出左右視圖的尺寸縮放比例，根據所計算出的尺寸縮放比例對左右視圖進行縮放處理。

該縮放比例可以是直播場景拍攝距離為變量的函數，也可以是虛擬場景拍攝距離為變量的函數，例如，針對這兩種距離中的一種距離固定的情況，則可以以另一種非固定距離為變量，確定出當前的尺寸縮放比例。當然，該縮放比例還可以是直播場景拍攝距離和虛擬場景拍攝距離兩個變量的函數。

步驟104，將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

這里，利用左右虛擬攝像機拍攝(即渲染)放置有左右視圖的虛擬場景，得到了合成有主播和虛擬場景的立體融合視圖，立體融合視圖包括左眼融合視圖和右眼融合視圖，從而根據立體融合視圖進行立體化的虛擬現實顯示，實現了立體虛擬現實直播。且由于尺寸調整后的左右視圖與虛擬場景的尺寸比例一致，因此提升了用戶觀看體驗。

在已知左眼視圖和右眼視圖的情況下進行VR顯示可采用現有技術中常見的顯示技術，這里不再進行詳細說明。簡單來講，可將左眼融合視圖作為VR顯示的左圖，將右眼融合視圖作為VR顯示的右圖，從而將左眼融合視圖提供給VR設備佩戴者的左眼，將右眼融合視圖提供給VR設備佩戴者的右眼，從而帶給用戶立體化的虛擬現實觀感。

此外，為了適配VR設備的“頭瞄”功能，即可以根據VR設備佩戴者的頭部姿態改變所顯示的內容，使所顯示的內容與VR設備佩戴者的視角相對應，可利用左右虛擬攝像機按照不同拍攝角度拍攝放置有主播人像的預設虛擬場景，得到多張立體融合視圖，然后對這些立體視圖進行全景拼接，獲取左右全景融合視圖，進而利用這些全景融合視圖進行顯示，將與設備佩戴者視角相對應的左視圖部分提供給設備佩戴者的左眼，將與設備佩戴者視角相對應的右視圖部分提供給設備佩戴者的右眼，而當設備佩戴者視角改變時，相應的改變所顯示的視圖部分，使顯示與設備佩戴者的視角相對應。

例如，虛擬場景可以是360度全景舞臺圖像信息，主播可以被融合在舞臺上的中心位置。通過左右雙目攝像機拍攝正在直播的主播，可將主播的立體視圖融合在虛擬場景中的舞臺的位置，使用戶在VR端可以看到主播在虛擬場景中做直播的立體場景。

本發明實施例的立體虛擬現實直播方法，通過拍攝直播的立體圖像與虛擬場景融合，實現了立體虛擬現實直播；且通過對直播的立體圖像的尺寸進行調整，使直播的立體圖像與虛擬場景的尺寸比例一致，優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗，避免了在融合虛擬場景與現實直播場景時，由于虛擬場景與現實直播場景圖像比例不一致，降低用戶觀看體驗的問題。

優選的，上述步驟103的步驟包括：

步驟1031，根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例。

這里，首先根據直播場景拍攝距離和虛擬場景拍攝距離中的至少一個距離，獲取左右視圖的縮放比例，以根據縮放比例對左右視圖的尺寸進行調整。

步驟1032，根據所述左右視圖的縮放比例，對所述左右視圖的尺寸進行調整。

這里，按照縮放比例分別對左右視圖進行調整后，以使左右視圖與虛擬場景的尺寸比例相匹配。

此時，通過獲取左右視圖的縮放比例，可準確對左右視圖的尺寸進行調整，使調整后左右視圖與虛擬場景的尺寸比例相匹配。

由于在實際拍攝過程中直播場景拍攝距離是變化的，如主播可以向前或向后移動，而虛擬場景拍攝距離也有可能是變化的。為了在直播場景拍攝距離和/或虛擬場景拍攝距離發生變化時，快速確定縮放比例，優選的，在所述獲取所述左右視圖的縮放比例前，所述方法還可以包括：

步驟105，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系。

這里，首先確定縮放比例與直播場景拍攝距離和虛擬場景拍攝距離中的至少一個距離的函數關系，以便后續確定不同直播場景拍攝距離和/或不同虛擬場景拍攝距離下分別對應的縮放比例。

則，上述步驟1031的步驟包括：

步驟10311，根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離、所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，獲取所述左右視圖的縮放比例。

此時，在直播場景拍攝距離和/或虛擬場景拍攝距離發生變化時，利用縮放比例與直播場景拍攝距離和虛擬場景拍攝距離的函數關系，能快速、準確地確定縮放比例，從而對左右視圖的尺寸進行調整，提高了處理效率和智能化。

下文中，為了便于理解和描述，將直播場景拍攝距離標記為d2，將虛擬場景拍攝距離標記為d1，將拍攝焦距標記為a，將標準焦距標記為a0。

其中，上述步驟105的步驟包括：

利用預定標記物的直播場景圖像和虛擬預訂標記物的虛擬場景圖像，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的。

具體可包括：

步驟1051，獲取至少一種直播場景拍攝距離d2下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸。

這里，可預先在直播場景中放置一已知大小的預定標記物，如長寬高均為1m的立方體。然后獲取至少一種直播場景拍攝距離d2下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，并對直播場景圖像進行摳圖，獲取預定標記物視圖，并獲取預定標記物視圖中預定標記物的像素尺寸。

其中，由于左右雙目攝像機拍攝得到的圖像尺寸相同，因此可只通過左目攝像機或者右目攝像機拍攝直播場景圖像。

步驟1052，獲取至少一種虛擬場景拍攝距離d1下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸。

這里，可預先在虛擬場景中渲染與直播場景中預定標記物實際尺寸相同的虛擬預定標記物，例如，渲染1長寬高均為1m的立方體。然后獲取至少一種虛擬場景拍攝距離d1下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，并對虛擬場景圖像進行摳圖，獲取虛擬預定標記物視圖，并獲取虛擬預定標記物視圖中虛擬預定標記物的像素尺寸。

其中，由于左右虛擬攝像機拍攝得到的圖像尺寸相同，因此可只通過左虛擬攝像機或者右虛擬攝像機拍攝虛擬場景圖像。

步驟1053，根據所述至少一種直播場景拍攝距離d2、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離d1、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系。

這里，利用預定標記物和虛擬預定標記物的像素尺寸數據，可獲取縮放比例與d1和d2的函數關系。

其中，在d1和d2固定的情況下，即在一種d1和d2下，虛擬預定標記物的像素尺寸與預定標記物的像素尺寸的比值作為這種d1和d2下的縮放比例。

例如假定直播拍攝場景距離d2和虛擬場景拍攝距離d1均為3m，如圖4所示，可在距離左右雙目攝像機3m的位置放置長寬高均為1m的立方體，在距離左右虛擬攝像機3m的位置渲染同樣大小的虛擬立方體。以左目攝像機為例，假定經左目攝像機拍攝包含立方體的直播場景，得到像素尺寸為1920*1080的左直播場景圖像，然后將左直播場景圖像中立方體摳出，得到立方體的像素尺寸為800*600的立方體視圖。以左虛擬攝像機為例，假定經左虛擬攝像機拍攝包含虛擬立方體的虛擬場景，得到像素尺寸為1920*1080的左虛擬場景圖像，然后將左虛擬場景圖像中的虛擬立方體摳出，得到像素尺寸為50*30的虛擬立方體視圖。則在d1和d2均為3m的時候，得到的縮放比例為長度縮放比例50/800，寬度縮放比例30/600。

如實際直播中，若d1和d2固定，則可直接利用上述方法確定出縮放比例。

但是，實際直播中，d1和d2中的至少一種可以是變化的，這種情況下，可以在不同d1和d2下，多次獲取的預定標記物和虛擬預定標記物的像素尺寸數據，并利用這些像素尺寸數據可以得到在不同d1和d2下分別對應的縮放比例，進而獲取縮放比例與d1和d2的函數關系。

這種情況下，上述步驟1053可利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離d2和所述虛擬場景拍攝距離d1的函數關系。

其中，左右視圖的縮放比例一般包括長度方向和寬度方向的縮放比例，利用最小二乘法確定的縮放比例與直播場景拍攝距離d2和虛擬場景拍攝距離d1的函數關系式如下公式(1)所示：

其中，sH0為左右視圖的長度縮放比例，sW0為左右視圖的寬度縮放比例。

此時，可根據d1和d2以及公式(1)所示的函數關系，準確、快速地確定左右視圖的縮放比例，進而對左右視圖的尺寸進行調整。

事實上，當左右雙目攝像機的焦距發生變化時，即當左右雙目攝像機有需要切換遠近鏡頭時，焦距的變化對左右視圖的縮放比例也是有影響的。因此，本發明在參考直播拍攝場景距離d2和虛擬場景拍攝距離d1的基礎上，也可以參考左右雙目攝像機的拍攝焦距a對左右視圖的尺寸進行調整。下面進行詳細介紹。

優選的，在所述獲取所述左右視圖的縮放比例前，所述方法還包括：

步驟106，確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系。

這里，通過確定縮放比例與直播場景拍攝距離d2、左右雙目攝像機的拍攝焦距a和虛擬場景拍攝距離d1的函數關系，能夠準確、快速地確定不同直播直播場景拍攝距離d2、不同左右雙目攝像機的拍攝焦距a和不同虛擬場景拍攝距離d1下分別對應的縮放比例。

上述步驟1031的步驟包括：

步驟10312，根據直播場景中主播所在位置對應的直播場景拍攝距離d2、所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離d1、所述左右雙目攝像機的拍攝焦距a、所述縮放比例與所述直播場景拍攝距離d2、所述左右雙目攝像機的拍攝焦距a和所述虛擬場景拍攝距離d1的函數關系，獲取所述左右視圖的縮放比例。

此時，在直播場景拍攝距離d2、左右雙目攝像機的拍攝焦距a和虛擬場景拍攝距離d1變化時，利用縮放比例與直播場景拍攝距離d2、左右雙目攝像機的拍攝焦距a和虛擬場景拍攝距離d1的函數關系，能快速、準確地確定縮放比例，從而對左右視圖的尺寸進行調整，提高了處理效率和智能化。

其中，上述步驟106的步驟包括：

步驟1061，獲取至少一種直播場景拍攝距離d2下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；

步驟1062，獲取至少一種虛擬場景拍攝距離d1下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；

步驟1063，根據所述至少一種直播場景拍攝距離d2、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離d1、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系。

這里，步驟1061-1063可參照與上述步驟1051-1053的介紹，在此不再贅述。

以及步驟1064，獲取所述左右雙目攝像機為標準焦距a0下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取標準焦距a0下的標記物視圖，并獲取標準焦距a0下的標記物視圖中所述第二預定標記物的像素尺寸。

這里，可預先在直播場景中放置一已知大小的第二預定標記物，如長寬高均為1m的立方體。然后獲取標準焦距a0下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，其中，直播場景拍攝距離d2采用一合理的固定值即可，在此不作限定。然后對得到的直播場景圖像進行摳圖，獲取標記物視圖，并獲取標準焦距a0下的標記物視圖中第二預定標記物的像素尺寸。

其中，由于左右雙目攝像機拍攝得到的圖像尺寸相同，因此可只通過左目攝像機或者右目攝像機拍攝直播場景圖像。

其中，標準焦距a0的值可以是相機固有參數，也可根據需求進行設定，在此不作限定。

步驟1065，獲取在左右雙目攝像機的至少一種拍攝焦距a下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取至少一種拍攝焦距a下的標記物視圖，并獲取至少一種拍攝焦距a下的標記物視圖中所述第二預定標記物的像素尺寸，其中，所述拍攝焦距a與標準焦距a0不同。

這里，可對左右雙目攝像機進行變焦，獲取左右雙目攝像機在至少一種與標準焦距a0不同的拍攝焦距a下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，其中，直播場景拍攝距離d2采用與標準焦距a0下相同的固定值。然后對得到的直播場景圖像進行摳圖，獲取標記物視圖，并獲取至少一種拍攝焦距a下的標記物視圖中第二預定標記物的像素尺寸。

步驟1066，根據所述標準焦距a0，所述標準焦距a0下的標記物視圖中所述第二預定標記物的像素尺寸、所述至少一種拍攝焦距a、所述至少一種拍攝焦距a下的標記物視圖中所述第二預定標記物的像素尺寸，確定拍攝焦距a與標準焦距a0的圖像縮放比例關系。

這里，利用標準焦距a0的第二預定標記物和拍攝焦距a的第二預定標記物的像素尺寸數據，可獲取拍攝焦距a與標準焦距a0的圖像縮放比例關系，以對左右雙目攝像機的變焦行為進行校正。

其中，在一種拍攝焦距a1下，假定拍攝焦距a1的第二預定標記物的像素尺寸為(w1,h1)，假定標準焦距a0的第二預定標記物的像素尺寸為(w0,h0)，則圖像縮放比例為w1/w0，h1/h0。

此時，利用獲取的標準焦距a0的第二預定標記物的像素尺寸數據和多次獲取的不同拍攝焦距a的第二預定標記物的像素尺寸數據，可以得到在不同拍攝焦距a下分別對應的圖像縮放比例，進而獲取拍攝焦距a與標準焦距a0的圖像縮放比例關系。

步驟1061-1063和步驟1064-1066的執行順序不限，可以先后，也可以同時進行。

步驟1067，根據所述第一函數關系、所述拍攝焦距a與所述標準焦距a0的圖像縮放比例關系，確定所述縮放比例與所述直播場景拍攝距離d2、所述左右雙目攝像機的拍攝焦距a和所述虛擬場景拍攝距離d1的函數關系。

此時，根據第一函數關系、拍攝焦距a與標準焦距a0的圖像縮放比例關系，得到了縮放比例與直播場景拍攝距離d2、左右雙目攝像機的拍攝焦距a和虛擬場景拍攝距離d1的函數關系，進而能夠獲取不同直播場景拍攝距離d2、不同左右雙目攝像機的拍攝焦距a和不同虛擬場景拍攝距離d1分別對應的縮放比例，以對左右視圖進行調整。

進一步的，上述步驟1063可利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離d2和所述虛擬場景拍攝距離d1的第一函數關系。上述步驟1066也可利用最小二乘法確定拍攝焦距a與標準焦距a0的圖像縮放比例關系。

這里，參照上述步驟1053的介紹，左右視圖的縮放比例一般包括長度方向和寬度方向的縮放比例，利用最小二乘法確定的縮放比例與直播場景拍攝距離d2和虛擬場景拍攝距離d1的第一函數關系式如上述公式(1)所示：

利用最小二乘法確定拍攝焦距a與標準焦距a0的圖像縮放比例關系如下公式(2)所示：

這里，sH1為左圖像縮放比例關系，sW0為右圖像縮放比例關系。

根據第一函數關系、拍攝焦距a與標準焦距a0的圖像縮放比例關系，確定的縮放比例與直播場景拍攝距離、左右雙目攝像機的拍攝焦距和虛擬場景拍攝距離的函數關系如下公式(3)所示：

其中，sH為左右視圖的長度縮放比例，sW為左右視圖的寬度縮放比例。

此時，可根據d1、d2、a以及公式(3)所示的函數關系，準確、快速地確定左右視圖的縮放比例，進而對左右視圖的尺寸進行調整。

進一步的，本發明實施例還可根據左右雙目攝像機的參數及拍攝距離通過程序理論計算左右視圖的縮放比例。這種方式也可以適應于拍攝過程中左右雙目攝像機的走位和遠近鏡頭切換，可動態調整縮放比例使現實直播場景與虛擬場景的尺寸協調。

以上，通過對主播的左右視圖的尺寸進行調整，使現實直播場景與虛擬場景的尺寸協調一致，優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗。

其中，利用左右雙目攝像機對直播場景拍攝后，需要對直播場景的左右圖像進行摳圖處理，以將摳圖得到的主播的左右視圖與虛擬場景融合。此時，摳圖的質量直接影響融合效果，如摳圖邊界不干凈會讓用戶看到毛邊，造成現實場景與虛擬場景不協調，使用戶觀看體驗下降。因此摳圖結果要盡量保持邊界的完整流暢，保持細節的完整性，如頭等，要盡量將背景扣干凈。

為了提高摳圖質量可進行如下改進：改善光源環境；選用較好的攝像機；選取與主播相差較大的背景色；選用更適合的摳圖算法等。

進一步的，為了保持摳圖邊界的完整流暢，上述步驟102之后，所述方法還包括：

步驟1010，對所述左右視圖中所述主播的邊界進行邊界優化處理。

其中，如果主播邊緣摳不干凈，可以通過圖像腐蝕算法優化邊界。如果邊緣鋸齒感較強，可以通過圖像邊界檢測并進行邊界平滑處理。另外，還可以通過邊界檢測算法和一個簡單的羽化算法使得邊界過度更加自然。

此時，若左右視圖與虛擬場景的交接處不做任何處理的話會感覺過度太陡，不協調。通過對左右視圖中主播的邊界進行邊界優化，可以明顯的提升邊界處的觀看體驗。

另外，由于左右雙目攝像機自身硬件特性，采集到的左右視圖可能與虛擬場景的圖像在色溫、色調上不一致。為了保持左右視圖與虛擬場景的一致性，優選的，上述步驟102之后，所述方法還可以包括：

步驟1011，根據所述虛擬場景的色溫和/或色調，對所述左右視圖的色溫和/或色調進行調整。

此時，通過對左右視圖的色溫和/或色調進行調整，保證了左右視圖與虛擬場景圖像的一致性，提升了圖像融合效果。

另外，考慮以下幾方面原因還可對左右雙目攝像機拍攝得到的主播的左右視圖進行視差調整。

一方面，因拍攝場地或攝像機分辨率等因素限制，在現實直播場景中采用的拍攝距離與虛擬場景中采用的拍攝距離是不一樣的，這樣造成現實直播場景中左右雙目攝像機拍攝的左右圖像視差與虛擬場景中左右虛擬攝像機拍攝的左右圖像視差不一致。例如現實直播場景一般采用3m遠的距離拍攝，而虛擬場景中一般采用8m遠的距離拍攝。

另一方面，為了符合人眼觀看需求，虛擬場景中左右虛擬攝像機之間的間距一般為人眼的平均間距。但由于左右雙目攝像機之間具有特定的距離，考慮到攝像機的體積等原因，左右雙目攝像機的間距并不是按照人眼的間距設定的，一般情形下左右雙目攝像機之間的間距與人眼的平均間距相差較大。例如間距只有3cm的左右雙目攝像機拍攝距離3m遠的物體的左右圖像，與實際人眼(平均間距6.5cm)觀看3m遠的物體所映入左右眼視網膜的左右圖像的視差是不一致的。

另外，現實直播中使用的左右雙目攝像機可能存在一定夾角誤差，該夾角誤差也會影響到人眼觀看視差。

因此，還可對左右視圖進行視差調整，使左右視圖視差與虛擬場景的視差要求一致，且與人眼觀看的視差要求一致。

綜上，本發明實施例的立體虛擬現實直播方法，通過拍攝直播的立體圖像與虛擬場景融合，實現了立體虛擬現實直播；且通過對直播的立體圖像的尺寸進行調整，使直播的立體圖像與虛擬場景的尺寸比例一致；另外，通過邊界優化、色溫和/或色調調整等，保證了左右視圖與虛擬場景圖像的一致性；優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗。有效避免了在融合虛擬場景與現實直播場景時，不能合理調整視差，降低用戶觀看體驗的問題。

第二實施例

如圖5所示，本發明的實施例還提供一種立體虛擬現實直播裝置，包括：

獲取模塊501，用于獲取左右雙目攝像機拍攝的直播場景的左右圖像；

摳圖模塊502，用于分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖；

尺寸調整模塊503，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整；

融合模塊504，用于將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

本發明實施例的立體虛擬現實直播裝置，通過拍攝直播的立體圖像與虛擬場景融合，實現了立體虛擬現實直播；且通過對直播的立體圖像的尺寸進行調整，使直播的立體圖像與虛擬場景的尺寸比例一致，優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗。有效避免了在融合虛擬場景與現實直播場景時，由于虛擬場景與現實直播場景圖像比例不一致，降低用戶觀看體驗的問題。

優選的，所述尺寸調整模塊503包括：

第一獲取子模塊，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，獲取所述左右視圖的縮放比例；

調整子模塊，用于根據所述左右視圖的縮放比例，對所述左右視圖的尺寸進行調整。

優選的，所述裝置還包括：

第一確定模塊，用于確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，具體用于：利用預定標記物的直播場景圖像和虛擬預訂標記物的虛擬場景圖像，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的；

所述第一獲取子模塊包括：

第一獲取單元，用于根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離、所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離中的至少一個距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述第一確定模塊包括：

第二獲取子模塊，用于獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；

第三獲取子模塊，用于獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；

第一確定子模塊，用于根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

優選的，所述第一確定子模塊包括：

第一確定單元，用于利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的函數關系。

優選的，所述裝置還包括：

第二確定模塊，用于確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系；

所述第一獲取子模塊包括：

第二獲取單元，用于根據直播場景中主播所在位置對應的直播場景拍攝距離、所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離、所述左右雙目攝像機的拍攝焦距、所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系，獲取所述左右視圖的縮放比例；

其中，所述第二確定模塊包括：

第二確定子模塊，用于獲取至少一種直播場景拍攝距離下，左右雙目攝像機拍攝的包含有預定標記物的直播場景圖像，對所述包含有預定標記物的直播場景圖像進行摳圖處理，獲取所述預定標記物視圖，并獲取所述預定標記物視圖中所述預定標記物的像素尺寸；獲取至少一種虛擬場景拍攝距離下，左右虛擬攝像機拍攝的包含有虛擬預定標記物的虛擬場景圖像，其中，所述虛擬預定標記物是按照所述預定標記物的真實尺寸渲染得到的，并獲取所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸；根據所述至少一種直播場景拍攝距離、所述預定標記物視圖中所述預定標記物的像素尺寸、所述至少一種虛擬場景拍攝距離、所述虛擬場景圖像中所述虛擬預定標記物的像素尺寸，確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；以及

第三確定子模塊，用于獲取所述左右雙目攝像機為標準焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取標準焦距下的標記物視圖，并獲取標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸；獲取在左右雙目攝像機的至少一種拍攝焦距下，左右雙目攝像機拍攝的包含有第二預定標記物的直播場景圖像，對所述包含有第二預定標記物的直播場景圖像進行摳圖處理，獲取至少一種拍攝焦距下的標記物視圖，并獲取至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，其中，所述拍攝焦距與標準焦距不同；根據所述標準焦距，所述標準焦距下的標記物視圖中所述第二預定標記物的像素尺寸、所述至少一種拍攝焦距、所述至少一種拍攝焦距下的標記物視圖中所述第二預定標記物的像素尺寸，確定拍攝焦距與標準焦距的圖像縮放比例關系；

第四確定子模塊，用于根據所述第一函數關系、所述拍攝焦距與所述標準焦距的圖像縮放比例關系，確定所述縮放比例與所述直播場景拍攝距離、所述左右雙目攝像機的拍攝焦距和所述虛擬場景拍攝距離的函數關系。

優選的，所述第二確定子模塊包括：

第二確定單元，用于利用最小二乘法確定所述縮放比例與所述直播場景拍攝距離和所述虛擬場景拍攝距離的第一函數關系；

所述第三確定子模塊包括：

第三確定單元，用于利用最小二乘法確定拍攝焦距與標準焦距的圖像縮放比例關系。

優選的，所述裝置還包括：

邊界優化模塊，用于對所述左右視圖中所述主播的邊界進行邊界優化處理；和/或

圖片調整模塊，用于根據所述虛擬場景的色溫和/或色調，對所述左右視圖的色溫和/或色調進行調整。

本發明實施例的立體虛擬現實直播裝置，通過拍攝直播的立體圖像與虛擬場景融合，實現了立體虛擬現實直播；且通過對直播的立體圖像的尺寸進行調整，使直播的立體圖像與虛擬場景的尺寸比例一致；另外，通過邊界優化、色溫和/或色調調整等，保證了左右視圖與虛擬場景圖像的一致性；優化了現實直播場景與虛擬場景融合的效果，提升了用戶觀看體驗，有效避免了在融合虛擬場景與現實直播場景時，不能合理調整視差，降低用戶觀看體驗的問題。

需要說明的是，該立體虛擬現實直播裝置是與上述立體虛擬現實直播方法相對應的裝置，其中上述方法實施例中所有實現方式均適用于該裝置的實施例中，也能達到同樣的技術效果。

第三實施例

本發明實施例提供一種立體虛擬現實直播設備，所述立體虛擬現實直播設備可包含前述任一實施例所述的立體虛擬現實直播裝置。

圖6為本發明立體虛擬現實直播設備一個實施例的結構示意圖，可以實現本發明圖1所示實施例的流程。如圖6所示，上述立體虛擬現實直播設備，包括：顯示屏(未示出)，殼體61、處理器62、存儲器63、電路板64和電源電路65，其中，顯示屏嵌接在殼體61上，與殼體一起圍成封閉空間；電路板64安置在顯示屏和殼體61圍成的空間內部，處理器62和存儲器63設置在電路板64上；電源電路65，用于為上述立體虛擬現實直播設備的各個電路或器件供電；存儲器63用于存儲可執行程序代碼；處理器62通過讀取存儲器63中存儲的可執行程序代碼來運行與可執行程序代碼對應的程序，用于執行前述任一實施例所述的立體虛擬現實直播方法，獲取左右雙目攝像機拍攝的直播場景的左右圖像；分別對所述直播場景的左右圖像進行摳圖處理，獲取所述直播場景中主播的左右視圖；根據直播場景中主播所在位置對應的直播場景拍攝距離和所述左右視圖在虛擬場景的預定放置位置對應的虛擬場景拍攝距離中的至少一個距離，對所述左右視圖的尺寸進行調整；將調整后的左右視圖放置在所述虛擬場景中的所述預定放置位置，利用左右虛擬攝像機拍攝放置有左右視圖的所述虛擬場景，從而獲取合成有所述主播和所述虛擬場景的立體融合視圖，所述立體融合視圖包括左眼融合視圖及右眼融合視圖，從而通過所述顯示屏根據所述立體融合視圖進行立體化的虛擬現實顯示，從而實現立體虛擬現實直播。

處理器62對上述步驟的具體執行過程以及處理器62通過運行可執行程序代碼來進一步執行的步驟，可以參見本發明圖1所示實施例的描述，在此不再贅述。

該立體虛擬現實直播設備以多種形式存在，包括但不限于：

(1)移動通信設備：這類設備的特點是具備移動通信功能，并且以提供話音、數據通信為主要目標。這類終端包括：智能手機(例如iPhone)、多媒體手機、功能性手機，以及低端手機等。

(2)超移動個人計算機設備：這類設備屬于個人計算機的范疇，有計算和處理功能，一般也具備移動上網特性。這類終端包括：PDA、MID和UMPC設備等，例如iPad。

(3)便攜式娛樂設備：這類設備可以顯示和播放多媒體內容。該類設備包括：音頻、應用程序的提供器(例如iPod)，掌上游戲機，電子書，以及智能玩具和便攜式車載導航設備。

(4)服務器：提供計算服務的設備，服務器的構成包括處理器、硬盤、內存、系統總線等，服務器和通用的計算機架構類似，但是由于需要提供高可靠的服務，因此在處理能力、穩定性、可靠性、安全性、可擴展性、可管理性等方面要求較高。

(5)其他具有數據交互功能的電子設備。

本發明實施例中，模塊可以用軟件實現，以便由各種類型的處理器執行。舉例來說，一個標識的可執行代碼模塊可以包括計算機指令的一個或多個物理或者邏輯塊，舉例來說，其可以被構建為對象、過程或函數。盡管如此，所標識模塊的可執行代碼無需物理地位于一起，而是可以包括存儲在不同位里上的不同的指令，當這些指令邏輯上結合在一起時，其構成模塊并且實現該模塊的規定目的。

實際上，可執行代碼模塊可以是單條指令或者是許多條指令，并且甚至可以分布在多個不同的代碼段上，分布在不同程序當中，以及跨越多個存儲器設備分布。同樣地，操作數據可以在模塊內被識別，并且可以依照任何適當的形式實現并且被組織在任何適當類型的數據結構內。所述操作數據可以作為單個數據集被收集，或者可以分布在不同位置上(包括在不同存儲設備上)，并且至少部分地可以僅作為電子信號存在于系統或網絡上。

在模塊可以利用軟件實現時，考慮到現有硬件工藝的水平，所以可以以軟件實現的模塊，在不考慮成本的情況下，本領域技術人員都可以搭建對應的硬件電路來實現對應的功能，所述硬件電路包括常規的超大規模集成(VLSI)電路或者門陣列以及諸如邏輯芯片、晶體管之類的現有半導體或者是其它分立的元件。模塊還可以用可編程硬件設備，諸如現場可編程門陣列、可編程陣列邏輯、可編程邏輯設備等實現。

在本發明的各種實施例中，應理解，上述各過程的序號的大小并不意味著執行順序的先后，各過程的執行順序應以其功能和內在邏輯確定，而不應對本發明實施例的實施過程構成任何限定。

以上所述是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明所述原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。