基于增強現實的視頻實時錄制方法及錄制設備的制造方法
【技術領域】
[0001]本發明涉及增強現實技術領域，尤其涉及一種基于增強現實的視頻實時錄制方法及錄制設備。
【背景技術】
[0002]AR(Augmented Reality，增強現實)技術是一種全新的人機交互技術，通過智能終端設備和可視化技術將虛擬內容應用到真實世界，使得虛擬內容和真實世界同時疊加到同一個畫面或空間呈現給用戶。隨著智能終端的普及，AR技術的應用愈加廣泛，可以通過在智能終端上安裝AR應用進行體驗。具體的，AR應用的工作流程如下:智能終端通過攝像頭拍攝圖像幀，對圖像幀進行識別，確定AR目標物體;對圖像幀中的AR目標物體進行跟蹤，確定AR目標物體的位置，獲取與所述AR目標物體相關聯的AR虛擬內容，對圖像幀進行渲染，將所述AR虛擬內容疊加在AR目標物體上進行顯示，在終端屏幕上同時顯示AR目標物體和AR虛擬內容以供用戶進行交互。
[0003]目前在AR處理技術中，不但能對一幀或者一副靜態的圖像上疊加虛擬的內容，而且也可以在已經錄制的視頻上疊加虛擬內容。
[0004]在現有技術中，將錄制的視頻上疊加虛擬內容一般是先錄制一段視頻，然后再將需要疊加的虛擬內容疊加到錄制好的視頻中，通過后期制作的方式將虛擬內容疊加到錄制好的視頻中，然后再呈現給用戶，但無法實現在錄制的過程中實時疊加虛擬內同。
[0005]因此，在目前的視頻AR處理技術中，視頻錄制者并不清楚虛擬內容的呈現形式、出現時間、動作節奏，因此錄制的視頻很難跟虛擬內容有機的結合并實現互動。
【發明內容】
[0006]本發明提供了一種基于增強現實的視頻實時錄制方法及錄制設備，將目標物體的環境內容與虛擬內容疊加后，不僅能實現實時錄制，而且還能將疊加后的內容實時顯示在顯示單元上，不但能實現將虛擬內容和錄制視頻有機結合，并且還能實現與虛擬內容進行互動。
[0007]本發明實施例提供了一種錄制設備，包括增強現實(AR)引擎和3D引擎，其中:
[0008]所述AR引擎，用于接收圖像信息，識別所述圖像信息中的目標物體，并提取所述目標物體的屬性信息，將所述目標物體的屬性信息和所述目標物體所處的環境內容發送給所述3D引擎，所述環境內容包括所述目標物體所處的環境信息；
[0009]所述3D引擎，用于接收所述AR引擎發送的目標物體的屬性信息和環境內容，并根據所述目標物體的屬性信息確定所述目標物體所對應的虛擬內容，將所述虛擬內容與所述環境內容進行疊加，形成交互內容，以使所述交互內容能被合成為圖像，和/或，以使所述交互內容通過顯示單元顯示出來。
[0010]優選地，所述3D引擎具體用于使用空白的中間態離屏圖像作為繪制目標，將所述繪制目標上疊加環境內容的圖像信息和虛擬內容的圖像信息，完成對所述中間態離屏圖像的渲染，形成所述交互內容。
[0011]優選地，所述3D引擎具體用于:
[0012]在第一繪制目標上繪制環境內容的圖像信息，在第二繪制目標繪制虛擬內容的圖像信息，然后將所述第一繪制目標和第二繪制目標疊加，完成對所述中間態離屏圖像的渲染;或者
[0013]在同一個繪制目標上先繪制所述環境內容的圖像信息，再繪制所述虛擬內容的圖像信息，完成對所述中間態離屏圖像的渲染;或者
[0014]在同一個繪制目標上先繪制所述虛擬內容的圖像信息，再繪制所述環境內容的圖像信息，完成對所述中間態離屏圖像的渲染。
[0015]優選地，所述錄制設備還包括:
[0016]攝像頭，用于將拍攝到的圖像信息發送給所述AR引擎。
[0017]優選地，所述3D引擎將所述交互內容發送給編碼單元進行編碼處理，以使編碼后的交互內容能被合成為圖像。
[0018]優選地，所述編碼單元包括視頻編碼單元時:
[0019]所述視頻編碼單元，用于將接收到的所述中間態的離屏圖像進行編碼，并將圖像編碼信息發送給媒體文件處理單元；
[0020]所述媒體文件處理單元，用于將所述接收到的圖像編碼信息合成為圖像。
[0021]優選地，所述編碼單元還包括音頻編碼單元時，所述錄制設備還包括:
[0022]所述3D引擎，還用于將所述目標物體所對應虛擬內容中的音頻信息發送給音頻合成單元；
[0023]所述音頻合成單元，用于接收所述3D引擎發送的虛擬內容的音頻信息，并與環境內容的音頻信息進行混合，將混合后的音頻信息發送給音頻編碼單元；
[0024]所述音頻編碼單元，用于接收所述音頻合成單元發送的音頻信息，并對所述音頻信息進行編碼，將音頻編碼結果發送給媒體文件處理單元進行處理。
[0025]優選地，所述媒體文件處理單元，還用于將接收到的圖像編碼數據和音頻編碼數據合并成圖像。
[0026]優選地，所述錄制設備還包括:
[0027]存儲單元，用于存儲虛擬內容，以及目標物體的屬性信息與虛擬內容的對應關系。
[0028]本發明實施例還提供了一種基于增強現實的視頻實時錄制方法，所述方法包括:
[0029]3D引擎接收增強現實(AR)引擎發送的目標物體的屬性信息以及所述目標物體的環境內容，所述環境內容包括所述目標物體所處的環境信息；
[0030]所述3D引擎根據所述目標物體的屬性信息確定所述目標物體所對應的虛擬內容，并將所述目標物體的虛擬內容與所述目標物體的環境內容進行疊加，形成交互內容，以使所述交互內容能被合成為圖像，和/或，以使所述交互內容通過顯示單元顯示出來。
[0031]優選地，所述方法還包括:
[0032]所述AR引擎接收攝像頭發送的圖像信息，并對接收到的圖像信息進行分析，確定所述圖像信息中的目標物體，并獲取所述目標物體的屬性信息；
[0033]所述AR引擎將所述所述目標物體的屬性信息以及所述目標物體的環境內容發送給所述3D引擎。
[0034]優選地，所述3D引擎根據所述目標物體的屬性信息確定所述目標物體所對應的虛擬內容，包括:
[0035]所述3D引擎根據所述目標物體的屬性信息以及預先存儲的目標物體的虛擬內容與目標物體屬性的對應關系確定所述目標物體所對應的虛擬內容。
[0036]優選地，所述3D引擎將所述目標物體的虛擬內容與所述目標物體的環境內容進行疊加，形成交互內容，具體包括:
[0037]所述3D引擎使用空白的離屏圖像作為繪制目標，將所述繪制目標上疊加環境內容的圖像信息，同時也在所述繪制目標上疊加所述目標物體的虛擬內容的圖像信息，形成中間態的離屏圖像，完成對所述中間態離屏圖像的渲染。
[0038]優選地，所述3D引擎將所述繪制目標上疊加環境內容的的圖像信息，同時也在所述繪制目標上疊加虛擬內容的圖像信息，完成對中間態離屏圖像的渲染，具體包括:
[0039]所述3D引擎在第一繪制目標上繪制環境的圖像信息，在第二繪制目標繪制虛擬內容的圖像信息，然后將所述第一繪制目標和第二繪制目標疊加，完成對中間態離屏圖像的渲染;或者
[0040]所述3D引擎在同一個繪制目標上先繪制環境內容的圖像信息，再繪制虛擬內容的圖像信息，完成對中間態離屏圖像的渲染;或者
[0041]所述3D引擎在同一個繪制目標上先繪制虛擬內容的圖像信息，再繪制環境內容的圖像信息，完成對中間態離屏圖像的渲染。
[0042]優選地，所述3D引擎將所述中間態離屏圖像和不需要錄制的虛擬內容的圖像信息進行疊加后，發送至所述顯示單元進行顯示。
[0043]優選地，所述方法還包括:
[0044]所述3D引擎將所述交互內容發送給編碼單元，以使所述編碼單元將所述交互內容編碼后發送給媒體文件處理單元進行圖像合成。
[0045]優選地，所述方法還包括:
[0046]所述3D引擎將所述目標物體虛擬內容的音頻信息發送給音頻合成單元，以使所述音頻合成單元將所述虛擬內容的音頻部分和所述環境內容的音頻部分混合后，發送給音頻編碼單元進行編碼。
[0047]優選地，所述方法還包括:
[0048]音頻合成單元接收所述3D引擎發送的所述目標物體的音頻信息，并與所述目標物體環境內容的音頻信息混合后發送給音頻編碼單元；
[0049]所述音頻編碼單元接收所述音頻合成單元發送的混合后的音頻信息，并對所述音頻信息進行編碼，將編碼結果發送給所述媒體文件處理單元；
[0050]所述媒體文件處理單元將接收到的頻編碼數據和音頻編碼數據進行合成。
[0051]本發明實施例所提供的基于增強現實的視頻實時錄制方法及錄制設備，具有以下有益效果:
[0052]1、不但可以將目標物體的虛擬內容和環境內容疊加后的視頻實時通過顯示單元進行顯不，而且對置加后的視頻能完成同步錄制的功能；
[0053]2、在對疊加后的內容進行視頻錄制或者顯示時，還可以實現虛擬內容和實際場景的交互，實現實時互動。
【附圖說明】
[0054]為了更清楚地說明本發明實施例的技術方案