一種虛擬現實實時交互中虛擬對現實自主響應方法
【專利摘要】本發明提出了一種虛擬與現實自主響應交互技術，其是將攝像機拍攝的圖像實時地與計算機三維圖形進行合成，形成一種新的電視節目制作系統。本發明所采取的技術方案如下：一種虛擬現實實時交互中虛擬對現實自主響應方法，包括以下步驟：步驟1，確定藍箱坐標中心b(0,0)的位置:預先設定輔助攝像機攝像廣角和主攝像機的相對位置關系,將相鄰的二幀圖像輸入到虛擬現實實時交互軟件；步驟2，確定目標物體b,(x,y)的位置:以步驟1中區域A為前景，輔助攝像機實時拍攝目標物體的圖像，通過圖像處理系統實時計算出目標物體相對于參考坐標中心b(0,0)的位移，從而得到以幀為采樣單位的目標物體的位置坐標b,(x,y)；步驟3，三維渲染設備進行渲染并輸出。
【專利說明】
一種虛擬現實實時交互中虛擬對現實自主響應方法
技術領域
[0001]本發明涉及虛擬演播室技術領域，特別涉及一種虛擬現實實時交互中虛擬對現實自主響應方法。
【背景技術】
[0002]隨著計算機網絡和三維圖形軟件等先進信息技術的發展，電視節目制作方式發生了很大的變化。視覺和聽覺效果以及人類的思維都可以靠虛擬與現實自主響應交互裝置來實現。它升華了人類的邏輯思維。虛擬演播室則是虛擬與現實自主響應交互裝置與人類思維相結合在電視節目制作中的具體體現。虛擬演播系統的主要優點是它能夠更有效地表達新聞信息，增強信息的感染力和交互性。傳統的演播室對節目制作的限制較多。虛擬演播系統制作的布景是合乎比例的立體設計，當攝像機移動時，虛擬的布景與前景畫面都會出現相應的變化，從而增加了節目的真實感。用虛擬場景在很多方面成本效益顯著。如它具有及時更換場景的能力，在演播室布景制作中節約經費。不必移動和保留景物，因此可減輕對雇員的需求壓力。在使用背景和攝像機位置不變的系列節目中它可以節約大量的資金。另外，虛擬演播室具有制作優勢。當考慮節目格局時，制作人員的選擇余地大，他們不必過于受場景限制。對于同一節目可以不用同一演播室，因為背景可以存入磁盤。它可以充分發揮創作人員的藝術創造力與想象力，利用現有的多種三維動畫軟件，創作出高質量的背景。
【發明內容】
[0003]本發明提出了一種虛擬與現實自主響應交互技術，其是將攝像機拍攝的圖像實時地與計算機三維圖形進行合成，形成一種新的電視節目制作系統。虛擬與現實自主響應交互裝置充分利用了計算機三維圖形技術和視頻合成技術，根據攝像機的位置參數，使三維虛擬場景的透視關系與前景保持一致，從而創造出逼真的、立體感很強的電視演播室效果，節省了傳統的基于搭設真實布景的電視節目制作中設計、材料、施工、場地等昂貴費用，克服了傳統布景不宜隨便搬動，靈活性差，場地不能重復利用的缺點，滿足了電視節目制作與播出。具體是將一個安裝在演播室藍箱適當位置的輔助攝像機和一個實時圖像處理裝置，輔助攝像機輸出攝取的藍箱中前景的圖像，實時圖像處理裝置以場頻速度實時采集圖像并進行圖像處理，提取圖像中特征數據并進行計算變換，得到前景主持人或物體在藍箱中的平面位置坐標參數。該裝置將輸出的前景平面位置坐標參數輸入給虛擬演播室的三維渲染設備，經過方程矩陣計算，實現三維虛擬場景和真實前景的位置關系的無縫匹配，使得真實前景自動恰當融入三維虛擬場景的空間合適位置之中，并反映正確的三維虛擬空間遮擋關系。本發明識別精度高，穩定性好，抗干擾能力強，不受環境光、溫度、聲波影響。
[0004]為實現上述目的，本發明所采取的技術方案如下:
[0005]—種虛擬現實實時交互中虛擬對現實自主響應方法，包括以下步驟:
[0006]步驟I，確定藍箱坐標中心b(0，0)的位置:預先設定輔助攝像機攝像廣角和主攝像機的相對位置關系，根據輔助攝像機拍攝到的圖像，確定前景在藍箱中的區域A，將拍攝到區域A的前幀圖像作為后幀圖像的模版，將此相鄰的二幀圖像輸入到虛擬現實實時交互軟件，根據虛擬現實實時交互軟件得到的圖像數據，采用數字圖像的模板匹配技術，對真實藍箱場景中的人或物體進行圖像的檢測識別和跟蹤，實現真實場景中的人或物體與藍箱背景的分割，進而得到真實場景中的人或物體在藍箱中地面的投影坐標，同時采集真實場景中的人或物體在藍箱中的運動范圍，根據該范圍經軟件換算后標定出投影中心的平面位置坐標b(0，0)，將確定的藍箱坐標中心b(0，0)輸送給輔助攝像機圖像處理系統；
[0007]步驟2，確定目標物體b，(x，y)的位置:以步驟I中區域A為前景，輔助攝像機實時拍攝目標物體的圖像，通過圖像處理系統實時計算出目標物體相對于參考坐標中心b(0，0)的位移，從而得到以幀為采樣單位的目標物體的位置坐標b，(x，y);
[0008]步驟3，三維渲染設備進行渲染并輸出:將步驟2得到的目標物體b，(x，y)的位置，根據步驟I輔助攝像機攝像廣角和主攝像機的相對位置關系，得到目標物體的景深位置參數，將此位置輸入到三維渲染設備，再經過對矩陣方程的解算，讓主攝像機三維空間生成目標的具體位置關系與輔助攝像機相對于藍箱坐標中心取得的前景具體三維位置坐標無縫匹配。
[0009]進一步地，所述輔助攝像機為彩色或黑白攝像機、模擬或數字攝像機、CCD或CMOS型等攝像機，所述輔助攝像機安裝在藍箱附近，對準前景的所有攝像機攝取圖像的方式。
[0010]進一步地，步驟I中投影中心的平面位置坐標的換算方法為:
[0011 ]根據輔助攝像機取得藍箱中前景的投影，得到投影兩端水平坐標點；
[0012]根據得到投影兩端水平坐標點，取其平均值作為投影中心的平面位置坐標。
[0013]進一步地，所述實時交互軟件包括圖像輸入單元、圖像處理單元和景深位置數據輸出和虛擬現實實時交互算法單元，其圖像輸入單元用于視頻圖像處理單元的圖像信號輸入;其圖像處理單元通過圖像處理算法，得到前景物體在藍箱中的平面坐標位置及景深數據，表現形式為經過計算確定前景物體在指定坐標系中的平面坐標位置，通過虛擬演播室三維渲染引擎計算匹配，用于虛擬演播室系統的前景位置確定。
[0014]進一步地，所述圖像輸入單元可以是圖像采集卡，也可以是自有設計的電路，用于圖像實時輸入給圖像處理單元;所述圖像處理單元可以是一臺計算機，也可以是自有設計的具有數據處理能力的電路，在軟件算法的支持下用于圖像坐標點的數據處理，得到前景在藍箱中的位置數據。
[0015]進一步地，輔助攝像機將圖像形式輸入，圖像輸入單元將輔助攝像機傳來的視頻圖像數據以場頻速度連續采集到圖像處理單元，圖像處理單元通過景深位置識別算法單元，得到前景物體在藍箱中的坐標位置及景深數據，確定前景物體在指定坐標系中的坐標位置，通過數據輸出單元傳給虛擬演播室三維渲染引擎計算匹配。
[0016]進一步地，所述輔助攝像機安裝在藍箱任意位置，并對準前景即藍箱中的節目主持人或物體攝取圖像。
[0017]進一步地，所述景深位置識別算法單元為利用相鄰圖像數據幀的相關性和藍箱的特殊性，實現前景物體與背景物體的分割，進而得到前景在藍箱地面的投影中心，經過換算得到投影中心的位置坐標。
[0018]本技術主要體現一下三個主要的技術特征:
[0019]浸沒感又稱作臨場感，指用戶感到作為主角存在于模擬環境中的真實程度。理想的模擬環境應該使用戶難以分辨真假，使用戶全身心地投入到計算機創建的三維虛擬環境中，該環境中的一切看上去是真的，聽上去是真的，動起來是真的，甚至聞起來、嘗起來等一切感覺都是真的，如同在現實世界中的感覺一樣。
[0020]交互性指前景對虛擬場景內物體的可操作程度和從環境得到反饋的自然程度(包括實時性)。例如，用戶可以用手去直接抓取虛擬場景中虛擬的物體，這時觀眾看到手有握著東西的感覺，并可以感覺物體的重量，視野中被抓的物體也能立刻隨著手的移動而移動。[0021 ]構想性強調虛擬現實實時交互技術應具有廣闊的可想像空間，可拓寬人類認知范圍，不僅可再現真實存在的環境，也可以隨意構想客觀不存在的甚至是不可能發生的環境。
[0022]由于虛擬與現實自主響應交互技術的這三個特征，使其可以實現傳統演播室不能實現的創作效果，使電視制作不再是只有立竿才能見影，而是只要能想到就能做得到，因此，受到了電視制作部門的歡迎。現在，隨著技術的熟練運用，很多臺都實現了幾個甚至幾十個欄目共用一套虛擬演播室系統，不僅節約了場地、資金，減少了人員配備，降低了電視節目制作成本，而且提高了節目制作效率和制作質量，其優點越來越顯現出來。而它的逼真性會使電視節目達到最佳的視覺效果，為電視節目制作拓展更大的空間。
[0023]本發明的有益效果是:
[0024]1、此系統可以將攝像機拍攝的圖像實時地與計算機三維圖形進行合成，形成一種新的電視節目制作系統。虛擬與現實自主響應交互裝置充分利用了計算機三維圖形技術和視頻合成方法，根據攝像機的位置參數，使三維虛擬場景的透視關系與前景保持一致，從而創造出逼真的、立體感很強的電視演播室效果，節省了傳統的基于搭設真實布景的電視節目制作中設計、材料、施工、場地等昂貴費用，克服了傳統布景不宜隨便搬動，靈活性差，場地不能重復利用的缺點，滿足了電視節目制作與播出。
[0025]2、定位處理的結果一般是前景主持人可以在復雜三維虛擬場景中合理穿插走動，得到有真實感的前景與三維虛擬空間的視頻合成圖像，而不是簡單的前景疊加虛擬背景，也不是人為的用遮擋鍵來進行前景在三維虛擬空間場景中的遮擋反映。同時，利用三維建模實現高質量的虛擬克隆，變成用戶可觸及的東西，縮短生活中重要的人員、地點和活動之間的距離(社區、工作地點、玩游戲、教學等)。通過使用這項技術，我們可以在虛擬世界中實現更多的驚奇體驗，比如在虛擬空間場景中見面握手。
【附圖說明】
[0026]圖1是本發明交互軟件結構示意圖；
[0027]圖2是本發明實施例結構示意圖；
[0028]圖3為本發明虛擬現實實時交互裝置I示意圖；
【具體實施方式】
[0029]為了使本發明的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖對本發明的【具體實施方式】做詳細的說明。
[0030]參見圖1，一種虛擬現實實時交互中虛擬對現實自主響應方法，包括以下步驟:
[0031]步驟I，確定藍箱坐標中心b(0，0)的位置:預先設定輔助攝像機攝像廣角和主攝像機的相對位置關系，根據輔助攝像機拍攝到的圖像，確定前景在藍箱中的區域A，將拍攝到區域A的前幀圖像作為后幀圖像的模版，將此相鄰的二幀圖像輸入到虛擬現實實時交互軟件，根據虛擬現實實時交互軟件得到的圖像數據，采用數字圖像的模板匹配技術，對真實藍箱場景中的人或物體進行圖像的檢測識別和跟蹤，實現真實場景中的人或物體與藍箱背景的分割，進而得到真實場景中的人或物體在藍箱中地面的投影坐標，同時采集真實場景中的人或物體在藍箱中的運動范圍，根據該范圍經軟件換算后標定出投影中心的平面位置坐標b(0，0)，將確定的藍箱坐標中心b(0，0)輸送給輔助攝像機圖像處理系統；
[0032]步驟2，確定目標物體b，(x，y)的位置:以步驟I中區域A為前景，輔助攝像機實時拍攝目標物體的圖像，通過圖像處理系統實時計算出目標物體相對于參考坐標中心b(0，0)的位移，從而得到以幀為采樣單位的目標物體的位置坐標b，(x，y);
[0033]步驟3，三維渲染設備進行渲染并輸出:將步驟2得到的目標物體b，(x，y)的位置，根據步驟I輔助攝像機攝像廣角和主攝像機的相對位置關系，得到目標物體的景深位置參數，將此位置輸入到三維渲染設備，再經過對矩陣方程的解算，讓主攝像機三維空間生成目標的具體位置關系與輔助攝像機相對于藍箱坐標中心取得的前景具體三維位置坐標無縫匹配。
[0034]進一步地，所述輔助攝像機為彩色或黑白攝像機、模擬或數字攝像機、CXD或CMOS型等攝像機，所述輔助攝像機安裝在藍箱附近，對準前景的所有攝像機攝取圖像的方式。
[0035]進一步地，步驟I中投影中心的平面位置坐標的換算方法為:
[0036]根據輔助攝像機取得藍箱中前景的投影，得到投影兩端水平坐標點；
[0037]根據得到投影兩端水平坐標點，取其平均值作為投影中心的平面位置坐標。
[0038]進一步地，所述實時交互軟件包括圖像輸入單元、圖像處理單元和景深位置數據輸出和虛擬現實實時交互算法單元，其圖像輸入單元用于視頻圖像處理單元的圖像信號輸入;其圖像處理單元通過圖像處理算法，得到前景物體在藍箱中的平面坐標位置及景深數據，表現形式為經過計算確定前景物體在指定坐標系中的平面坐標位置，通過虛擬演播室三維渲染引擎計算匹配，用于虛擬演播室系統的前景位置確定。
[0039]進一步地，所述圖像輸入單元可以是圖像采集卡，也可以是一部分自己設計的電路，用于圖像實時輸入給圖像處理單元;所述圖像處理單元可以是一臺計算機，也可以是一部分自己設計的具有數據處理能力的電路，在軟件算法的支持下用于圖像坐標點的數據處理，得到前景在藍箱中的位置數據。
[0040]還包括安裝在虛擬演播室藍(或綠等顏色，下同)箱附近適當位置的輔助攝像機:對準藍箱中的前景(包括節目主持人或物體)，用于將實時產生的前景圖像傳輸給位置識別裝置；
[0041]圖像輸入單元:可以是圖像采集卡，也可以是自己設計的電路，用于圖像實時采集并輸入給圖像處理單元；
[0042]圖像處理單元:可以是一臺計算機，也可以是自己設計的具有數據處理能力的電路，在軟件算法的支持下用于圖像坐標點的數據處理，得到前景在藍箱中的位置數據；
[0043]虛擬與現實自主響應交互軟件:用于圖像輸入單元、圖像處理單元和景深位置數據輸出，通過網絡傳輸給虛擬演播室系統的三維圖形渲染工作站，用于將前景動態融合到三維虛擬場景中，增強前景在虛擬演播室系統三維場景中的景深位置真實感，并正確反映前景在三維虛擬場景中的位置關系。
[0044]根據所述的虛擬演播室系統中虛擬與現實自主響應交互裝置，其輔助攝像機包括彩色或黑白攝像機、模擬或數字攝像機、CCD或CMOS型等攝像機，安裝在藍箱附近，對準前景(藍箱中的節目主持人或物體)的所有攝像機攝取圖像的方式;其圖像輸入單元用于視頻圖像處理單元的圖像信號輸入;其圖像處理單元通過圖像處理算法，得到前景物體在藍箱中的平面坐標位置及景深數據，表現形式為經過計算確定前景物體在指定坐標系中的平面坐標位置，通過虛擬演播室三維渲染引擎計算匹配，用于虛擬演播室系統的前景位置確定。
[0045]虛擬演播室系統中虛擬與現實自主響應交互裝置，其虛擬與現實自主響應交互模塊通過計算處理輔助攝像機視頻圖像坐標數據，得到并輸出一個前景(藍箱中的節目主持人或物體)的景深位置數據，用于虛擬演播室系統的前景位置定位與匹配處理，定位處理的結果一般是前景主持人可以在復雜三維虛擬場景中合理穿插走動，得到有真實感的前景與三維虛擬空間的視頻合成圖像，而不是簡單的前景疊加虛擬背景，也不是人為的用遮擋鍵來進行前景在三維虛擬空間場景中的遮擋反映。其圖像處理算法利用了相鄰圖像數據幀的相關性和藍箱的特殊性等因素，實現前景物體與背景物體的分割，進而得到前景在藍箱地面的投影中心，經過換算得到投影中心的平面位置坐標。
[0046]而虛擬演播室系統中虛擬與現實自主響應交互裝置，其包含兩種形式，裝置一中，圖像輸入單元為一塊普通圖像采集卡，圖像處理單元為一臺計算機，通過虛擬與現實自主響應交互軟件實時計算出景深位置數據，通過網絡傳送給虛擬演播室中三維虛擬場景渲染計算機進行前景與三位虛擬場景的匹配。
[0047]如圖3，圖像輸入單元為自己設計的具有數據轉換功能的視頻輸入電路，圖像處理單元為以DSP為核心的數據處理電路，圖像處理軟件算法以編譯過的DSP程序文件方式保存在DSP電路中的程序引導存儲器中，實時處理得到的景深位置數據通過渲染計算機總線傳送給渲染計算機進行三維虛擬場景與前景景深位置數據的匹配處理。
[0048]實施例一:
[0049]如圖2，一個設置在藍箱演播室前方的前景攝像機110，在演播室藍箱101上安裝有輔助攝像機102，輔助攝像機102通過視頻線103與虛擬現實實時交互系統104內的視頻圖像采集模塊105的輸入端連接，視頻圖像采集模塊105用于實時采集輔助攝像機102的視頻信號，三維渲染機107通過網線106與虛擬現實實時交互系統104連接，同時通過網線106與控制機108連接，前景攝像機110通過視頻線109與控制機108連接。當工作時，先在演播室藍箱101確定一個中心位置的三維位置坐標(0，0，0)，即把輔助攝像機102采集到的前幀圖像作為后幀圖像的模版，將此相鄰的二幀圖像輸入到虛擬現實實時交互系統104內的視頻圖像采集卡105中，得到其相關點，這種圖像處理算法利用了相鄰圖像數據幀的相關性和藍箱的特殊性等因素，實現前景物體與背景物體的分割，進而得到前景在藍箱地面的投影中心，經過換算得到投影中心的平面位置坐標。利用中心位置的三維位置坐標(0，0，0)，再得到根據其演播室藍箱101中具體目標111相對于藍箱坐標中心(O，0，0)的位置三維坐標數據(x，y，O)，其中的z值由主攝像機所攝取的前景平面圖像與該前景景深xy位置參數的匹配結果來表現。這樣就可以取得藍箱中具體目標111的位置。對取得的具體目標111的坐標數據經過對矩陣方程的解算，實現三維虛擬場景和控制機108從前景攝像機110真實前景的景深位置關系的無縫匹配，使得真實前景自動恰當融入三維虛擬場景的合適空間位置之中，并反映正確的三維虛擬空間遮擋關系。
[0050]以上所述，僅是本發明的較佳實施例而己，并非對本發明作任何形式上的限制。雖然本發明己以較佳實施例揭露如上，然而并非用以限定本發明。任何熟悉本領域的技術人員，在不脫離本發明技術方案范圍情況下，都可利用上述揭示的方法和技術內容對本發明技術方案做出許多可能的變動和修飾，或修改為等同變化的等效實施例。因此，凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬于本發明技術方案保護的范圍內。
【主權項】
1.一種虛擬現實實時交互中虛擬對現實自主響應方法，其實現步驟如下: 步驟I，確定藍箱坐標中心b(0，0)的位置:預先設定輔助攝像機攝像廣角和主攝像機的相對位置關系，根據輔助攝像機拍攝到的圖像，確定前景在藍箱中的區域A，將拍攝到區域A的前幀圖像作為后幀圖像的模版，將此相鄰的二幀圖像輸入到虛擬現實實時交互軟件，根據虛擬現實實時交互軟件得到的圖像數據，采用數字圖像的模板匹配技術，對真實藍箱場景中的人或物體進行圖像的檢測識別和跟蹤，實現真實場景中的人或物體與藍箱背景的分害J，進而得到真實場景中的人或物體在藍箱中地面的投影坐標，同時采集真實場景中的人或物體在藍箱中的運動范圍，根據該范圍經軟件換算后標定出投影中心的平面位置坐標b(0，0)，將確定的藍箱坐標中心13(0，0)輸送給輔助攝像機圖像處理系統； 步驟2，確定目標物體b，(X，y)的位置:以步驟I中區域A為前景，輔助攝像機實時拍攝目標物體的圖像，通過圖像處理系統實時計算出目標物體相對于參考坐標中心b(O，O)的位移，從而得到以幀為采樣單位的目標物體的位置坐標b，( X，y); 步驟3，三維渲染設備進行渲染并輸出:將步驟2得到的目標物體b，(x，y)的位置，根據步驟I輔助攝像機攝像廣角和主攝像機的相對位置關系，得到目標物體的景深位置參數，將此位置輸入到三維渲染設備，再經過對矩陣方程的解算，讓主攝像機三維空間生成目標的具體位置關系與輔助攝像機相對于藍箱坐標中心取得的前景具體三維位置坐標無縫匹配。2.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，所述輔助攝像機為彩色或黑白攝像機、模擬或數字攝像機、CCD或CMOS型等攝像機，所述輔助攝像機安裝在藍箱附近，對準前景的所有攝像機攝取圖像的方式。3.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，步驟I中投影中心的平面位置坐標的換算方法為: 根據輔助攝像機取得藍箱中前景的投影，得到投影兩端水平坐標點； 根據得到投影兩端水平坐標點，取其平均值作為投影中心的平面位置坐標。4.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，所述實時交互軟件包括圖像輸入單元、圖像處理單元和景深位置數據輸出和虛擬現實實時交互算法單元，其圖像輸入單元用于視頻圖像處理單元的圖像信號輸入;其圖像處理單元通過圖像處理算法，得到前景物體在藍箱中的平面坐標位置及景深數據，表現形式為經過計算確定前景物體在指定坐標系中的平面坐標位置，通過虛擬演播室三維渲染引擎計算匹配，用于虛擬演播室系統的前景位置確定。5.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，所述圖像輸入單元可以是圖像采集卡，也可以是自有設計的電路，用于圖像的實時采集并輸入給圖像處理單元;所述圖像處理單元可以是一臺計算機，也可以是自有設計的具有數據處理能力的電路，在軟件算法的支持下用于圖像坐標的數據處理，得到前景在藍箱中的位置數據。6.根據權利要求1或4或5所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，輔助攝像機將圖像形式輸入，圖像輸入單元將輔助攝像機傳來的視頻圖像數據以場頻速度連續采集到圖像處理單元，圖像處理單元通過景深位置識別算法單元，得到前景物體在藍箱中的坐標位置及景深數據，確定前景物體在指定坐標系中的坐標位置，通過數據輸出單元傳給虛擬演播室三維渲染引擎計算匹配。7.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，所述輔助攝像機安裝在藍箱任意位置，并對準前景即藍箱中的節目主持人或物體攝取圖像。8.根據權利要求1所述的一種虛擬現實實時交互中虛擬對現實自主響應方法，其特征在于，所述景深位置識別算法單元為利用相鄰圖像數據幀的相關性和藍箱的特殊性，實現前景物體與背景物體的分割，進而得到前景在藍箱地面的投影中心，經過換算得到投影中心的位置坐標。
【文檔編號】H04N5/262GK105959595SQ201610365024
【公開日】2016年9月21日
【申請日】2016年5月27日
【發明人】黃民主, 邵剛, 張銀峰
【申請人】西安宏源視訊設備有限責任公司