專利名稱:真三維虛擬演播室系統及其實現方法
技術領域:
本發明涉及一種影視制作中的演播室系統,特別是一種真三維虛擬演播室系統及其實現方法。
二維虛擬演播室系統的技術路線是利用三維場景制作工具軟件(如3dmax、maya等)設計三維虛擬場景,按照實際拍攝現場的機位數用攝像機位置和視線方向生成較高分辨率(如2048*2048)的二維圖像;在節目拍攝過程中,將前面預先生成的圖像載入視頻圖像處理卡(每幅圖像對應一個實際機位),通過傳感系統獲得攝像機的運動信息(俯仰、搖移和變焦),依據這些運動信息確定虛擬攝像機能夠看到的圖像范圍,并調整所能看到圖像的縮放比例以達到滿屏效果(720*576,PAL制);將實際攝像機在藍箱中拍攝到的場景(人物、道具等)進行扣像處理;將扣像處理后的場景和視頻處理卡輸出的圖像進行合成,由于二者的變化都是與真實攝像機的運動相關聯的,因而能夠達到拍攝場景和虛擬圖像一致運動的效果。
二維半虛擬演播室系統的技術路線是在二維系統的基礎上,增加一層圖像作為前景信號(如桌子、柱子等物體的圖像),形成前景-拍攝的場景-背景的三層圖像遮擋關系,可以實現人物在前景物體前面或后面的模擬三維關系。
二維和二維半虛擬演播室系統在實際應用中存在以下問題和缺點因為視頻圖像處理卡的存儲空間是非常有限的,所以圖像的分辨率有限,當攝像機作變焦運動時虛擬背景會產生虛化或馬賽格現象,當攝像機作搖移或俯仰運動時圖像的邊界常常產生“穿幫”現象,這對攝像機操作人員提出了很高要求,且大大限制了攝像機的運動范圍;動畫和視頻開窗占據圖像處理卡的獨立通道,因此二者不能同時表現,且同一時刻只能有一個動畫起作用;在作多機位切換時,難以做到動畫、視頻開窗和背景圖像的同步切換,且背景切換容易產生“夾幀”現象;對應每個機位的圖像按照預置的攝像機位置和視線方向預先生成,當攝像機運動較大時不能保證前景和背景的正確的透視效果,從而在視覺上給人以人物在背景圖片上“飄移”的感覺,而不是人物在虛擬背景空間中活動;當攝像機調整位置后,背景圖像必須回到場景制作軟件中重新生成,對于空間較大的演播室具有很大的局限性;虛擬場景里的光照效果預先生成,因而當動畫物體運動和機位運動時,場景內物體的明暗不能隨之產生相應的變化,使得虛擬場景的畫面非常單調。
本發明的另一目的是提供實現真三維虛擬演播室系統的實現方法。
真三維虛擬演播室系統,包括一攝像機用于獲取前景圖像;一跟蹤子系統設置于攝像機上,用于獲取攝像機運動參數;一延時器其輸入與攝像機的輸出連接,用于對攝像機輸出的視頻信號延時;一圖形發生器一輸入與跟蹤子系統的輸出連接,根據攝像機的運動參數生成虛擬的三維場景;一摳像合成器其輸入分別與延時器和圖形發生器連接的輸出連接,將前景圖像和三維場景進行圖像合成;主控計算機通過信號線與圖形發生器連接,用于控制圖形發生器;錄像設備其輸入與摳像合成器輸出連接,用于錄制合成的圖像。
真三維虛擬演播室系統,包括至少兩臺攝像機用于獲取前景圖像;至少兩套跟蹤子系統每一跟蹤子系統設置于一攝像機上,用于獲取攝像機運動參數;至少兩個延時器每一延時器的輸入與分別與一攝像機的輸出連接,用于對攝像機輸出的視頻信號延時;至少兩個圖形發生器每一圖形發生器的輸入與一跟蹤子系統的輸出連接,根據攝像機的運動參數生成虛擬的三維場景;至少兩個摳像合成器每一摳像合成器的輸入分別與一延時器和一圖形發生器連接的輸出連接,將前景圖像和三維場景進行圖像合成;視頻切換臺其輸入與摳像合成器的輸出連接,用于切換摳像合成器的輸出;主控計算機通過網絡方式與圖形發生器連接,用于控制圖形發生器;錄像設備其輸入與切換臺的輸出連接,用于錄制合成的圖像。
真三維虛擬演播室的實現方法,包括由攝像機獲取前景圖像,并通過跟蹤系統獲取攝像機的運動參數;由延時器對攝像機輸出的視頻信號進行延時;圖形發生器根據攝像機的運動參數實時生成三維虛擬場景的背景信號和遮掩信號;將延時后的視頻信號、三維虛擬場景的背景信號和遮掩信號在摳像合成器中進行圖像合成并輸出至錄像設備。
本發明采用一對一的通道化的設計結構方式即一臺攝像機對應一個設備通道(通道設備包括一套傳感系統,一套延時系統,一套圖形工作站,一套圖形色鍵合成系統),每個通道輸出的信號就是前、后景已經合成好的視頻信號(這樣就具備預監功能),可以直接在特技切換臺上與別的機位輸出信號之間做特技切,并且切換無夾幀。本發明采用模塊化的設計,保證了系統的順利升級如同“搭積木”一般方便快捷系統增加機位只是增加一套通道設備即可,不僅保護了用戶的原有投資,而且也使得系統的搭接安全可靠,保證了系統的穩定運行。同時,每個通道信號的合成效果可以進行實時預監。
本系統的圖形發生器根據機械式跟蹤系統獲取的攝像機運動參數實時地生成背景圖像,因而可以自動測量鏡頭變焦非線性,并對場景進行相應的校正,以避免出現縮放變化時前景和背景錯位的情況。
由于本發明采用機械式跟蹤系統和PC圖形發生器,因而在還保持系統性能的前提下解決了圖形發生器和攝像機跟蹤裝置的造價問題,從而使其應用能夠得以普及。可廣泛應用于模擬駕駛訓練,模擬航天器、船舶、飛行器運行,虛擬游戲、婚紗攝影等領域。
攝像機用于獲取前景圖像,其輸出的信號經延時器進行延時,同時獲取攝像機的云臺、機架和變焦參數,在主控計算機的控制下,圖形發生器根據獲取的參數實時地生成三維場景,將延時后的前景圖像和三維場景在摳像器中進行處理以合成圖像,然后輸出至錄像設備。
圖2和圖6所示的三維虛擬演播室系統主要由兩臺攝像機、兩個跟蹤子系統、兩個延時器、兩個圖形發生器、兩個摳像合成器、切換臺、主控計算機和錄像設備構成。跟蹤子系統與
圖1所示相同。主控計算機通過集線器和網卡與兩個圖形發生器通訊。切換臺用于對兩個摳像合成器的輸出進行切換。
圖1和圖2所示系統的實現原理相同,本實施例主要以圖2所示結構為主進行說明。
在本系統中,圖形發生器還連接有錄像機,圖形發生器可將錄象機輸出的活動圖像作為虛擬場景的一部分。在摳像合成器的輸出還連接有監視器,用以觀察摳像合成器輸出圖像效果,并可通過主控計算機進行控制。
圖3進一步顯示了跟蹤子系統的結構。跟蹤子系統的作用是獲取攝像機的位置信息和運動數據。虛擬演播室的場景是計算機生成的三維圖形,稱為虛擬場景。它的運動受計算機中虛擬攝像機的控制,為保證真實攝像機的前景畫面與虛擬場景“聯動”,必須使這兩種攝像機的位置、拍攝角度及運動狀態相一致。因此,需要對真實攝像機進行實時跟蹤。本系統采用機電跟蹤方式,它的優點是延遲小、穩定性好、適合攝像師操作習慣、精度高、實用。在本系統中,需準確跟蹤云臺的PAN、TILT和鏡頭的ZOOM這三個自由度,PAN和TILT的測量精度為0.001度,ZOOM滿足所購鏡頭的變焦倍數,能跟蹤1個象素移動的分辨率。其構成為檢測攝像機搖、俯仰底座的傳感器,檢測鏡頭聚焦和變焦的傳感器,以及一個與控制計算機接口的編碼盒。
參考圖4,傳感器的設置是在云臺軸線結構間隙嵌入精密齒輪盤式結構,并采用軟連接結構使齒輪組在一定的彈性壓力進行嚙合。齒輪盤式結構具有體積小、精度高、可靠性強的優點,即保證了傳感精度又減少齒輪的磨損。因此,在不破壞原云臺性能的前提下,保證了傳感系統的精度。傳感裝置是由鑲嵌在云臺轉軸上的齒輪盤、傳感器咬合齒輪、軟連接器和光電碼盤組成。搖動攝像機時,云臺輪盤的轉動帶動咬合齒輪,通過軟連接器使光電碼盤產生相應的轉動,光電碼盤將機械運動轉換成電脈沖信號送至編碼盒。由于機加工和裝配過程中產生的誤差,會造成云臺轉盤和咬合齒輪之間出現咬合間隙或卡死的現象,通過軟連接器,可使它們之間的咬合控制在一定的彈性范圍內,從而避免上述現象的發生。
參考圖5,各個傳感部分將各自檢測到的攝像機運動數據通過9芯電纜傳輸到的校準小盒中與自己相對應的9芯接口上(輸入接口)。傳感器的信號經過接口電路進行信號整型后傳人信號處理器DSP,DSP對信號進行變換運算和誤差補償,轉換成轉角和位移數據,經由RS485通信接口將這些運動數據傳送到圖形發生器上。CPU在編碼盒內部由ROM內置程序控制各部分電路的工作,同時可接受外部指令進行操作,如復位、同步等。
參考圖8、圖9,圖形發生器為基于視窗操作系統的個人電腦(PC)構成的圖形發生器,包括視頻采集卡,視頻處理卡和遮擋卡。視頻處理卡包括GeForce系列圖形加速處理器;抗閃爍處理及鍵信號產生電路;掃描同步補償電路、YUV分量編碼器、數字同步鎖相電路、SDI數字接口、AGP總線接口、PCI總線接口。主控計算機可連接串口擴展箱,以連接多個摳像合成器和視頻切換臺。
參考圖7,由傳感裝置送來的傳感數據經RS485接口進入圖形發生器,圖形發生器即時響應新的攝像機位置參數,匹配相應的虛擬攝像機,從而新的場景圖像。三維虛擬場景的模型參數,包括模型大小、位置、表面貼圖等屬性,在系統啟動后經由AGP總線加載到64M顯存中。Geforce圖形處理器根據攝像機運動參數,將各模型進行計算,生成場景并送入64M緩存。經過抗閃爍處理和鍵處理后送到輸出接口部分電路。SDI數字接口和YUV分量編碼器將場景數據轉換成不同格式的電視信號,連接至扣像器或切換臺進行畫面合成。在應用中由于場景信號要和前景的視頻信號進行同步合成,因此圖形發生器需要接受外部信號的同步。外部同步信號輸入到數字同步鎖相電路,鎖定圖形發生器的輸出時鐘,通過掃描同步和補償電路,使64M緩存的場景在輸出時與外部信號同步。電路的狀態控制是由圖形發生器的CPU經PCI總線設置PCI接口控制器進行的。
圖形發生器的作用在于實時生成三維虛擬運動場景。虛擬演播室系統的場景是計算機繪制的圖形。三維虛擬場景中的景物具有Z方向的厚度,是立體的;二維場景則沒有厚度,只是一個平面圖形。所以二維虛擬場景只能作為背景平面,出現在真實人物的后面。而在三維場景中,虛擬景物既能作為真實人物的背景出現,也能作為前景出現,并且真實人物還能圍繞虛擬場景運動,因而在視覺效果上更具縱深感,更加真實。
本虛擬演播室的場景需由三維動畫軟件建立虛擬場景。在前期的3D建模中,材質、燈光、陰影等建立得越細致,虛擬場景看起來就越逼真、漂亮。虛擬場景的各個部分與實景畫面之間的位置關系可以通過PC機的定位與校準軟件進行控制。虛擬物體可以出現在真實人物的面前,也能出現在人物的后面。這樣,合成畫面富于層次,在視覺上也更據立體感、更真實。
由攝像機拍攝的或由錄像機播出的活動畫面都可以輸入到背景圖像發生器中,作為虛擬場景的一部分出現在背景畫面中。這種形式不僅增強了節目的現場感,使節目形式更加豐富多彩,還能節約演播室在大屏幕、數字特技等方面的投資。但是,當活動視頻被放大到充滿整個畫面時,畫面就顯得比較粗糙和模糊。所以活動視頻只能以小畫面的形式出現。
虛擬背景生成系統作用在于跟蹤真實攝像機的位置和運動信息,在計算機上實時生成運動的3D虛擬場景。其主要技術指標包括實時3D虛擬場景生成;實時攝像機參數的接收、處理;虛擬攝像機運動模型的建立與實時跟蹤;接收一路視頻,完成虛擬場景的視頻開窗;虛擬背景顯示尺寸為720*576;每秒實時生成25幀畫面。
圖形發生器還具有如下的系統管理功能系統工作前對各子系統狀態的獲取,各子系統準備好后向主控PC發消息。包括兩臺攝像機跟蹤器、圖形發生器、切換臺的開/關狀態;系統啟動的同步協議;系統初始化參數設置,主要在系統安裝時使用。主要參數包括演播室參數、攝像機參數、切換臺參數;虛擬場景管理。主要包括3D建模、虛擬攝像機的操作、虛擬攝像機的初始位置設置、虛擬背景上的視頻開窗管理、主界面上的視頻監視;視頻、音頻同步切換。
遮擋關系的實現在虛擬演播室中,由與真實藍箱的幾何大小有限,攝像機進行推拉搖移等運動時,攝像機鏡頭拍攝的圖像有超出藍箱的區域,為此必須把這一區域遮住,否則這一區域會出現在最終的視頻中,影響合成效果。可以通過如下方法實現(1)通過對真實天花板建模,我們要知道藍箱的幾何尺寸,攝像機的位置、方向、視域,通過為虛擬場景建一個天花板模型并且創建前景掩膜,在alpha緩存中產生一個水平帶。將這個水平帶輸入到色鍵器,與前景、背景一起合成時,可以遮住不需要的區域。
(2)在合成設備中控制鍵窗口(在虛擬布景中無天花板也可以使用)。在色鍵器中一般都有控制鍵窗口的功能,即控制摳像合成時的窗口,前景進行摳像時即將不需要的區域排除在鍵窗口之外,使得在合成時該區域為三維虛擬背景,達到遮擋的效果。
演員在藍箱中表演時沒有任何道具,而要在合成圖像中體現三維的效果,就需要實現虛擬場景中的物體與演員的遮擋關系,將虛擬場景中的物體如桌子、門和柱子等調度到人物的前面,使人物在虛擬場景中有穿插的效果,在加強畫面真實感的同時,也豐富了整體畫面的層次感。
本系統采用掩膜(Mask)技術來實現遮擋,同時還實現了無限藍箱技術。掩膜技術是通過遮擋關系來生成鍵信號。
FG掩膜從背景信號中生成,外部鍵標識蓋住前景的背景區域在alpha緩存中渲染,以4:0:0的格式輸出,直接給色鍵器。
BG掩膜從前景信號中生成,蓋住背景信號的部分區域。
Garage掩膜藍箱的天花板可能較低或對于寬角度拍攝來說太窄。由此需要知道藍箱的幾何尺寸,攝像機的位置、方向、視域,以便于產生garbage掩膜遮住藍箱中真實天花板。通過為虛擬布景建一個天花板模型并且創建前景掩膜,在alpha緩存中產生一個水平帶。
對真實藍箱建模,攝像機的位置、方向、視域可以通過攝像機跟蹤系統得到,在計算機中通過得到的參數和藍箱模型實時計算出攝像機拍攝的圖像中超出真實藍箱的區域,在這個區域內填充像素,在alpha緩存中渲染;依據前景、背景以及遮擋關系,將用于遮擋前景的三維虛擬背景中的物體的信息提取出來,在alpha緩存中渲染;將前兩步在alpha緩存中渲染生成的圖像合成一路視頻信號,通過視頻卡的alpha通道輸出到色鍵器,作為外部鍵與前景、背景實時合成,輸出一路體現三維的效果的視頻圖像。同時本發明也可采用Z-mixing技術和距離鍵技術實現遮擋關系。
信號同步及編碼技術虛擬演播室中圖形產生裝置所實時生成的虛擬場景圖像,需要與真實攝像機拍攝的圖像嚴格同步,才能進行合成輸出。可以選取電視臺中心同步機的標準同步信號或攝像機電荷耦合單元(CCU)提供的復合視頻信號作為同步源。首先對同步源信號進行同步分離,得到色同步、行同步及場同步信號,通過數字鎖相環進行同步鎖相,然后分別同步象素時鐘、行同步時鐘及場同步時鐘,使上述時鐘序列與系統保持頻率和相位的一致。放置在緩沖存儲器中的虛擬場景圖像數據嚴格按照象素時鐘、行同步時鐘及場同步時鐘提供的時序進行輸出,從而使虛擬圖像和真實圖像保持同步。
本系統對虛擬圖像進行了抗閃爍抖動、抗鋸齒的處理。計算機產生的圖像與CCD感光圖像不同,沒有圖像的灰度過渡效應。由于電視掃描分為奇偶場為隔行掃描,單場刷新頻率為25Hz,計算機圖像中的單水平線和離散單象素點在電視圖像上會出現閃爍抖動。采用梅花形采樣HRAA算法,使原圖像的單線、點在周邊產生1/2、1/4亮度點,這樣在奇偶場均有該線、點的特征顯示,消除了閃爍抖動,同時也減弱了鋸齒現象。由于采用的是弱亮度補償,因此保證了圖像的清晰度。虛擬圖像的并行RGB數據要經過編碼處理,形成標準PAL制式電視信號。本系統采用YUV模擬分量編碼和SDI串行數字分量編碼兩種方式。
在3D加速卡中采用了核心IC-GeForce系列,NVIDIA在GeForce系列芯片中集成了5700萬個晶體管,而且是采用了0.15微米技術。GeForce系列架構配備了4條象素管線,每條管線配備2個材質單元,GeForce系列可以讓兩個象素管線同時處理一個4紋理象素。GeForce系列核心時鐘頻率是200MHz,象素填充率和材質填充率為200MHz×4個象素管線=800Mpixels/s
200MHz×4個象素管線×2個材質單元每管線=1600Mtexels/sGeForce系列板卡配備64MB of DDR SDRAM,顯存時鐘頻率是230MHz×2(也就是460MHz),GeForce系列理論顯存帶寬是7.36GB/s460MHz×(128bit bus/8=16 bytes)=7360MB/s應用該技術在GeForce系列中最大限度的提高230MHz DDR帶寬的利用效率。交叉顯存控制技術(Crossbar memory controller)目前的內存控制器一般都可以傳輸256bit的數據(其實是把256bit分成2個128bit數據分為兩次傳輸,因為DDR可以在時鐘周期的上升沿和下降沿都能傳輸數據)。不過問題是當傳輸一個小的三角形數據——這些數據可能只有64bit的時候,傳統的內存控制器會用256bit的能力來傳輸這些64bit數據,也就是說帶寬利用率只有25%其余的75%都被浪費了。GeForce系列采取了把顯存控制器分成4個顯存控制器的方法來提高效率,這4個顯存控制器之間以及它們同GPU之間都相互聯系、通訊協同合作。每個顯存控制器都能獨立傳輸64bit數據,或者協同工作傳輸256bit數據。未來的游戲為了得到更加逼真的效果,小三角形的使用量會更多,GeFroce3采用交叉顯存控制技術能更好的適應這種情況。無損Z軸向壓縮算法(lossless Z compression algorithm)這是LMA架構中又一個提高顯存帶寬利用效率的技術,這項技術同RADEON采用的技術相類似。決定3D場景中的物體景深的就是Z軸向坐標,無損Z軸向壓縮算法可以減少Z軸向數據的大小,但是卻不會減少數據的精度,同樣畫質也不會因此受到影響。Z軸遮擋選擇算法(Z-Occlusion Culling)這是一項類似于ATI的HierarchicalZ技術,主要通過一定的算法來驗證某些象素是否能夠被看得見,從而決定是否對其進行處理和渲染。如果一些象素被確定是不可見的,那么顯示芯片將不會對其進行渲染,從而大量減少無用數據的生成,節約大量的帶寬。一般的3D游戲的精神復雜程度是2,也就是說對于每一個可見象素需要渲染兩次才能得到我們看到的結果,可見如果能真正的實現這種處理,帶寬的利用率的提高不是一點兩點,也就是說在目前的GPU運算能力下,我們還能得到更逼真、更復雜的游戲效果。
“vertex shader”的技術使這些可編程管線能實時產生無限量逼真的圖象效果,這個就是nfiniteFX名字的由來。任何的3D對象都是有若干個三角形組成的,每個三角形都由若干條線組成,兩天線的校點就是一個頂點(vertex)。vertex shader就是一種圖形處理功能,通過處理3D場景中的的對象的頂點,為3D對象加上特殊效果。GeForce系列具有的可編程的vertex shader給了程序設計師的設計空間極大的彈性,Vertex數據屬性包括數據x、y、z軸向坐標,色彩,光照,材質指令等等,vertex shader可以控制所有的這些屬性。你可以想象vertex shader為一個具有運算功能的盒子,這個功能能對vertex所有的屬性進行設定(但是它不會刪除或者創建任何數據)只是改變vertex的屬性,比如各個軸向的坐標、透明度、顏色等等。當然不是每一個進入盒子的vertex都會被改變屬性,而是按照程序的要求來進行的。在GeForce系列中,vertex shader處理單元同硬件T&L處理單元是并行的,也就是說如果vertexshader正在運行,那么硬件T&L單元一定是在休息的。不過圖形對象雖然只是經過了vertex shader處理單元處理而沒有經過硬件H&L單元處理,但是輸出結果依然是經過完全的幾何轉換和光照處理過的頂點。DirectX 7應用程序利用的是靜態T&L原理,所以需要經過硬件T&L處理單元的處理,而復合DirectX8以及以上的應用程序利用的是vertex shader處理單元,而不經過硬件T&L單元的處理可見GeForce系列充分兼容以前的程序,同時又能支持新程序。
在本系統中對象素的處理采用了梅花形采樣法,即利用相鄰象素的采樣點數據計算出來每一個象素最終結果。參閱圖9利用梅花形采樣實際上每個象素都只是采樣2點,也就是說只需要超級采樣的2點采樣的計算能力,就能得到相當于4點采樣的圖象質量。請看下表以及圖10
梅花形采樣在各個分辨率下,只是需要2點采樣的資源就能達到4點采樣的效果,而比4點采樣少用了一般的資源,另外還可以看得出來,梅花形采樣當分辨率越高表現出來的優勢就越明顯。
由于系統在保持優異性能的前提下解決了虛擬場景發生裝置和攝像機跟蹤裝置的造價問題,從而使其應用能夠得以普及。可廣泛應用于模擬駕駛訓練,模擬航天器、船舶、飛行器運行,虛擬游戲、婚紗攝影等領域。
模擬駕駛訓練將攝像機跟蹤系統裝配于相應的駕駛平臺上,如檔位、油門等。可虛擬實景產生相應的聯動效果,駕駛人員可通過視覺感知駕駛效果。
模擬航天器、船舶、飛行器運行將運動對象(航天器、船舶、飛行器等)的運動姿態,通過遙測系統編碼后通過本系統的攝像機數據通道送入圖形產生系統,即可使虛擬運動對象產生聯動。使得在肉眼不可觀察的情況下,提供效果清晰的真實運動的虛擬物體的可視圖像。
權利要求
1.一種真三維虛擬演播室系統,其特征在于包括一攝像機用于獲取前景圖像;一跟蹤子系統設置于攝像機上,用于獲取攝像機運動參數;一延時器其輸入與攝像機的輸出連接,用于對攝像機輸出的視頻信號延時;一圖形發生器一輸入與跟蹤子系統的輸出連接,根據攝像機的運動參數生成虛擬的三維場景;一摳像合成器其輸入分別與延時器和圖形發生器連接的輸出連接,將前景圖像和三維場景進行圖像合成;主控計算機通過信號線與圖形發生器連接,用于控制圖形發生器;錄像設備其輸入與摳像合成器輸出連接,用于錄制合成的圖像。
2.根據權利要求1所述的真三維虛擬演播室系統,其特征在于所述的跟蹤系統為機械式跟蹤子系統,包括感器和編碼盒,所述的傳感器設置在攝像機上,其輸出與編碼盒連接,所述編碼盒通過一接口與所述圖形發生器連接;
3.根據權利要求2所述的真三維虛擬演播室系統,其特征在于所述傳感器包括兩個設置在云臺上分別用于檢測攝像機搖和俯仰的傳感器,一個設置在鏡頭上用于檢測鏡頭聚焦和變焦的傳感器。
4.根據權利要求2或3所述的真三維虛擬演播室系統,其特征在于所述攝像機支持架上設置有位移傳感器,用于實時采集攝像機平移時的位移數據。
5.根據權利要求1所述的真三維虛擬演播室系統,其特征在于所述的圖形發生器為基于視窗操作系統的PC圖形發生器,包括視頻采集卡,視頻處理卡和遮擋卡。
6.根據權利要求4所述的真三維虛擬演播室系統,其特征在于所述視頻處理卡包括GeForce系列圖形加速處理器、抗閃爍處理及鍵信號產生電路、掃描同步補償電路、YUV分量編碼器、數字同步鎖相電路、SDI數字接口、AGP總線接口、PCI總線接口。
7.一種真三維虛擬演播室系統,其特征在于包括至少兩臺攝像機用于獲取前景圖像;至少兩套跟蹤子系統每一跟蹤子系統設置于一攝像機上,用于獲取攝像機運動參數;至少兩個延時器每一延時器的輸入與分別與一攝像機的輸出連接,用于對攝像機輸出的視頻信號延時;至少兩個圖形發生器每一圖形發生器的輸入與一跟蹤子系統的輸出連接,根據攝像機的運動參數生成虛擬的三維場景;至少兩個摳像合成器每一摳像合成器的輸入分別與一延時器和一圖形發生器連接的輸出連接,將前景圖像和三維場景進行圖像合成;視頻切換臺其輸入與摳像合成器的輸出連接,用于切換摳像合成器的輸出;主控計算機通過網絡方式與圖形發生器連接,用于控制圖形發生器;錄像設備其輸入與切換臺的輸出連接,用于錄制合成的圖像。
8.根據權利要求7所述的真三維虛擬演播室系統,其特征在于所述的跟蹤系統為機械式跟蹤子系統,包括感器和編碼盒,所述的傳感器設置在攝像機上,其輸出與編碼盒連接,所述編碼盒通過一接口與所述圖形發生器連接;
9.根據權利要求8所述的真三維虛擬演播室系統,其特征在于所述傳感器包括兩個設置在云臺上分別用于檢測攝像機搖和俯仰的傳感器,一個設置在鏡頭上用于檢測鏡頭聚焦和變焦的傳感器。
10.根據權利要求8或9所述的真三維虛擬演播室系統,其特征在于所述攝像機支持架上設置有位移傳感器,用于實時采集攝像機平移時的位移數據。
11.根據權利要求7所述的真三維虛擬演播室系統,其特征在于所述的圖形發生器為基于視窗操作系統的PC圖形發生器,包括視頻采集卡,視頻處理卡和遮擋卡。
12.根據權利要求11所述的真三維虛擬演播室系統,其特征在于所述視頻處理卡包括GeForce系列圖形加速處理器、抗閃爍處理及鍵信號產生電路、掃描同步補償電路、YUV分量編碼器、數字同步鎖相電路、SDI數字接口、AGP總線接口、PCI總線接口。
13.一種真三維虛擬演播室的實現方法,其特征在于由攝像機獲取前景圖像,并通過跟蹤系統獲取攝像機的運動參數;由延時器對攝像機輸出的視頻信號進行延時;圖形發生器根據攝像機的運動參數實時生成三維虛擬場景的背景信號和遮掩信號;將延時后的視頻信號、三維虛擬場景的背景信號和遮掩信號在摳像合成器中進行圖像合成并輸出至錄像設備。
14.根據權利要求13所述的真三維虛擬演播室的實現方法,其特征在于通過機械式跟蹤系統獲取攝像機的搖、俯仰、平移及聚焦和變焦參數。
15.根據權利要求14所述的真三維虛擬演播室的實現方法,其特征在于由機械式跟蹤系統中的傳感器獲取攝像機的運動信息,并將其轉換成電信號輸出至編碼盒,通過編碼盒將運動參數輸出至圖形發生器。
16.根據權利要求13所述的真三維虛擬演播室的實現方法,其特征在于所述的圖形發生器采用PC圖形工作站,并在視窗操作系統下實時生成三維虛擬場景。
17.根據權利要求15所述的真三維虛擬演播室的實現方法,其特征在于PC圖形工作站中進一步包括對生成的三維虛擬場景進行圖形加速處理和抗閃爍處理。
18.根據權利要求13所述的真三維虛擬演播室的實現方法,其特征在于通過復數個攝像機獲取前景圖像,由每一攝像機對應一個跟蹤系統、延時器、圖形發生器和摳像合成器而形成復數個圖像通道。
19.根據權利要求18所述的真三維虛擬演播室的實現方法,其特征在于在錄像設備前通過視頻切換臺對復數個摳像合成器的輸出進行切換。
20.根據權利要求18所述的真三維虛擬演播室的實現方法,其特征在于所述的復數個圖形發生器通過聯網實現場景多層面、多角色動畫三維場景。
全文摘要
本發明公開了一種真三維虛擬演播室系統及實現方法,包括機械跟蹤子系統、圖形發生器和摳像合成器等。首先由一組攝像機采集前景視頻信號(FG),同時攝像機上的機械跟蹤系統實時提供攝像機移動的信息,這些信息需要實時傳給圖形發生器,圖形發生器根據當前攝像機的位置實時地繪制出相應的背景信號(BG)和掩蔽(mask)信號。然后,由合成系統根據掩蔽信號來合成FG與BG,形成最終圖像輸出。本發明采用一對一的通道化的設計結構方式,使得系統的搭接安全可靠,保證了系統的穩定運行,同時在還保持系統性能的前提下解決了圖形發生器和攝像機跟蹤裝置的造價問題,從而使其應用能夠得以普及。
文檔編號H04N5/222GK1477856SQ0212892
公開日2004年2月25日 申請日期2002年8月21日 優先權日2002年8月21日
發明者鄭福雙 申請人:北京新奧特集團