專利名稱:一個用于獲取諸自動體視圖象的方法和系統的制作方法
技術領域:
本發明涉及一個獲取諸模擬自動體視視頻圖象的方法。
現在,在計算機輔助設計(CAD)市場中有大量的軟件,它們使存儲和關于多個物體或被觀察的一個場景的三維信息相對應的數據成為可能。這種軟件和諸處理裝置結合,這些處理裝置在任意選擇的諸觀察角度上在屏幕上只能正確地看到物體或被觀察場景的一個平面圖象。
例如,在歐洲專利申請號EP-125480(HONEYWELL)和EP-172110(GIRAVIONS DORAND)中已經提出多個有兩個視點的體視模擬方法,然而它們通過存儲體視的諸半圖象工作,所以不適合和上述的軟件一起使用。
本專利的申請者已經開發出一種有多于兩個基本圖象,也叫做“視點”的自動體視視頻系統,典型地提出視點數n等于4。本專利的申請者是許多特別是關于拍攝體視視頻圖象裝置的專利或專利申請的所有者,具體地說如法國專利號8711764(FR-2619664),9305381(FR-2705007)和9305383(FR-2704951)。
那種自動體視視頻系統使觀察者不用戴專門的眼鏡就能看到在一個屏幕上以浮雕形式出現的諸圖象,這個屏幕是由一個光學選擇器,如一個透鏡陣列組裝而成,并且觀察者不限于占據一個為了觀察的精確位置,觀察者能在視覺舒服的良好條件下做到這一點。
術語“行”和“列”分別用來表示由一個或者站著或者坐著的觀察者看到的諸像素的諸水平線和諸垂直行,并且獨立地表示,例如,方向的諸水平線和諸垂直行,在這樣的方向上一個陰極射線顯示管被水平地或者垂直地掃描。例如,在有許多垂直定向掃描線的一個陰極射線管(CRT)上,將這種掃描“線”稱為“列”。
現在,當顯示如上定義的存儲數據時,還沒有這樣一種技術上的解決辦法,它使在諸視覺舒服的條件下模擬一個浮雕形式的顯示成為可能,這些條件是能使在多于兩個的視點上看到這種自動體視效應的條件。
自動體視攝象機利用一個透鏡陣列,一般地是一個有多個圓柱透鏡的陣列,它的模擬僅能導致一個模型,這個模型非常復雜,當產生有多個遵守自動體視參量的交替的視點的復雜圖象時它要求大的計算機能力。在Pierre ALLIOd的題為“一個為了拍攝視頻圖象或為了以浮雕形式合成圖象和為了以浮雕形式顯示圖象的方法”的論文(發表在l′OndeElectrique,Vol.71,No.1,pp.26-32,1月1日,1991,巴黎)中已經考察了一個這樣的模型。在那篇論文中考察的模型意味著完成了一個軟件包(Turbo CAD 3D)的特別修正的版本,它與產生的諸矢量形式有關,為了實時計算諸圖象或者為了使合成的諸圖象(但不是在實時中)成為栩栩如生的諸電影,基本上在實時中顯示這些矢量形式。
本發明提出的問題是這樣一個問題,它難以先驗地解決,并且能夠設想的諸解決辦法看來是先驗地排除實驗室外的諸多應用。
本發明基于這樣一個思想,它令人驚奇地能模擬一個自動體視攝象機,上述類型的單個攝象機,這是通過多個基本攝象機,即通過一個拍攝圖象的系統,根據定義這個系統不是自動體視的,而且通常在實施中它會引起許多大問題,甚至當只有兩個攝象機,所以只有兩個視點時也是如此,例如和名為“IMAX 3D”的已知系統的情形相同,而當視點數超過2時這種系統變得非常復雜。
我們已從IEEE 1988消費者電子學國際會議,Rosemont,1988年6月8日,178-179頁,Shinichi Yamaguchi的“體視視頻電影攝象機3D-CAM”中知道了另一種兩個攝象機的設備。
那篇文章涉及為了從二個視點拍攝體視圖象的“3D-CAM”攝象機,它的諸圖象然后交替地顯示在一個屏幕上,通過眼鏡進行觀察,這種眼鏡是用受到控制的多個液晶快門裝配成的,以便將在某個時刻的一個圖象交替地傳送到左眼和右眼。
那篇文章涉及一個用于拍攝圖象(不是為了模擬它們)的系統,它僅有兩個視點,在它的結構中不會引起和自動體視術相關的諸多問題,觀察者需要眼鏡或者其它的東西,并且限制觀察者保持在相對這個屏幕的一個固定的位置上。
我們還從IEEE Transactions on Consumer Electronics,Vol.37,No.1,1991年2月1日,pp.39-43的Yasuo Takemuro用300K個像素的IT-CCD傳感器的體視視頻電影攝影機”中知道了又一種兩個攝象機的設備。當觀察時,那個設備要求觀察者帶上裝配有多個液晶快門的眼鏡。
歐洲專利申請EP-641132(MATSUSHITA)涉及一個為拍攝圖象的兩個攝象機的設備,其中兩個攝象機間的角度以為了使最近點的雙目合成成為可能的方式確定。那個有兩個視點(即不是一個模擬)的拍攝圖象的設備不能考慮和有三個或更多個視點的自動體視術相關的特殊問題。
根據本發明,通過對一個有多于二個視點的自動體視系統,適當地考慮其物理的,光學的和感覺的參量,使模擬成為可能。
這樣,本發明的一個目的是提供一種不需要復雜計算而能獲得模擬自動體視圖象的方法。
本發明的另一個目的是提供一種方法,它使從一個容納包括三維信息在內的合成視頻圖象的標準數據庫產生自動體視圖象成為可能,并且能在不需提供專用的軟件甚至也不需修改現有的軟件的情況下,在用像一個透鏡陣列這樣的一個陣列裝配成的一個屏幕上,看到以浮雕形式出現的圖象。
本發明的又一個目的是提供一種方法,它使得在實時或準實時中模擬栩栩如生的圖象成為可能。
一個模擬攝象機有一個光學中心,例如,一個針孔,和一個模擬敏感表面,這個表面有一個中心,這個中心定義為以后將在一個屏幕上觀察的圖象的諸對角線的交點。
這樣,本發明提供一個獲得模擬自動體視圖象的方法,其特征在于從包括關于一個物體或將在一個顯示屏上觀察的場景的三維信息在內的存儲數據出發,它提供n個模擬攝象機,這里n≥3,每個模擬攝象機都產生所說場景的一個圖象,所說諸圖象的每一個都組成一個自動體視圖象的一個視點,這些模擬攝象機是等距離的,被同一個攝象機間的距離b分開,當拍攝一個圖象時這個距離保持常數,這些攝象機有恒定視場角,這些模擬攝象機的每個都有一個軸,這個軸通過它的光學中心和一個稱為模擬清晰點的點,這個點基本上位于離開所有的所說的模擬攝象機相同的距離D′處,其特征還在于被觀察的場景有一個最近點Pp和一個最遠點Pe,其特征還在于,攝象機之間的距離b和這組模擬攝象機與這個最近點Pp之間的距離Dmin以這樣一種方式進行選擇,為了拍攝所說的圖象和對于在這個最近點Pp和這個最遠點Pe之間變化的一個清晰點,在兩個相鄰的模擬攝象機的所說的軸之間的角度2α在對于這個最近點Pp不大于4.5°和對于這個最遠點Pe不小于0.2°的值之間變化。
本方法可以在一個有多于兩個視點的自動體視系統的意義上實施,并和體視場的一個正常的景深相對應,其概念截然不同于一個有多個物鏡的系統的常規的視場景深,在下面的描述中我們將對其作較詳細的解釋。
這種視場的體視深度的概念是有多于兩個視點的自動體視術特有的,如下所述,它使定義滿意地感覺到浮雕效果的條件成為可能。
在一個特別有利的可將浮雕的自然感覺擴展到無窮遠的變體中,這個方法的特征在于對于一個包括位于無窮遠處的點Pe的場景,攝象機間的距離b如此選擇,使得對于角度2α有0.2°的值的情形,模擬清晰點位于距離Dmax,這樣,一個物體從距離Dmax沿兩個最外端的模擬攝象機的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動,這和在顯示屏上的n個透鏡相對應,每個透鏡都復蓋n個像素。
本發明的這個方法的一個特別有利的實施是對于這樣一種情形,在那里視點數因產生多個附加的中間視點而增加,但是沒有改變體視基也沒有改變立體顯示角,更加特別適用于有大于四個的許多視點的高清晰度情形,這使得到視場的較大的體視深度成為可能,這反過來又使得在其它事物保持不變時用戶在顯示屏前面有較大的移動范圍成為可能。這個優選的實施方法特征在于從包括關于在一個顯示屏上觀看的場景的三維信息的存儲數據出發,它提供n個模擬攝象機,這里n>4,每個模擬攝象機都產生一個所說的場景的圖象,這些模擬攝象機是等距離的并由同一個攝象機間的距離b分開,當拍攝一個圖象時這個距離保持常數,這些模擬攝象機有一個恒定的視場角,這些模擬攝象機的每一個都有一個軸,這個軸通過它的光學中心和一個稱作模擬清晰點的點,這個點基本上位于離開所有的所說的模擬攝象機同一個距離D′處,其特征還在于被觀看的場景有一個最近點Pp和一個最遠點Pe,其特征還在于攝象機間的距離b及這組模擬攝象機和最近點Pp之間的距離Dmin以這樣一種方式進行選擇,為了拍攝所說的圖象并對于在最近點Pp和最遠點Pe之間變化的一個清晰點,兩個相鄰的模擬攝象機的所說的軸之間的夾角2α在一個對于最近點Pp不大于18°/n和對于最遠點Pe不小于0.8°/n的值之間變化。
在一個特別有利的可將浮雕的自然感覺擴展到無窮遠的變體中,這個方法的特征在于對于一個包括位于無窮處的點Pe的場景,攝象機間的距離b如此選擇,使得對于角度2α有0.8°/n的值的情形,模擬清晰點位于距離Dmax,這樣,一個物體從距離Dmax沿兩個在最外端的模擬攝象機的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動,這樣直至無窮遠都產生一個清晰的圖象和一個在諸視點間連續移動的感覺。
這樣,本發明的這個方法使以特別簡單的方式實施模擬成為可能,假設大家都知道有多個攝象機的諸體視系統是特別復雜的并難以實施的,甚至當它們被限于兩個視點和兩個攝象機時也是如此,則這就不合理了。
所說諸軸可以是諸模擬攝象機的諸光軸。
在優選的實施方案中,諸模擬攝象機有它們的諸模擬的敏感的表面,這些表面相互平行并基本上位于一個共同的平面上。
在一個特別有利的實施方案中,這個方法的特點在于諸模擬攝象機是針孔型的。
當用一個在其前面放有一個透鏡陣列的電視屏幕進行觀看時,通過對模擬攝象機的每個圖象點配置等于視頻圖象的垂直分辨率的垂直分辨率,和等于視頻圖象的水平分辨率除以視點數n的水平分辨率,每個基本圖象都可直接在對應于其自動體視術的程度的畸變的格式中得到。此后,為了得到能夠在一個電視屏幕上觀看的一個模擬自動體視圖象,交替(interleave)得到的諸基本圖象就足夠了。
在本發明中,也可以得到明顯地改變一個物體或一個場景大小的效果而沒有擾動其聚焦在所說的距離D′上的形狀,這是通過相對所說的物體移動模擬攝象機,但既不改變清晰點也不改變角度2α,并通過和焦距中的變化成正比地修正b的值來實現的。
在一個優選的實施方案中,這個方法的特征在于這個圖象包括有一個給定體視基B的諸體視對,所說的體視對的視點被m個中間視點分開,在這里m是≥1的整數。它可以在一些條件下包括一個觀察步驟,在那里在理想的“立體彩色”距離,一個觀察者看到所說的許多體視對中的一對,這些體視對有被m個基本視點分開的多個視點。
本發明也提供一個自動體視視頻系統,其特征在于它包括用來獲取一個被觀察的場景的諸模擬自動體視視頻圖象的設備,這個設備有一個容納包括關于一個物體或在顯示屏上觀察的一個場景的三維信息在內的存儲數據的數據庫,用來產生n個模擬攝象機的設備,這里n≥3,這些模擬攝象機中的每一個都產生所說的場景的一個圖象,這些模擬攝象機是等距離的并被共同的攝象機間的距離b分開,當以一個恒定的視場角度拍攝圖象時這個距離保持不變,這些模擬攝象機中的每一個都有一個軸,這個軸通過它的光學中心和通過一個基本上位于離所有的所說的模擬攝象機同一個距離D′上的“模擬清晰點”,被觀察的場景有一個最近點Pp和一個最遠點Pe,用來產生n個模擬攝象機的所說的設備這樣設置,使得攝象機間的距離b及這組模擬攝象機和最近點Pp之間的距離Dmin滿足這樣的條件,在這個條件下對于所說的圖象和為了聚焦在最近點Pp和遠點Pe之間的變化,兩個相鄰的模擬攝象機的所說的軸之間的角度2α在對于最近點Pp不大于4.5°和對于最遠點Pe不小于0.2°的值之間變化;和顯示設備,在這個設備中一個位于理想的“立體彩色”距離的觀察者看到一個體視對,它包括由m個中間視點分開的兩個視點,其中m大于或等于1。
這個系統的特征可能在于用來產生n個模擬攝象機的設備如此設置,使得對于一個有一個位于無窮遠的點Pe的場景,攝象機間的距離b是這樣的,對于數值等于0.2°的角度2α,模擬清晰點P位于距離Dmax,這樣,一個物體從距離Dmax沿兩個在最外端的模擬攝象機的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
本發明也提供一個系統,它能通過產生多個附加的中間視點增加視點的數目,其特征在于它包括用來獲取一個物體或一個被觀察的場景的諸模擬體視視頻圖象的設備,這個設備有一個容納包括關于這個物體或在一個顯示屏上被觀察的這個場景的三維信息在內的存儲數據的數據庫,用來產生n個模擬攝象機的設備,其中n>4,這些模擬攝象機中的每一個都都產生所說的場景的圖象,這些模擬攝象機是等距離的并由共同的攝象機間的距離b分開,當拍攝圖象時這個距離保持恒定,這些模擬攝象機中的每一個都有一個軸,這個軸通過它的光學中心和一個“模擬清晰點”,這個點基本上位于離開所有的所說的模擬攝象機同一個距離D′處,被觀察的場景有一個最近點Pp和一個最遠點Pe,所說的用來產生n個模擬攝象機的設備如此設置,使得攝象機間的距離b及這組模擬攝象機和最近點Pp之間的距離Dmin滿足這樣的條件,在這個條件下對于所說的圖象和為了聚焦在最近點Pp和最遠點Pe之間變化,兩個相鄰的模擬攝象機的所說的軸之間的夾角2α在對于最近點Pp不大于18°/n和對于最遠點Pe不小于0.8°/n的值之間變化;和顯示設備,在這些設備中一個位于理想的“立體彩色”距離的觀察者看到一個體視對,它包括由m個中間視點分開的兩個視點,其中m大于或等于1。
這個系統的特征可能在于用來產生n個模擬攝象機的設備如此設置,使得對于一個有一個位于無窮遠的點Pe的場景,攝象機間的距離b是這樣的,對于數值等于0.8°/n的角度2α,模擬清晰點P位于距離Dmax處,這樣,一個物體從距離Dmax沿兩個在最外端的模擬攝象機(C1,C4)的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
所說諸軸可以是諸模擬攝象機的諸光軸。
在一個優選的實施例中,模擬攝象機有它們的多個模擬的敏感表面,這些表面相互平行并基本上位于一個共同的平面上。
本發明的許多其它特征和優點在參照附圖閱讀下面的描述時顯得更加清楚,其中
圖1是表示本發明如何通過諸模擬攝象機,例如諸針孔攝象機得以實施的圖。
圖2是圖1的詳細情況,表示諸針孔攝象機的情形,圖2b是說明本發明的一個針孔攝象機的模擬屏幕的圖。
圖3a和3b表示由于得到上述圖中的諸模擬攝象機提供的諸基本圖象的支持而建立起來的一個自動體視圖象的兩種情形。
圖4a和4d表示本發明的四個有利的變體;圖5表示根據本發明的均勻自動體視術的條件;和圖6表示本發明的一個優選實施例。
為了對從許多合成的圖象制造出一個自動體視圖象的原理加以定義,必須通過計算模擬一個復雜的圖象,這個復雜的圖象能夠用一個如在申請者的法國專利No.8711764(FR-2619664);No.9305381(FR-A2705007)和No.9305383(FR一2704951)中描述的攝象機得到。
根據本發明,為了產生這個復雜的視頻圖象,如果認為去交替的圖象是由在申請者的法國專利No.9303580(FR-2705006)中描述的處理方法得到的,則不需要引入一個透鏡陣列。在這種方法中由所謂的“n個圖象”模式得到的圖象,為了計算,能夠通過諸模擬攝象機實施,如果這些模擬攝象機實際上以如下所述的一種特殊的方式放置的話。這些模擬攝象機有利地等效于諸針孔攝象機。敏感表面的分辨率能夠是各向異性的,這樣對于每個圖象點或像素,在垂直方向上考慮的分辨率等于最終圖象的垂直分辨率,而水平分辨率等于最終圖象的水平分辨率除以n(視點數)。這使得在一個電視屏幕上的顯示成為可能。然而,對于一個用n個投影儀的背投顯示,分辨率保持各向同性。
參照圖1和2a,n個主光軸A1到A4,即通過諸模擬敏感表面(E1,.......,E4)或其等效物的中點P0并垂直于所說諸表面(E1,.......,E4)的諸直線,通過諸針孔(O1,......,O4)并交于在模擬自動體視攝象機C的焦距D處的單個P點。從所說的這個單點和模擬系統的n個光軸形成的角度(2α),我們成對地取這個角,處于兩個極限值之間,這兩個極限值定義為和n-視點TV自動體視術相關的諸特殊觀察條件的函數。
為了定義在極限處的諸條件與模擬和/或實施所說的諸自動體視圖象的方法,需要從上面定義的自動體視圖象出發并分析其特征。
在本發明中設想的自動體視系統中,在兩個視點之間至少產生一個附加的視點,這兩個視點被認為是一個位于如下定義的理想的或“立體彩色”距離的觀察者的兩個眼睛看到的視點。這兩個視點之間的相干性必須和上述的自動體視攝象機得到的足夠接近。在側向產生至少一個附加的視點,給出總數為四個或更多的視點,允許觀察者的頭平行于屏幕的平面水平地移動也是有利的。這組視點使得產生一個觀察者能夠在其中移動和觀察屏幕(特別是在垂直于這個屏幕的軸上)而不會失去浮雕的感覺的總體積成為可能。和只是成對地使用體視視點,沒有任何如上定義的諸中間視點,并且如果要不戴眼鏡進行觀察,就要限制觀察者相對屏幕保持在一個固定的位置的諸系統作比較,正是這個特性表征了自動體視術的特征。
在用和申請者的上述諸專利相應的一個攝象機的實際情形中,已經制造了能夠拍攝諸4-視點圖象和不用眼鏡就能同時觀察這些圖象的系統,這個系統用一個標準的50赫茲的PAL CCIR攝象機,一個有多個目鏡的系統和一個標準電視屏幕,這個屏幕能以前進的模式(即非交替的)用平行于圖象的諸行放置的陣列中諸透鏡的軸顯示諸圖象。
為了在和本發明的一個優選實施方案相對應的一個實施方案中進行觀察,開始時要調整圖象的幾何位置,將它放入和位于電視屏幕前面的有很多透鏡的陣列相應的地方,從而使有許多透鏡的陣列的間距基本上等于有四個像素的諸組的間距,這里“4”對應于在這個特殊情形中為拍攝圖象選擇的視點數,以便使一個位于這個選出的觀察距離上的觀察者的一只眼睛通過有多個透鏡的陣列只能觀察到一個像素模四,這個選出的觀察距離對應于理想的立體彩色距離。
假設觀察者閉上一只眼睛和平行于屏幕的平面移動頭部而保持在離開圖象的一個恒定的距離上,那么那只眼睛將看到號碼為1,2,3和4的所有的視點連續地通過。在看到所有的視點后,這只眼睛將再次看到號碼1的視點,此后,隨著連續的移動,這只眼睛將看到下面的諸視點,其號碼為1,2,3,4;1,2,3,4;1,2,3,4;1,2,3,4;1,2,3,4;等等。換句話說,這是一個模系統,其中當觀察者平行于屏幕移動時,將數次看到同樣的諸視點。每個有四個視點的組對應于一個觀察角,它和四個像素在屏幕上占有的圖象面積及用于顯示的陣列的焦距有關。位于屏幕前的有多個透鏡的陣列的間距必須稍小于有四個被顯示像素的諸組的間距。
如果分別用參照字母(a),(b),(c)和(d)表示視頻圖象中的四個連續的像素列的第一,第二,第三和第四列中的一組像素,視點No.1包括圖象中的所有像素(a),視點No.2包括圖象中的所有像素(b),視點No.3包括圖象中的所有像素(c),視點No.4包括圖象中的所有像素(d)。在理想的距離,觀察者將用一只眼睛看到所有的像素(a),而用另一只眼睛看到所有的像素(b)或(c)或(d)。實踐表明希望在標稱的顯示距離,即理想的,立體彩色距離1出現下列的對[(a)和(c)]或[(b)和(d)]。如果觀眾移向屏幕,假如眼睛間的瞳孔間距是常數,則諸立體角的諸邊緣彼此靠近,所以觀眾看到對(a)和(d)。如果觀眾從屏幕移開,立體角的諸邊緣(瓣)彼此分開,所以觀眾看到對[(a)和(b)]或[(b)和(c)]或[(c)和(d)]。實際上,因為已經用由有單個攝象機組成的自動體視系統拍攝圖象,這個單個攝象機有一個有多個透鏡的陣列和一個有多個物鏡的系統,由于四個視點的特殊的相干性,觀察者可以從理想的,立體彩色距離(最初選擇的距離)移開。這四個視點和在一個用有多個廣角物鏡的系統拍攝的有小視場深度的明亮的圖象中同時得到的大量圖象有相同的相干性。這個特性也存在于用本發明的這個優選實施方案模擬的情形。
在標稱的觀察距離(它是理想的,立體彩色距離),觀察者看到(對于n=4)根據本發明由第一個I1和第三個I3視點或由第二個I2和第四個I4視點形成的一個體視對。一個體視對不是由兩個相鄰的視點而是由在它們之間有一個中間視點的兩個視點(或者甚至m個中間視點,這里m≥1,在這種情形兩個相鄰的視點間的基本體視基等于B/(m+1),B是選擇的體視基)形成的情形中,參量的這種選擇使得一個不戴特殊眼鏡的觀察者可以利用一個觀察體積,在這個觀察體積中觀察者能夠進行平行于顯示屏或垂直于顯示屏的移動,并在現在這種應用的意義內表示均勻自動體視術的特征。B能夠選擇得小于,等于或大于一個觀察者的瞳孔間距E(65mm)。
結果,參照上面的例子,一個觀察者能夠從理想的,立體彩色距離向著或離開屏幕移動,或者實際上能夠進行橫向移動而沒有失去體視視覺。
一旦圖象出現在屏幕上,如果觀察者從標稱的觀察距離(或理想的立體彩色距離)向顯示屏(它可以是一個投影屏(例如一個電視屏)或一個背投屏)移動,那么體視基如感覺的那樣增長較大,如果觀察者離開屏移動,那么體視基變小,由于在體視基中的這個變化精確地補償了和諸聚散力,即使兩個RECTINAL圖象重疊的諸肌肉力,中的變化相關的深度感覺中的變化,所以總的感覺是恒定不變的,因此保證了浮雕感覺所必需的體視合成,這必然伴隨著在和屏垂直的方向上的諸移動。
當調整“立體彩色”,使得觀察者看到視點[(I1)和(I3)]或[(I2)和(I4)],和觀察者向顯示屏移動得足夠近時,用戶于是看到視點(I1)和(I4)并且能夠不再平行于這個屏移動,和當從很近處看的實際情形相同。當觀察者離開顯示屏移動時,那么將看到下列諸視點對中的一個[(I1)和(I2)]或[(I2)和(I3)]或[(I3)和(I4)]而且觀察者能夠在一個相當大的距離上移動,這樣使觀察者能在一個體積范圍內選擇移動。
這同樣能用于選擇m大于1,使舒適感增加的情形。
圖5指出當觀察一個電視屏幕時有“立體彩色”的條件。這種圖象已將諸像素的諸列交替。間距Pr的陣列RV中的每個透鏡對應于屏幕上諸像素的n列。諸透鏡的諸中心C在屏幕上的像素平面中彼此分開ΔD0放置。像素間距為P′p。P′=nP′p。在“立體彩色”距離D0,常規地應用下面的公式P′Pr=D0+ΔD0D0]]>均勻自動體視術(在這個“立體彩色”距離觀察由m個中間視點分開的兩個視點)的條件是ΔD0=(m+1)P′pD0/E,其中m大于或等于1。
這樣,均勻自動體視術是一種“模”系統,它能使一個觀察者平行于和垂直于一個屏移動,而保持浮雕的感覺。
這和在IEEE Transactions Electron Devices,Vol.22,No.9,pp.784-785,1975年9月,紐約,Y.Tsunoda發表的題為“用投影型復合全息術顯示三維彩色”的論文中描述的技術根本不同。那篇論文涉及的是一個用復合全息術并包括N個視點的體視顯示設備。
在那里,通過在以相等角度θ0=θ/(N-1)分開的N個方向上的角度掃描拍攝諸圖象,以便增大總的顯示角,使它變得等于θ=40°,例如有θ0=4°和N=11個視點。在兩個相鄰視點間的體視基等于瞳孔間的距離。它不是一個“模”系統,在這個系統中,當觀察者平行于屏幕移動時數次看到同樣的諸視點。此外,如果選擇θ0等于顯示的有多個透鏡的陣列中的諸透鏡的主瓣的孔徑角(±2°),則使這些角度作為焦距的函數變化是不成問題的。觀察者也必須保持在預先確定的離開屏幕的距離上。
對于一個有兩個視點的體視系統,或一個有成對體的諸視圖象而沒有諸中間視點的體視系統,我們應回想起不用特殊眼鏡的觀察要求觀察者占有一個非常精密地確定的固定位置,只有當戴上特殊的分開的眼鏡(例如用有顏色的玻璃或偏振鏡片),或戴上有多個液晶的眼鏡,它由紅外線控制,右眼和左眼交替地關閉,如上述的IMAX 3D方法中一樣,才能允許一個觀察者移動。
為了在本發明的優選實施方案中得到合成圖象或再復合的真實圖象,如果我們要享受如上定義的均勻體視術的諸基本質量的快樂,即不用戴特殊的眼鏡就可觀察一個屏幕而仍然能使觀察者在相當大的體積范圍內自由地移動的話,需要再產生自動體視攝象機所特有的諸多特性。
根據本發明的優選實施方案,用下面定義的諸極限值,這些條件組成了獲取能在一個視頻屏幕上看到的諸模擬自動體視圖象所需要的諸多原理。
為了合成計算或為了成對地再組合多個平的體視圖象以便得到一個自動體視圖象,需求考慮四個主要的參量1)總的可利用的體視基,和更具體地,兩個相鄰視點間的有效的體視基B/(m+1);2)兩個相鄰的模擬針孔攝象機的諸光軸之間的夾角2α的值;這些軸會聚在位于模擬焦平面的距離上的一個交點;如果在圖象上諸視點間沒有水平位移,則這個焦平面和顯示屏的平面相對應。
3)整個圖象的水平分辨率和每個視點的水平分辨率;和4)模擬攝象系統的視場角。
根據本發明,諸圖象是對于一個觀察距離和一個場景體積,這個場景體積和觀察不放大或縮小的顯示場景相對應,用n個模擬攝象機同時拍攝的,其中有兩個相鄰的攝象機分開一個小于一個觀察者的兩個眼睛間距的距離。
至少須要三個視點,對于標準的視頻制式(PAL,SECAM或NTSC)數字四是一個優選值。在圖1和2a中考慮四個視點,這些視點用標記為C1到C4的四個針孔攝象機模擬,每個針孔攝象機都有一個各自的針孔O1到O4和一個敏感表面或每個都有一個中心P0的屏幕E1到E4。每個模擬攝象機的屏幕E1,......,E4位于稱作焦距的離開針孔O1,.....,O4的距離f上,并且它有一個寬度e。例如可用HANDSHAKE出售的TURBO CAD 3D軟件包,例如通過相繼地產生諸模擬攝象機中的每一個,實施這樣一個模擬。
當考慮一個以這樣一種方式建立起來的系統時,即使模擬焦距D0和在屏幕前的實際觀察距離(實現立體彩色的距離)相等,以及圖象視場和在顯示屏上的尺寸保證一個在焦平面上10厘米高的物體在屏上高10厘米,這對應于線性放大倍數等于1,于是,在優選的實施例(均勻體視術)中及對于m=1,對于在這個觀察距離同時看到的兩個視點[(a)和(c)]或[(b)和(d)]間的模擬體視基,需要盡可能的接近觀察者的兩個瞳孔間的距離,或者換句話說對于兩個相鄰的模擬攝象機間的距離,要盡可能地接近觀察者瞳孔間距的一半。在這種情形下,浮雕的感覺也和實際的場景一樣。
因此,一旦在屏幕上形成圖象,如果觀察者從理想的立體彩色距離向顯示屏移動,則感覺到體視基實際上在增大,如果觀察者從屏幕移開,則體視基收縮,因為在體視基中的這種變化精確地補償了和諸會聚力中的變化相關的深度感覺中的變化,總的感覺不變,這些會聚力即是將兩個RECTINAL圖象送入寄存器以便得到有浮雕感覺所必需的體視合成而加上的諸肌肉力,它的變化必需補償垂直于屏幕的方向上的移動。
當“立體彩色”如此建立起來,使得觀察者看到視點[(a)和(c)]或[(b)和(d)],并且觀察者移向顯示屏足夠近時,則觀察者看到視點[(a)和(d)]并且不再能夠平行于屏幕移動,如在實際情形中當觀察者從近處觀察時那樣。當從屏幕離開時,觀察者看到視點[(a)和(b)]或[(b)和(c)]或[(c)和(d)],并可自由地相當大地移動,這樣使觀察者在一個體積范圍中移動成為可能。
放大倍數的概念是重要的,因為它使對于給定的兩個相鄰的模擬攝象機間的夾角2α,確定所需的作為要建立或重建的諸場景的體積的函數的體視基成為可能,盡管諸顯示屏的參量不變。令人驚奇的是,它能以一種簡單的方式模擬諸場景而保持除了計算的或重建的場景和在屏幕上感覺到的場景之間的尺寸比以外的所有參量。為此目的,必需采用一個將角度2α保持在某些極限值內的攝象機間的距離。場景的體積和觀察距離自動地變化。這導致被直接模擬的諸“宏觀”和甚至“微觀”系統,而在另一個方向導致也在被模擬的諸“超級”系統,而仍然保留浮雕的實際感覺,這三個尺度保持在一個比值中,為了避免超出觀察者補償感覺的能力。
如果現在考慮一個給定的系統,并且如果對于恒定的體視基改變模擬的焦距,那么相鄰視點間的角度2α改變。對于恒定的圖象視場,和可用的水平的單眼分辨率有關,可以區別在有某種分辨率的深度方向彼此分開放置的諸物體,這個分辨率對應于為了引起從一個視點到另一個視點的可觀察到的變化(或者不一致性)所移動的距離。假設觀察者除了上述的可能性外不改變離屏的距離,在諸視點間的差異(如果模擬的焦距小于從觀察者到屏幕的距離,則差異較大,或者如果模擬的焦距大于所說的距離,則差異較小)將以和實際比較景深效果的畸變感覺出來,這個實際情況是由其眼睛放在模擬自動體視攝象機的有多個物鏡的系統的光孔上的觀察者模擬出來的。如果焦點太短,觀察者感覺到一個夸大的景深。如果焦點太長,觀察者感覺到一個縮小的景深。在這兩種情形中,在圖象中缺少它的二個維數間(對應一個平的圖象)和第三維或景深間的相干性,這種不相干性能夠超出觀察者補償感覺的能力。當確定極限角2α時必須考慮這個現象,為了保持“自然的”印象一定不能超過這個極限值。在較大或較小的值,需要修正體視基,以便將角度2α的值作為諸模擬焦距的函數回復到它的諸極限值之內。
這導致在計算的或重建的諸場景中產生標度的諸多變化,這樣就要將圖象的線性放大倍數和景深的感覺相匹配。可用于每個視點的水平分辨定義在圖象中能夠分析和觀察的景深區段的尺寸,因此最大和最小焦距間的這些區段的數目和角度2α的諸極限值相對應,而不應忘記在屏幕上觀察到的視場的體視深度依賴于所用的視點的總數和在屏幕上的光選擇器(透鏡陣列)的間距。
如果可以用一個連續的總的光孔,對于這樣一些物體,當觀察者平行于屏幕的平面移動其頭部時,這些物體是完全清晰的和/或以連續的方式彼此相對移動,模擬拍攝圖象,則在屏幕上顯示的諸物體可能看來是在屏幕上在極限視點(a)和(d)之間通過只和視點數n乘以光選擇器的間距,即乘以n2個像素的積相等的水平距離移動。
正是這個最大的位移定義了視場的體視景深的概念。
如果用一個針孔攝象機實施模擬,則諸物體看來是不連續地移動,然而,視場的體視景深的值保持和在一個連續光孔的情形中相同。
所以用一個實際的連續的光孔,諸物體一旦通過多于有n個視點的n個透鏡,每個透鏡有n個像素,即物體有多于n2個像素的位移時,諸物體顯得模糊。一個CCD傳感器的離散特性引起真正的連續性和與諸針孔攝象機相關的離散性之間的妥協。
視場的觀察深度定義為被觀察的場景的最近點Pp和最遠點Pe之間的距離。只有通過模擬點大小的諸光孔或一個非連續的總光孔(它實際上是對諸針孔攝象機發生的)才能增加視場的觀察深度,這時如果諸物體所在位置超出顯示屏上的某個表觀距離(在顯示距離前1/3,在其后面2/3),則諸物體看來是以諸多離散的跳躍方式移動,隨著離開屏幕的距離增加,諸跳躍的尺寸增加,而物體保持在焦點上。
當使用一個視場的體視深度,使其上沒有形成聚焦的諸物體以諸多離散的跳躍方式移動時,諸初始觀察條件當諸離散跳躍變得太大時惡化到這樣一種程度,使得觀察只能在屏幕前立體彩色最佳的空間區域中進行。在離開屏幕某個距離的諸物體看來是由斷開的區段組成的,這些區段已經粘著在一起,有或是太多或是太少的材料。這特別地發生在如果圖象是在夸大景深(超體視術)的諸條件下制成的情形。于是諸缺點積累起來,對浮雕感覺的干擾和由于觀察空間受到很大限制而產生的不舒適有關。如果,如在電視的情形,可用的顯示分辨率是有限的,則對于被顯示的場景,不希望利用太大的視場景深。因為我們分離雙目聚散度和單目調節的能力是有限的,所以觀察離屏幕遠的物體是很累人的。將在沒有聚焦好和復視(不能雙目合成)的情況中看到物體。
參照圖2,可應用下列公式P=f(d-D)·cos(π/2-α)d·sin(π/2-α)+[D·sin2(α)]/cos(α)]]>和f=e2·tan(θ/2)]]>即p=f(d-D)·tanαd+D·tan2α]]>其中p=和投影屏的中心P0相關的投影距離;f=針孔和投影屏E的平面之間的距離,稱為模擬攝象機的焦距;D=攝象機的瞄準軸會聚在清晰點P的距離(D=OP);d=從被觀察點到O點的距離;α=兩個攝象機之間的半角(用弧度表示);e=投影屏的寬度;和θ=一個模擬攝象機的觀察視場的全孔徑角,即它的視場角。
用于計算和估計實施的諸系統質量的數據如下確定視場角的焦距f和圖象寬度e;確定像素尺寸的水平分辨率和圖象寬度e;確定有用光孔直徑及總的體視基的焦距f和孔徑;總的體視基和選擇的視點數n,它們確定兩個相鄰的模擬攝象機之間,從而兩個相鄰視點間的有用的基b;在諸相鄰的視點對之間的體視基b=O1O2=O2O3=O3O4和焦距OP(或同時在諸“單目視點”上觀察的相應觀察點的距離),它們確定由和兩個相鄰的視點對應的兩個相鄰的攝象機的兩個光軸形成的角度2α;和水平分辨率,焦距OP和兩個鄰接的視點之間的體視基,它們確定觀察時視場的體視深度。
浮雕的感覺由存在距離b和景深中的變化ΔD=d-D之間的比值確定。這個比值,它作為b和α的函數變化,必須正比于圖象的線性放大倍數,以便保證一個觀察者以現實的方式感覺到浮雕。
例1
實際的攝象機被模擬的諸實際物鏡系統的焦距=200毫米;孔徑f/2;圖象寬度=57.6毫米,像素大小=0.1毫米;視點數n=4。
聚焦可在兩倍焦距,即400毫米處開始。這導致圖象在物理圖象平面中的大小和拍攝的物體相同。有四個視點的設備的理論體視場在384毫米和416毫米之間擴展。一個其圖象的水平尺度等于一個表觀像素(事實上是一個寬度為0.4毫米的透鏡)的物體僅在一個透鏡上的聚焦平面形成它的圖象,并且用到了所有四個像素。如果一個物體位在視場的理論體視深度的諸極限值處,則在下限(348毫米),物體看來是位于離開顯示屏的地方,圖象占有四個透鏡,每個透鏡有單個像素,如下所示(1,2,3,4);(1,2,3,4);(1,2,3,4);(1,2,3,4)XXXX在上限(416毫米),物體看來是位于顯示屏后面,圖象占有四個透鏡,每個透鏡有單個像素,如下所示(1,2,3,4);(1,2,3,4);(1,2,3,4);(1,2,3,4)X X X X超出這些理論極限值,諸物體形成一個擴散到多于四個透鏡的圖象,如果不停止一個實際的攝象機,那么諸像素必須和其它的諸圖象點分享圖象面積,這樣給出了一種焦點沒有對準的感覺,當超出這兩個極限值越多,則這種感覺增加越多。
上述的實際的攝象機可用四個針孔攝象機來模擬,它們的b=3cm,2α=4.29°,角θ和實際攝象機的視場角相對應。諸模擬攝象機的焦距f可以任何方式選擇。模擬像素的數目和所希望的分辨率相對應,即對于每個模擬攝象機水平地143個像素以便得到實際攝象機的分辨率。
對于諸合成的圖象,僅當特殊計算時才存在聚焦不足。超出上述的諸極限,并當觀察者相對于顯示屏移動時,位于上述的諸極限(即,384毫米和416毫米)外的諸物體以離散跳躍的方式穿過屏的一部分移動。只要角度2α不超過4.5°,觀察質量仍然能和一個觀察者相對于顯示屏移動及標準的電視所能期望的視覺舒適相一致。在恒定的體視基情形,隨著角度的增加,焦距減小。當這個距離變得短于觀察者和顯示屏之間的距離時,體視效果增加,由人的頭腦使這種超體視得到某種程度的補償,而視場的體視深度減小。有一個和2α=4.5°對應的極限,超出這個極限質量會下降到觀察者不再能相對于屏幕移動的程度。
于是,只能在“立體彩色”距離觀察場景。小的視場體視深度意味著物體很快地投影到體視場的體積以外,從而強制觀察者保持在“立體彩色”距離。當觀察者平行于顯示屏移動時,諸物體的表觀移動被夸大了并會變得不適宜。對于觀察者垂直于顯示屏的諸移動,那些投影超出體視場體積的物體部分以或者太大或者太小的諸粗劣的附加表面部分出現,使觀察變得很難受并破壞了場景作為整體的浮雕的感覺,這樣就失去了自動體視術的優點。
如果用較高的分辨率和如果模擬多于四個視點,例如八個視點,則物體可以保持聚焦,同時可經過八個透鏡而不是四個移動。如果這些透鏡的尺寸和第一種情形的相同,那么視場的體視深度加倍。用和第一種情形相同尺寸的諸表觀像素,必需的水平分辨率加倍(請參照下面對應圖4d的描述)。
隨著焦點的變化,角度2減小,并取越來越小的值(漸近地)對于在500毫米的聚焦3.43°對于在600毫米的聚焦2.86°對于在800毫米的聚焦2.14°對于在1000毫米的聚焦1.71°對于在2000毫米的聚焦0.85°對于在4000毫米的聚焦0.42°對于在8000毫米的聚焦0.21°,等等.......
當這個距離加倍時,這個角度減小到一半。視場的體視深度的值和焦距的值之比除以比2略大一些的值,這個值隨距離的增加而增加。視場的體視深度非常快地變成焦距的一個很大的百分數。這使得給定可用的分辨率和視點數時,確定角度2α的第二個極限值成為可能,超出這個極限值是無意義的。在上述的例子中,聚焦在8000毫米給出一個體視場,對于角度2α為0.21°這個體視場從4444毫米擴展到40,000毫米。在這個距離上,水平看起來有些焦點沒有對準,但還是可接受的,超出視場的體視深度的范圍,浮雕的感覺用標準的視頻分辨率并不有利。
所以,對于角度2α的諸有用的極限值在4.5°到0.20°的范圍。
雖然不可能精確地解釋在現實中人的諸視覺參量和用于實際自動體視攝象系統的諸參量之間的關系,很容易看到這個方法在所得的圖象中給出現實和舒適的效果。
這個數據可用作基本上等效于有關人雙目視覺的數據,或者可以認為它通過插入的電視在浮雕感覺中幾乎沒有或完全沒有引入畸變。從其誕生之日起,我們的視覺系統已經作為精神的圖象處理的基礎,這種處理使我們能感覺到浮雕焦距,視場角,如象通過放在某個距離的一個窗子(等效于一個同一表觀尺寸的電視屏幕)感覺到的有效視場角,和對于聚散度的生理機構有關的瞳孔間的距離,聚焦,平衡身體和估計移動對于每個個人都是特殊的,并對個人的諸種感覺產生影響。
這一系列的自身感受的感覺(平衡,移動,雙目合成等需要的肌肉力和韌帶的緊張程度的內部感覺)組成不能脫離的信息源;這有諸多結果,在為了以浮雕的方式顯示諸圖象而拍攝圖象的諸常規系統中幾乎不考慮的這些結果。
當一個物體離屏的距離增加一倍時,這個物體在平行于屏幕平面的兩個方向(x和y)上的諸尺度要除以2。通過在圖象平面上的投影可以測量它們。只能通過在形成一個體視對的兩個平面圖象之間的比較才能做出浮雕的效果(第三個尺度(z))的估算)。它們之間的差異(不一致性,或在彼此相關的場景中平行于諸物體像平面的表觀移動的量)使產生和人腦進行的處理有關的效果成為可能。通過使估計的諸景深值變形,很容易引入愚弄觀察者的諸參量。通過選擇作為常數的一個角度2α和改變拍攝的諸距離,以對體視基和焦距(它對應于一個在恒定孔徑,在我們的例子中為f/2,和恒定視場的系統)作成正比的修正為代價,可以均勻地放大或縮小所有的三個尺度,例如一個立方體連續地被感覺是一個立方體,只是變得大一些或小一些而已。如果我們的兩個眼睛位于模擬物鏡系統的光孔,則一個被感覺的物體的尺寸和它已有的尺寸成反比地變化。
通過不改變其它的諸參量修正體視基b,因為修正了角度2α而沒有修正焦距,產生超浮雕或亞浮雕(物體看起來在景深方向被壓縮或拉長)。一個物體的大小(x和y)不改變(物體尺寸和與消除單目視覺中的痕跡相關的景深的估計),而如果改變不一致性,由體視效應估計的景深被夸大或縮小了。
作為結論,對于人的視覺來說,當拍攝電影或計算圖象時,理想地只存在一個不一致性的變化和與對于一個給定的視場角的感覺相關的諸表觀尺度的變化之間的比。改變這個視場角(對圖象的一部分的“變焦距”效應或“放大鏡”效應)永遠不會等效于向物體移動攝象機(“移動”效應),因為盡管平行于圖象平面的平面中的大小(x和y)事實上在這兩個效應中以同一方式增加,觀察者和諸平面間的距離比僅由于“移動”而改變,所以景深的感覺僅在那個情形中變化。我們既沒有“多焦距”視覺也沒有“變焦距”視覺,以浮雕形式看到的這些效應總是引起對景深感覺的諸多擾動。如果所用的物鏡系統有一個和由在觀察距離的屏幕形成的視場角相等的視場角,假設在和觀察者及屏幕之間的距離相同的距離上拍攝的一個物體的表觀放大倍數等于1,只有在浮雕中的一個“移動”拍攝才能精確地和現實匹配。
如果線性放大倍數不等于1,那么為了估算攝象機的視場角需要通過考慮屏幕的尺寸引入一個校正系數,這個屏幕尺寸實際上使線性放大倍數可能等于1,如果這個放大倍數位于實際屏幕的位置上。最后一點是焦距可以不同于屏幕觀察距離。或者當不存在上述的諸小校正時可以人為地引入一個瞄準效應。我們在文化上很習慣于從遠處觀看諸電視場景。那時表觀場較大。因此,對于浮雕,不一致的效應比在直接觀察的現實中的小一些,然而單眼的線索能使觀察者用過度的聚散度力調換看到的某些東西,并因為感覺到的場景的視場深度的很大增加,在某種程度上補償了景深感覺上的損失。
上述的諸多考慮用來在理想的“立體彩色”距離上設置觀察顯示屏。如果觀察距離因靠近顯示屏而發生變化,則在完全相同的諸條件下,需要減少攝象機到物體的距離D,并且必須增加視場角(例如水平視場角),為了使由顯示屏形成的變化了的視場角對應于新的觀察距離。體視基不發生變化。
如果用一個大x倍的屏幕代替一個在給定距離的給定諸尺度的屏幕,并從一個大x倍的距離看它,則感覺到的浮雕被夸大了,但是只要x保持小于3或4,只要2α在上面確定的諸極限值(0.2°-4.5°)內,我們認為這種浮雕的感覺仍然是可接受的。
例II實際的攝象機焦距=50毫米,孔徑f/2,像的寬度=576×12.5微米;一個像素的寬度=12.5微米;四個視點。焦距和體視基是例I中諸值的四分之一。所以表觀放大倍數等于4。視場角為二分之一。
必須在有同一個角度2α的四分之一距離處拍攝。在模擬中,體視基b是其以前值的四分之一。不一致性是一樣的,但是因為視場角的變化(它對應于“變焦”效應),諸背景物體的視覺尺寸有一點大。因為只要這個效應不太大(直到大約三倍)我們能夠在精神上予以校正,所以這沒有關系。這個估算考慮到這樣一個事實,即我們向屏幕靠近時不難看到對(1和4),或從屏幕離開時看到對(1和2)或(2和3)或(3和4),這引起由屏幕所張的角度平均地有三倍的表觀變化。看到較小的屏幕這個事實在浮雕的方式中是不平常的,景深的精確估算稍多一點兒地利用了我們的精神補償。
圖3a和圖3b表示從由攝象機C1,C2,C3和C4給出的每個基本圖像1,2,3和4(n=4)到能顯示在屏幕10上的一個自動體視圖象的信號處理過程。每個圖象1,2,3和4都由X行和Y列組成,每個像素有各向異性的分辨率,在垂直方向等于正常的分辨率,在水平方向等于正常的視頻分辨率的n分之一(即1/4)。
在圖3a中,圖象5有X行和nY列,并相繼地由圖象1的第一列,圖象2的第一列,圖象3的第一列,圖象4的第一列,圖象1的第二列等等組成。圖象5能直接地顯示在一個配置有一個透鏡陣列的體視電視屏幕30上。
在圖3b中,圖象1,2,3和4并排地放置,以便形成有X行和nY列,包括四個有畸變格式的平面圖象的圖象6。圖象6的第一個Y列被圖象1的Y列的諸像素占據,接著的Y列由圖象2的Y列占據,如此等等。這樣,這對應于專利FR-2705006的“n個圖象”的實施例,這個專利特別適用于記錄和/或傳輸。例如,在圖3b中,一個發射機21發射圖象6,它由一個接收機22接收,一個解碼器23將它的諸列進行排列,以便得到一個不能在配置一個透鏡陣列的體視電視屏幕20上顯示的圖象5那樣的圖象。
圖4a到4d表示本發明的四個特別有利的變體。
在圖4a中,從配置在有給定間距的一個透鏡陣列30的屏幕10或20上的一個四個視點系統出發,可通過增加模擬攝象機上和在屏幕10或20上的水平方向中的像素數量,改善圖象的細度。于是將一個較精細的透鏡陣列31用于屏幕10或20。這對應于一個有較小間距的一個透鏡陣列的實際的攝象機,對此為了保持圖象中的視場的深度需要阻止亞光孔的輕微下降。在模擬中,什么也沒有改變而視場的體視深度除以2,但是因為透鏡陣列的間距可以加倍,總的視感(表觀連續性的感覺)是一樣的。
在圖4b中,可通過增加像素和圓柱透鏡增加圖象的面積。屏幕10或20成正比地增加,透鏡陣列30被一個較大的但是有相同間距和相同焦距的陣列代替。這對應于,例如,改變到16/9格式,或寬銀幕電影鏡頭格式。拍攝系統的諸參量不改變,視場的體視深度保持一樣。
在圖4c中,可通過增加視點數n增加視覺的立體角而不改變兩個相鄰的模擬攝象機之間的角度2α。對諸圓柱透鏡的尺寸和數量沒有做任何改變,然而當在透鏡陣列33中的諸圓柱透鏡的焦距和陣列30的進行比較時,諸圖象點(諸像素)的尺寸減小。對于一個實際的攝象機,這對應于在相等的焦距一個較大的光孔,與孔徑角的增加相應透鏡陣列的焦距減少以及像素尺寸的減小。和以前相同,視場的體視深度保持不變。
在圖4d中,通過和增加附加的諸視點數成正比地減少兩個相鄰視點之間的角度2α,在觀察立體角中增加角分辨率。當拍攝諸圖象和再現它們時,陣列30保持不變,只有像素的數量改變了。其結果是在視場的體視深度中有一個正比于附加的視點數的增加,以便達到視場的體視深度的諸極限值,一個從清晰點沿兩個最外端的模擬攝象機C1和C4的光軸的二等分線移動的物體的圖象必須經過n個透鏡(即n2個像素),和景深方向中的分辨率的增加一起,諸透鏡的尺寸不變。當視點數n超過4時,這種情形特別有利。那時角度2α在18°/n到0.8°/n的范圍中。例如對于6個視點,2α在3°到0.13°的范圍內變化。
對于n個攝象機(n≥3)有兩種不同的方法產生會聚的諸光軸。
第一種方法在于將它們如圖1和2a所示地放置。
在標稱的位置,諸模擬圖象平面或屏幕E1到E4和一個半徑等于模擬焦距(O1P=O2P=O3P=O4P=D′)的圓相切。每個模擬攝象機的光軸(A1,.......,A4),定義為垂直于其屏幕(E1,..........,E4)并通過點P0的軸,也通過相應的針孔(O1,.......,O4)。這種系統由于當模擬焦距較短(大的視場)和焦距接近時的一些相對的缺點而受到損害。諸圖象平面的轉動使遠離水平線和通過諸中心圖象的諸垂直軸的諸物體有不同的諸多尺寸,因此由于來自兩個視點的相應的諸像素有不同的諸多高度而限制了雙目合成的能力。攝象機轉動引起諸圖象的一個矩形(和屏幕E1到E4等效的視窗)在垂直方向畸變成諸梯形。
如果諸焦平面位于諸圖象平面,則通過點P的四個焦平面不是共面的。
第二個解決方法是優先的解決方法,如圖6所示。它在于如此放置n個個攝象機,使它們的光學中心O1,O2,O3,和O4在一個軸X′x上排成一條直線,它們的諸模擬敏感表面或者諸屏幕E1到E4相互平行,即它們的諸光軸A1到A4彼此平行并且平行于軸x′x,和橫向地滑動四個模擬光學系統,以便在諸箭頭方向偏離中心,從而使諸模擬圖象的各各中心P0和相應的光學系統的各各光學中心(O1,.......,O4)及清晰點P成一直線。對于一個給定的矩形圖象,其中心P0是為了顯示而成幀的圖象的諸對角線的交點。對于一級近似,假設點P位于離開諸模擬攝象機的諸光學中心的同一個距離D′,即O1P≈O2P≈O3P≈O4P。換句話說,諸直線O1P,O2P,O3P,O4P和諸模擬圖象平面(E1,.......,E4)之間的諸交點P0確定在投影屏或背投屏上顯示的諸圖象的諸標稱中心。在這些情況下,一個等效于寬度為e的屏幕視窗(E1,.......,E4)和對應于清晰點P的矩形對于每個模擬攝象機作為一個矩形被感知。攝象機間的距離b中的變化通過修正諸模擬攝象機的中心偏離(d1,.......,d4)的程度來實施。圖6中,為了容易理解起見已將這些角度和中心偏離夸大了。
諸模擬攝象機優先的是諸針孔攝象機。
其它的諸圖象平面相互保持平行,在無窮遠處一個給定物體的四個圖象間沒有畸變。于是,一般地,通過點P和諸模擬攝象機的諸光學中心(O1,O2,O3,和O4)的軸不再是諸模擬攝象機的諸光軸。這兩個解決方法對于諸角度2導致相同的諸極限值。攝象機間的距離b保持等于諸光學中心,例如兩個相鄰的模擬攝象機的O1和O2間的距離。
實踐中,能夠通過定義諸屏幕視窗E′,即(E′1,.......,E′4),避免修正所用的軟件,這些屏幕視窗中每一個都有一個中心P′0和一個寬度e′,它大于模擬圖象的寬度e,并有相同高度(參見圖2b)。直線(PO1,PO2,PO3,PO4)和相應的屏幕視窗(E′1,.......,E′4)之間的交點是點P0。一個寬度為e,有所希望的圖象格式,其中心為P0的亞視窗(E1,.......,E4)是從上面定義的屏幕視窗(E′1,.......,E′4)提取的。這個程序用來計算亞視窗(E1,.......,E4)的諸像素。不需要計算諸視窗(E′1,.......,E′4)的每一個中的全部像素。
權利要求
1)一個拍攝一個觀察場景的諸模擬自動體視視頻圖象的方法,這個方法的特征在于從存儲的包括關于一個物體或在一個顯示屏上觀察的場景的三維信息在內的數據出發,提供n個模擬攝象機,這里n≥3,每個模擬攝象機都產生一個所說場景的圖象,每個模擬攝象機都有一個光學中心(O1,.......,O4)和一個有一個中心(P0)的模擬敏感表面(E1,.......,E4),這些模擬攝象機是等距離的并分開同一個攝象機間的距離b,當用一個恒定的視場角拍攝一個圖象時這個距離保持恒定,每個模擬攝象機都有一個軸,這個軸通過其模擬敏感表面(E1,.......,E4)的中心(P0),通過其光學中心(O1,.......,O4),也通過稱作模擬清晰點的基本上位于離開所有的所說的模擬攝象機同一個距離D′處的一個點P,其特征還在于觀察的場景有一個最近點Pp和一個最遠點Pe,其特征還在于模擬攝象機間的距離b及這組模擬攝象機和最近點Pp間的距離Dmin用這樣一種方式進行選擇,為了拍攝所說的圖象和對于在最近點Pp和最遠點Pe之間變化的一個清晰點,兩個相鄰的模擬攝象機的所說的軸之間的角度2α在對于最近點Pp不大于4.5°和對于最遠點Pe不小于0.2°的值之間變化。
2)一個根據權利要求1的方法,其特征在于對于一個包括一個位于無窮遠的點Pe的場景,攝象機間的距離b如此選擇,對于有值為0.2的角度2α,模擬清晰點P位于距離Dmax,這樣,當一個物體從距離Dmax沿兩個在最外端的模擬攝象機(C1,.......,C4)的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
3)一個拍攝一個物體或一個觀察場景的諸模擬自動體視視頻圖象的方法。這個方法的特征在于從存儲的包括關于物體或在顯示屏上觀察的場景的三維信息在內的數據出發,提供n個模擬攝象機,這里n≥4,每個模擬攝象機都產生所說場景的一個圖象,每個模擬攝象機都有一個光學中心(O1,.......,O4)和有一個中心(P0)的一個模擬敏感表面(E1,.......,E4)。這些模擬攝象機是等距離的并分開同一個攝象機間的距離b,當恒拍攝一個圖象時這個距離保持恒定。每個模擬攝象機都有一個軸,這個軸通過其模擬敏感表面(E1,.......,E4)的中心(P0),通過其光學中心(O1,.......,O4),也通過稱作模擬清晰點的基本上位于離開所有的所說的模擬攝象機同一個距離D′處的一個點P。其特征還在于觀察的場景有一個最近點Pp和一個最遠點Pe。其特征還在于模擬攝象機間的距離b及這組模擬攝象機和最近點Pp間的距離Dmin用這樣一種方式進行選擇,為了拍攝所說的圖象和對于在最近點Pp和最遠點Pe之間變化的一個清晰點,兩個相鄰的模擬攝象機的所說的軸之間的角度2α在對于最近點Pp不大于18°/n和對于最遠點Pe不小于0.8°/n的值之間變化;和
4)一個根據權利要求3的方法,其特征在于對于一個包括一個位于無窮遠的點Pe的場景,攝象機間的距離b如此選擇,對于有一個值為O.8°/n的角度2α,模擬清晰點P位于距離Dmax,這樣,當一個物體從距離Dmax沿兩個在最外端的模擬攝象機(C1,.......,C4)的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
5)一個根據上述的任一個權利要求的方法,其特征在于所說的諸軸是諸模擬攝象機的諸光軸。
6)一個根據權利要求1到4中任何一個的方法,其特征在于諸模擬攝象機有它們的諸模擬敏感表面(E1,.......,E4),這些表面彼此平行并基本上配置在一個共同的平面上,其特征還在于體視基b由中心偏離(d1,.......,d4)得到。
7)一個根據上述的任一個權利要求的方法,其特征在于諸模擬攝象機(C1,.......,C4)是針孔型的。
8)一個根據上述的任一個權利要求的方法,其特征在于諸模擬攝象機的每一個象點都和與視頻圖象的標稱的垂直分辨率相等的垂直分辨率有關,并和與視頻圖象的標稱的水平分辨率的n分之一相等的水平分辨率有關。
9)一個根據上述的任一個權利要求的方法,其特征在于它包括交替n個基本圖象的P列以便得到一個有n×p列的交替的自動體視視頻圖象的步驟。
1O)一個根據上述的任一個權利要求的方法,其特征在于它包括改變一個物體或一個場景的表觀尺寸而沒有擾動其形狀的步驟,這個步驟從通過移動諸模擬攝象機在所說的距離D′聚焦而沒有改變清晰點(P)出發,角度2保持恒定,攝象機間的距離b的值和焦距中的變化成正比地改變。
11)一個根據上述的任一個權利要求的方法,其特征在于圖象包括有一個給定體視基B的諸體視對,所說的體視對的諸視點被m個中間視點分開,這里m是大于1的整數。
12)一個根據權利要求11的方法,其特征在于它包括一個在下列諸條件下進行觀察的步驟,這些條件是在理想的“立體彩色”距離,一個觀察者看到有被m個基本視點分開的諸視點的所說的諸體視對中的一對。
13)一個自動體視視頻系統,其特征在于它包括拍攝一個觀察的場景的諸模擬自動體視視頻圖象的設備,這個設備包括一個容納存儲數據的數據庫,存儲的數據包括關于一個物體或在顯示屏上觀察的場景的三維信息,用來產生n個模擬攝象機的設備,這里n≥3,每個模擬攝象機都產生所說場景的一個圖象,每個模擬攝象機都有一個光學中心(O1,.......,O4)和一個有一個中心(P0)的模擬敏感表面(E1,.......,E4)。這些模擬攝象機是等距離的并分開同一個攝象機間的距離b,當用一個恒定的視場角拍攝諸圖象時這個距離保持恒定。每個模擬攝象機都有一個軸,這個軸通過其模擬敏感表面(E1,.......,E4)的中心(P0),通過其光學中心(O1,.......,O4),和通過稱作模擬清晰點的基本上位于離開所有的所說的模擬攝象機同一個距離D′處的一個點P,觀察的場景有一個最近點Pp和一個最遠點Pe。所說的為了產生n個模擬攝象機的設備如此組裝起來,使得模擬攝象機間的距離b及這組模擬攝象機和最近點Pp間的距離Dmin滿足這樣的條件,在這個條件下,對于所說的圖象和為了聚焦在最近點Pp和最遠點Pe之間變化,所說的兩個相鄰的模擬攝象機的軸之間的角度2α在對于最近點Pp不大于4.5°和對于最遠點Pe不小于O.2°的值之間變化;和一個顯示設備,其中一個在理想的“立體彩色”距離的觀察者看到一個體視對,它包括被m個中間視點分開的兩個視點,這里m是大于或等于1的整數。
14)一個根據權利要求13的系統,特征在于為了產生n個模擬攝象機的設備如此組裝起來,使得對于一個有一個位于無窮遠的點Pe的場景,攝象機間的距離b這樣的,使得對于有值為O.2°的角度2α,模擬清晰點P位于距離Dmax,這樣,當一個物體從距離Dmax沿兩個在最外端的模擬攝象機(C1,.......,C4)的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
15)一個自動體視視頻系統,其特征在于它包括拍攝一個物體或一個觀察場景的諸模擬自動體視視頻圖象的設備,這個設備包括一個容納存儲數據的數據庫,存儲的數據包括關于物體或在顯示屏上觀察的場景的三維信息,用來產生n個模擬攝象機的設備,這里n4,每個模擬攝象機都產生所說場景的一個圖象,每個模擬攝象機都有一個光學中心(O1,.......,O4)和一個有一個中心(P0)的模擬敏感表面(E1,.......,E4),這些模擬攝象機是等距離的并分開同一個攝象機間的距離b,當拍攝諸圖象時這個距離保持恒定。每個模擬攝象機都有一個軸,這個軸通過其模擬敏感表面(E1,.......,E4)的中心(P0),通過其光學中心(O1,.......,O4),和通過稱作模擬清晰點的基本上位于離開所有的所說的模擬攝象機同一個距離D′處的一個點P。觀察的場景有一個最近點Pp和一個最遠點Pe。所說的為了產生n個模擬攝象機的設備如此組裝起來,使得模擬攝象機間的距離b及這組模擬攝象機和最近點Pp間的距離Dmin滿足這樣的條件,在這個條件下,對于所說的圖象和為了聚焦在最近點Pp和最遠點Pe之間變化,兩個相鄰的模擬攝象機的所說的軸之間的角度2α在對于最近點Pp不大于18°/n和對于最遠點Pe不小于0.8°/n的值之間變化;和一個顯示設備,其中一個在理想的“立體彩色”距離的觀察者看到一個體視對,它包括被m個中間視點分開的兩個視點,這里m大于或等于1。
16)一個根據權利要求15的系統,特征在于用于產生n個模擬攝象機的設備如此組裝起來,使得對于一個有一個位于無窮遠的點Pe的場景,攝象機間的距離b如此選擇,對于有值為0.8°/n的角度2α,模擬清晰點P位于距離Dmax,這樣,當一個物體從距離Dmax沿兩個在最外端的模擬攝象機(C1,.......,C4)的所說的軸的二等分線向無窮遠移動時,它的圖象在顯示屏上通過一個不大于像素間距n2倍的距離移動。
17)一個根據權利要求13到16中任何一項的系統,其特征在于所說的諸軸是諸模擬攝象機的諸光軸。
18)一個根據權利要求13到16中任何一項的系統,其特征在于諸模擬攝象機有它們的諸模擬敏感表面(E1,.......,E4),這些表面彼此平行并基本上配置在一個共同的平面上,其特征還在于它包括為了使諸模擬攝象機偏離中心的設備。
全文摘要
本發明涉及一種獲取諸觀察場景的模擬自動體視視頻圖象的方法。在包含三維信息的存儲數據的基礎上,它提供n個模擬攝像機,這里n≥3,每個模擬攝像機都在一個給定光軸上產生一個場景的一個圖象。這些模擬攝像機的諸光軸會聚在一個位于離開這些模擬攝像機相同距離D的點上。觀察的場景有一個最近點P
文檔編號G03B35/10GK1191656SQ96195790
公開日1998年8月26日 申請日期1996年6月21日 優先權日1995年6月22日
發明者皮埃爾·埃里奧 申請人:皮埃爾·埃里奧