用于形成大視點(diǎn)變化的擴(kuò)展焦平面的方法和系統(tǒng)與流程

背景技術(shù)：

1、形成和使用多焦平面(mfp)是一種用于避免聚散度-調(diào)節(jié)沖突的方法，其使得觀看者能夠自然地沿著深度維度聚焦圖像信息。該方法在近眼(眼鏡)顯示器中可能特別有用。

2、mfp顯示器創(chuàng)建離散焦平面的堆疊，從而根據(jù)沿著觀看者的視軸的層組成3d場(chǎng)景。通過(guò)以不同深度和空間角度投影用戶可見(jiàn)的像素(或體素)來(lái)形成3d場(chǎng)景的視圖。

3、每個(gè)焦平面顯示3-d視圖的表示對(duì)應(yīng)于相應(yīng)焦平面的深度范圍的一部分。深度混合是一種用于在查看從離散焦平面編譯的視圖時(shí)平滑量化步長(zhǎng)和輪廓描繪的方法，從而使得用戶將不太可能感知到步長(zhǎng)。深度混合在k.akeley等人“具有多個(gè)焦距的立體顯示原型(a?stereo?display?prototype?with?multiple?focal?distances)”,acm圖形處理(tog),v.23n.3,2004年08月,pp.804-813和hu,x.,&hua,h.(2014)“深度融合的多焦平面顯示原型的設(shè)計(jì)與評(píng)估(design?and?assessment?of?a?depth-fused?multi-focal-plane?displayprototype)”ieee/osa顯示技術(shù)雜志(journal?of?display?technology),10(4),308-316中更詳細(xì)地描述。

4、當(dāng)使用深度混合時(shí)，已經(jīng)發(fā)現(xiàn)渲染相對(duì)少量的焦平面(例如4-6個(gè)平面)對(duì)于可接受的質(zhì)量是足夠的。這個(gè)數(shù)量的焦平面在技術(shù)上也是可行的。

5、可以通過(guò)空間復(fù)用2-d顯示器的堆疊或通過(guò)以時(shí)間復(fù)用方式順序地切換單個(gè)2-d顯示器的焦距來(lái)實(shí)現(xiàn)多焦點(diǎn)平面顯示器。單個(gè)2-d顯示器的焦距的改變可以通過(guò)高速雙折射(或其它可變焦元件)來(lái)實(shí)現(xiàn)，同時(shí)在空間上渲染相應(yīng)多焦點(diǎn)圖像幀的可見(jiàn)部分。在沒(méi)有深度混合的情況下，希望使用更多數(shù)量的焦平面，例如14個(gè)或更多，如在j.p.rolland等人,“多焦點(diǎn)平面頭戴式顯示器(multifocal?planes?head-mounted?displays)”appl.opt.39,3209–3215(2000)中所述。

6、人類視覺(jué)系統(tǒng)(hvs)有利于將焦平面放置在屈光尺度上的規(guī)則距離處。另一方面，使用線性尺度通常最容易捕獲深度信息。這兩種選擇都可以用于mfp顯示器。mfp近眼顯示器的例子在圖2中示意性地示出。圖2示出了由用戶的左眼202和右眼204觀看的顯示器。為每只眼睛提供相應(yīng)的目鏡206、208。目鏡聚焦由相應(yīng)的圖像堆棧210、212形成的圖像。圖像堆棧在距目鏡的不同距離處形成不同的圖像。對(duì)于用戶的眼睛，圖像看起來(lái)源于不同的虛像平面，例如圖像平面214、216、218。

7、mfp顯示器創(chuàng)建所顯示的場(chǎng)景的光場(chǎng)的近似。因?yàn)榻埏@示器隨著用戶的頭部移動(dòng)而移動(dòng)，所以在每個(gè)時(shí)刻僅支持一個(gè)視點(diǎn)就足夠了。相應(yīng)地，由于不需要捕獲大量視點(diǎn)的光場(chǎng)，因此光場(chǎng)的近似更容易。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)描述了用于捕獲和顯示用于多焦平面(mfp)顯示器的內(nèi)容的方法和系統(tǒng)。在一些實(shí)施例中，從焦點(diǎn)堆棧(以變化的焦距捕獲的圖像)生成內(nèi)容。一些實(shí)施例可以在針對(duì)大的合成視差或視點(diǎn)改變而移動(dòng)mfp時(shí)產(chǎn)生減少數(shù)量的去遮擋和空洞。

2、在一些實(shí)施例中，聚焦圖像是用大光圈捕獲的，使得一些圖像信息是從遮擋對(duì)象的后面獲得的。

3、一些實(shí)施例還執(zhí)行大光圈深度感測(cè)，這可以通過(guò)大光圈深度傳感器、通過(guò)應(yīng)用散焦圖、或者通過(guò)對(duì)由其形成的聚焦堆疊和/或焦平面使用合適的濾波和重新分布方案來(lái)實(shí)現(xiàn)。在一些實(shí)施例中，在形成重新分布的焦平面之前，應(yīng)用濾波以聚焦堆疊圖像。在一些實(shí)施例中，在形成焦平面之后應(yīng)用濾波。然后，濾波結(jié)果被用于形成重新分布的焦平面(或更一般地，高頻和/或重新分布的焦平面)。

4、一個(gè)示例如下操作。獲得場(chǎng)景的多個(gè)紋理圖像pi，其中每一紋理圖像具有不同的相應(yīng)焦距di。紋理圖像可以是例如rgb圖像或灰度圖像，以及其他選項(xiàng)。對(duì)于每個(gè)紋理圖像pi，生成焦平面圖像qi。為了生成焦平面圖像qi，紋理圖像pi中的每個(gè)像素(x,y)由權(quán)重wi(x,y)加權(quán)。將紋理圖像pi的每個(gè)像素值pi(x,y)乘以各自的權(quán)重wi(x,y)以生成焦平面圖像qi，使得qi(x,y)＝pi(x,y)·wi(x,y)。

5、權(quán)重wi(x,y)可以表示在紋理圖像pi中像素(x,y)對(duì)焦的量?？梢允褂貌煌募夹g(shù)來(lái)確定在紋理圖像pi中像素(x,y)對(duì)焦的量。在一些此類技術(shù)中，測(cè)量或以其它方式確定像素(x,y)的深度zi(x,y)，并且權(quán)重wi(x,y)是深度的函數(shù)，使得wi(x,y)＝wi[zi(x,y)]。函數(shù)wi[z]可以是如在已知的多焦顯示器中使用的混合函數(shù)。在一些實(shí)施例中，函數(shù)在wi[di]處具有最大值(例如，值1)，指示當(dāng)像素的測(cè)量深度與焦距相同時(shí)，像素最對(duì)焦的可能性。wi[z]的值可以隨著z從焦距di增大或減小而單調(diào)地減小，從而針對(duì)更遠(yuǎn)離焦距并且不太可能對(duì)焦的像素深度給出較低權(quán)重。具有與焦平面充分偏移的深度值的像素可被賦予零權(quán)重(即使可辨別某一級(jí)別的聚焦)。

6、在一些實(shí)施例中，在紋理圖像pi中像素(x,y)對(duì)焦的量通過(guò)產(chǎn)生散焦圖來(lái)確定，該散焦圖為紋理圖像pi中的每個(gè)像素分配聚焦級(jí)別(或散焦級(jí)別)。例如，可以給予最對(duì)焦的像素一的權(quán)重，并且可以給予更不對(duì)焦的像素低至零的權(quán)重。

7、n個(gè)焦平面圖像qo…qi…qn-1的集合可以使用這里描述的技術(shù)來(lái)生成，并且可以顯示在多焦平面顯示器上。根據(jù)顯示器的類型，可以使用時(shí)間復(fù)用同時(shí)或以快速循環(huán)的順序顯示焦平面圖像。

8、在一些實(shí)施例中，可用紋理圖像pi的集合可以大于多焦平面顯示器中的可用(或期望)顯示平面的數(shù)量。在這種情況下，一種方法可以包括為每個(gè)顯示平面選擇一個(gè)焦平面圖像。對(duì)于每個(gè)顯示平面，可以選擇具有與顯示平面的焦距相同或最接近的焦距的紋理圖像。

9、在一些實(shí)施例中，通過(guò)相對(duì)于焦平面圖像中的至少第二焦平面圖像橫向移位焦平面圖像中的至少第一焦平面圖像來(lái)生成虛擬視點(diǎn)。例如，焦平面圖像可以被橫向移動(dòng)與相應(yīng)的焦平面圖像的顯示焦距(即，焦平面圖像的顯示平面的焦距)成反比的量。虛擬視點(diǎn)可用作立體視點(diǎn)對(duì)中的一個(gè)或兩個(gè)。還可以響應(yīng)于觀看者頭部運(yùn)動(dòng)生成虛擬視點(diǎn)以模擬運(yùn)動(dòng)視差。

10、在一些實(shí)施例中，基本上同時(shí)捕獲每個(gè)紋理圖像pi和相應(yīng)的對(duì)應(yīng)深度圖di?？梢岳孟嗤蛳嗨频墓鈱W(xué)器件來(lái)捕獲每個(gè)紋理圖像和相應(yīng)的對(duì)應(yīng)深度圖?？梢岳镁哂邢嗤馊Φ墓鈱W(xué)器件來(lái)捕獲每個(gè)紋理圖像和相應(yīng)的對(duì)應(yīng)深度圖。

技術(shù)特征：

1.一種方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括在多焦平面顯示器中在所述焦平面圖像的所述相應(yīng)焦距處的顯示所述焦平面圖像。

3.根據(jù)權(quán)利要求2所述的方法，其中所述焦平面圖像被基本上同時(shí)顯示。

4.根據(jù)權(quán)利要求2或3中任一項(xiàng)所述的方法，進(jìn)一步包括：對(duì)于所述焦平面圖像中的每一者，從所述多個(gè)紋理圖像中選擇相應(yīng)紋理圖像。

5.根據(jù)權(quán)利要求1所述的方法，其中獲得多個(gè)紋理圖像包括：在所述相應(yīng)焦距處捕獲所述多個(gè)紋理圖像中的每一者。

6.根據(jù)權(quán)利要求1所述的方法，其中生成所述對(duì)應(yīng)聚焦權(quán)重圖中的每一者進(jìn)一步基于所述相應(yīng)紋理圖像的聚焦級(jí)別。

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，進(jìn)一步包括通過(guò)將所述焦平面圖像中的至少一者移位與所述相應(yīng)焦平面圖像的顯示焦距成反比的量來(lái)生成虛擬視點(diǎn)。

8.根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括將所生成的虛擬視點(diǎn)顯示為立體視點(diǎn)對(duì)中的一者。

9.根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括響應(yīng)于觀看者頭部運(yùn)動(dòng)來(lái)顯示所生成的虛擬視點(diǎn)以模擬運(yùn)動(dòng)視差。

10.一種包括處理器和存儲(chǔ)指令的計(jì)算機(jī)可讀介質(zhì)的系統(tǒng)，當(dāng)所述指令被執(zhí)行時(shí)，所述指令是可操作的以使所述系統(tǒng)執(zhí)行根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
描述了用于捕獲和顯示用于多焦平面(MFP)顯示器的內(nèi)容的方法和系統(tǒng)。在一個(gè)示例中，使用大光圈相機(jī)來(lái)捕獲場(chǎng)景的多個(gè)紋理圖像，每個(gè)紋理圖像具有不同的焦距。對(duì)于每個(gè)紋理圖像，生成焦平面圖像。為了生成焦平面圖像，在一些實(shí)施例中，每個(gè)紋理圖像中的每個(gè)像素被乘以相應(yīng)的權(quán)重值。權(quán)重值可以基于相應(yīng)像素的測(cè)量深度(例如，如使用捕獲的深度圖確定的)和/或基于如通過(guò)濾波確定的相應(yīng)像素的聚焦(或散焦)級(jí)別。焦平面圖像可以顯示在多焦平面顯示器上，并且可以用于生成虛擬視點(diǎn)。

技術(shù)研發(fā)人員：塞波·T·瓦利,佩卡·K·西爾塔寧
受保護(hù)的技術(shù)使用者：交互數(shù)字VC控股公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30