專利名稱：基于自由視角光照傳輸矩陣的重光照方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，特別涉及一種基于自由視角光照傳輸矩陣 的重光照方法及系統(tǒng)。
背景技術(shù)：
隨著數(shù)字采集及處理技術(shù)的飛速發(fā)展，靜態(tài)圖像和動(dòng)態(tài)視頻已成為日常生活和科 學(xué)研究中廣泛存在的一種媒體格式。而在數(shù)據(jù)采集過程中，光照條件對場景的成像質(zhì)量和 效果有著至關(guān)重要的影響，而拍攝視角的變化，也會(huì)帶來不同的效果。而由于許多理想光照 條件在現(xiàn)實(shí)環(huán)境中是難以實(shí)現(xiàn)或?qū)崿F(xiàn)成本過高的，因此需要真實(shí)感的重光照方法，能夠?qū)?我們感興趣的目標(biāo)物體，渲染至任意光照條件，并支持任意視角的場景顯示；且真實(shí)場景的 光照特性往往也是復(fù)雜且難以利用解析光照模型進(jìn)行描述的，因此需要一種新的光照特性 表達(dá)方式，對物體表面各向異性的光照特性進(jìn)行記錄及表示。根據(jù)物體光照特性表達(dá)方式的差異，現(xiàn)有的重光照方法主要包括基于解析光照模 型及光照傳輸矩陣兩類?；诮馕龉庹漳Ｐ偷闹毓庹辗椒ǎ饕ㄟ^在多種可控光照條件下，對物體進(jìn)行 拍攝，并結(jié)合參數(shù)化光照模型，恢復(fù)物體表面的幾何及反射屬性信息，從而根據(jù)光照模型在 新的光照條件下對物體進(jìn)行重光照操作，并渲染至自由視角進(jìn)行顯示。由于需要使用參數(shù) 化光照模型進(jìn)行求解(如漫反射光照模型，球諧函數(shù)，雙線性模型，張量樣條等)，此類方法 往往只能對有限類別的理想材質(zhì)表面(如朗伯表面)進(jìn)行準(zhǔn)確、簡潔的表示及處理；在對真 實(shí)世界中廣泛存在的真實(shí)物體進(jìn)行描述時(shí)，真實(shí)度往往不夠理想，且利用解析光照模型進(jìn) 行渲染的計(jì)算復(fù)雜度也較高?；趫D像的重光照方法，是將多種密集可控光照條件下采集的物體圖像作為基向 量，表示物體表面接受各種情況的入射光對光照進(jìn)行傳輸發(fā)射反射光照的過程，即利用這 些基向量組成光照傳輸矩陣對物體光照特性進(jìn)行描述；通過對基向量進(jìn)行線性組合，實(shí)現(xiàn) 目標(biāo)物體的重光照操作。由于在這一過程中，無需利用解析光照模型進(jìn)行參數(shù)求解，而是直 接將采集圖像作為基向量進(jìn)行組合，因此重光照效果的真實(shí)性較高。但相應(yīng)的代價(jià)是，此 種方法需要對目標(biāo)物體在密集光照條件下進(jìn)行采集，采集成本及復(fù)雜度較高，且由于三維 幾何信息的缺失，此類方法很難實(shí)現(xiàn)自由視角的渲染，且目前已有的光照傳輸矩陣，只能對 固定視角觀察得到的物體表面反射特性進(jìn)行表示，不能對視角各向異性的光照特性進(jìn)行記 錄?，F(xiàn)有技術(shù)存在的缺點(diǎn)是，目前需要本領(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問題就 是，如何提供一種高效的，能夠?qū)Ω飨虍愋缘墓庹仗匦赃M(jìn)行表示的，支持自由視角觀察的場 景重光照方法。
發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷，提出了一種基于自由視角光照傳輸矩陣的重光照方法及系統(tǒng)。為達(dá)到上述目的，本發(fā)明一方面提出一種基于自由視角光照傳輸矩陣的重光照方 法，包括以下步驟在預(yù)設(shè)的可控變化光照條件下，利用攝像陣列在預(yù)設(shè)的多個(gè)曝光程度下 分別采集目標(biāo)物體對應(yīng)的多組多視角視頻圖像；根據(jù)獲得的所述多組多視角視頻圖像獲得 所述目標(biāo)物體的反照率信息和在起始時(shí)刻的三維模型和表面法向；根據(jù)所述表面法向、光 照方向和觀察方向三者間的相對位置對多視角變光照的目標(biāo)信息進(jìn)行融合，以生成支持各 向異性光照特性表示的所述目標(biāo)物體的自由視角光照傳輸矩陣；根據(jù)所述表面法向和所述 自由視角光照傳輸矩陣對所述目標(biāo)物體進(jìn)行重光照操作，以生成重光照目標(biāo)物體模型；和 結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的動(dòng)態(tài)場景重光照。本發(fā)明另一方面還提出了一種基于自由視角光照傳輸矩陣的重光照裝置，包括 可控光源，用于產(chǎn)生預(yù)設(shè)的可控變化光照條件；攝像陣列，用于在預(yù)設(shè)的可控變化光照條件 下，在預(yù)設(shè)的多個(gè)曝光程度下分別采集目標(biāo)物體對應(yīng)的多組多視角視頻圖像；和重光照裝 置，用于根據(jù)獲得的所述多組多視角視頻圖像獲得所述目標(biāo)物體的反照率信息和在起始時(shí) 刻的三維模型和表面法向，并根據(jù)所述表面法向、光照方向和觀察方向三者間的相對位置 對多視角變光照的目標(biāo)信息進(jìn)行融合，以生成支持各向異性光照特性表示的所述目標(biāo)物體 的自由視角光照傳輸矩陣，接著根據(jù)所述表面法向和所述自由視角光照傳輸矩陣對所述目 標(biāo)物體進(jìn)行重光照操作，以生成重光照目標(biāo)物體模型，以及結(jié)合依賴視角的模型渲染算法， 實(shí)現(xiàn)自由視角的動(dòng)態(tài)場景重光照。本發(fā)明針對各向異性的光照特性提出了一種實(shí)用的表示方法，并且支持自由視角 的重光照效果觀察。另外，本發(fā)明原理簡單、明確，且易于實(shí)現(xiàn)。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。
本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的基于自由視角光照傳輸矩陣的重光照方法流程圖；圖2a和圖2b分別為本發(fā)明實(shí)施例動(dòng)態(tài)場景采集示意圖和攝像陣列布置示意圖；圖3為本發(fā)明實(shí)施例獲得自由視角光照傳輸矩陣的流程圖；圖4為本發(fā)明實(shí)施例的自由視角重光照流程圖；圖5為本發(fā)明實(shí)施例的基于自由視角光照傳輸矩陣的重光照裝置結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。本發(fā)明的主要構(gòu)思在于，利用多視角拍攝的可控光照下的場景成像信息；根據(jù)物 體表面各點(diǎn)法向、光照、觀察方向三者間的相對位置，生成支持各向異性光照特性表示的目 標(biāo)物體的自由視角光照傳輸矩陣；并結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的場景重光照操作。如圖1所示，為本發(fā)明實(shí)施例的基于自由視角光照傳輸矩陣的重光照方法流程 圖。該方法包括以下步驟步驟S101，對目標(biāo)物體，在預(yù)設(shè)的可控變化光照條件下，利用攝像陣列在預(yù)設(shè)的多 個(gè)曝光程度下分別采集目標(biāo)物體對應(yīng)的多組多視角視頻圖像。在本發(fā)明的一個(gè)實(shí)施例中， 在由200組LED光源形成的200種可控變化光照條件(L1山，· · ·，LM，M = 200)下，利用20 攝像陣列采集目標(biāo)物體的變光照成像視頻，如圖2a和圖2b所示，分別為本發(fā)明實(shí)施例動(dòng)態(tài) 場景采集示意圖和攝像陣列布置示意圖。具體地，該步驟包括1. 1、對攝像陣列進(jìn)行幾何及顏色校準(zhǔn)，并將攝像陣列與可控光源進(jìn)行同步校準(zhǔn)。1. 2、在采集場景中央放一枚水晶球，在完整的由200種光源組合構(gòu)成的光照序列 下利用攝像陣列對水晶球進(jìn)行同步采集。1. 3、對20組視角拍攝視頻中的各幀水晶球圖像進(jìn)行全景拼圖，得到對應(yīng)1. 2中 100種光照條件的場景光照環(huán)境圖。1.4、將目標(biāo)物體置于采集場景中，利用攝像陣列采集得到多視角成像信息，且采 集過程中控制同一光照條件分別采集曝光程度為1/2、1、2的三組圖像，從而合成高動(dòng)態(tài)范 圍圖像，以對目標(biāo)物體的光照特性進(jìn)行充分展示。本發(fā)明通過對可控光源和攝像陣列的控制，可以保證目標(biāo)物體在光照空間的高效 采樣。步驟S102，根據(jù)獲得的所述多組多視角視頻圖像獲得所述目標(biāo)物體的反照率信息 和在起始時(shí)刻的三維模型和表面法向。參照圖3所示，為本發(fā)明實(shí)施例獲得自由視角光照 傳輸矩陣的流程圖。該步驟具體包括2. 1利用初始時(shí)刻均勻光照條件下拍攝的多視角圖像，計(jì)算物體三維模型及表面法向。2. 2結(jié)合匹配特征點(diǎn)及多視角相機(jī)校準(zhǔn)參數(shù)，利用魯棒的主分量分析方法(RPCA) 對物體表面各點(diǎn)在不同光照條件各視角采集數(shù)據(jù)中的置信度進(jìn)行篩選，選擇高置信度的成 像信息計(jì)算物體表面各點(diǎn)的反照率信息。因?yàn)閷τ诔Ｒ姷亩喾N材質(zhì)，光照特性主要還是以低頻分量為主，而視頻圖像采集 過程中存在的噪聲、遮擋陰影、高光區(qū)域的過飽和狀態(tài)等則是以不符合這一低頻特性的差 殘分量存在的，因此本發(fā)明實(shí)施例可以考慮利用RPCA對這類區(qū)域首先進(jìn)行剔除，選出正常 表示物體光照特性的像素區(qū)域進(jìn)行后續(xù)計(jì)算，這部分正常表示物體光照特性的像素區(qū)域即 為高置信度區(qū)域。因此，在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)置信度進(jìn)行篩選包括對各像素 在不同時(shí)刻采集數(shù)據(jù)中的過飽和和/或不可見性進(jìn)行篩選。本發(fā)明實(shí)施例通過對過飽和和 /或具有不可見性的像素進(jìn)行篩選，從而能夠使光度立體的恢復(fù)結(jié)果準(zhǔn)確性得到保證。步驟S103，結(jié)合球諧函數(shù)光照模型，對目標(biāo)物體表面各點(diǎn)法向進(jìn)行優(yōu)化，獲取更為 精準(zhǔn)的目標(biāo)物體的法向信息及三維模型。3. 1、結(jié)合球諧函數(shù)模型，設(shè)計(jì)能量函數(shù)，對上述步驟計(jì)算得到的物體表面法向進(jìn) 行優(yōu)化，對由于遮擋等問題造成的錯(cuò)誤法向進(jìn)行修正。I = LS可以看作是基于球諧函數(shù)的 光照模型，能量函數(shù)可以為如下形式min| |W(I_L · S) I |+c · AS
其中W為權(quán)重矩陣(應(yīng)為對角陣的形式)，對于I-LS具有較大誤差的表面點(diǎn)j， W(j，j)的取值應(yīng)較小。S對應(yīng)物體表面各點(diǎn)球諧圖像，由物體表面的反照率和法向情況共同決定，Δ S是 對物體表面各點(diǎn)的反照率及法向一致性進(jìn)行約束。C為可調(diào)整的一個(gè)系數(shù)，用以決定前后兩 項(xiàng)的約束強(qiáng)弱。具體優(yōu)化過程，可以利用初始反照率和法向信息，計(jì)算得到W0，然后利用上式優(yōu)化 求解S'，然后根據(jù)S'，將權(quán)重矩陣更新為W'，然后繼續(xù)利用設(shè)定的目標(biāo)函數(shù)進(jìn)行求解， 實(shí)現(xiàn)對S'的迭代優(yōu)化，即達(dá)到對物體表面法向進(jìn)行優(yōu)化的目的。3. 2、利用優(yōu)化后的物體表面法向信息，獲得更為精準(zhǔn)的物體三維模型。步驟S104，根據(jù)所述表面法向、光照方向和觀察方向三者間的相對位置對多視角 變光照的目標(biāo)信息進(jìn)行融合，以生成支持各向異性光照特性表示的所述目標(biāo)物體的自由視 角光照傳輸矩陣。在本發(fā)明中自由視角重光照傳輸矩陣可以對各向異性的物體光照特性進(jìn) 行表示。具體包括以下步驟4. 1、對目標(biāo)物體表面的各頂點(diǎn)，在各采集時(shí)刻，計(jì)算3. 1中優(yōu)化得到的該點(diǎn)法線 方向(法向)與該時(shí)刻光照方向間的相對位置(相對光源方向)，及該時(shí)刻定點(diǎn)法向與各拍 攝視角見的相對位置(相對觀察方向)。4. 2、自由視角光照傳輸矩陣是用以表示場景反射特性的三維矩陣，三個(gè)維度分別 對應(yīng)場景空間位置、光源方向、觀察視角的變化，矩陣元素對應(yīng)場景中一點(diǎn)接受某一相對光 源方向的入射光，并從某一相對觀察方向進(jìn)行拍攝時(shí)，采集得到的成像信息。根據(jù)4. 1中的 計(jì)算結(jié)果，可將多視角變光照采集數(shù)據(jù)中的高置信度區(qū)域中的各像素分別填充至自由視角 光照傳輸矩陣的相應(yīng)位置。4. 3、利用目標(biāo)物體表面各點(diǎn)反射屬性的局部平滑及低秩特性作為約束，對步驟 4. 2中填充后的自由視角光照傳輸矩陣中可能存在的缺損元素進(jìn)行恢復(fù)，生成完整的場景 自由視角光照傳輸矩陣。本發(fā)明采用局部平滑及低秩特性作為約束，對由于遮擋或采樣密 度有限造成的自由視角光照傳輸矩陣中的缺損元素進(jìn)行恢復(fù)。步驟S105，根據(jù)所述表面法向和所述自由視角光照傳輸矩陣對所述目標(biāo)物體進(jìn)行 重光照操作，以生成重光照目標(biāo)物體模型。如圖4所示，為本發(fā)明實(shí)施例的自由視角重光照 流程圖。該步驟具體包括以下步驟5. 1、根據(jù)用戶給定的光照環(huán)境，生成光照環(huán)境圖，并將其表示為多種基光照環(huán)境 圖的線性疊加。5. 2、分別計(jì)算5. 1中得到的各種基光照條件，與各采集時(shí)刻物體表面各點(diǎn)的相對 光源方向，并從自由視角光照傳輸矩陣中選擇相應(yīng)元素，生成各時(shí)刻的目標(biāo)物體的基光照 自由視角成像信息。5. 3、按照5. 1中計(jì)算得到的線性疊加方式，對5. 2中得到的基光照自由視角成像 信息進(jìn)行線性加權(quán)，生成目標(biāo)物體對應(yīng)各采集時(shí)刻的重光照自由視角成像信息，從而獲得 重光照目標(biāo)物體模型。步驟S106，結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的動(dòng)態(tài)場景重光照。具體 包括6. 1、對于任意觀察視角，計(jì)算該觀察視角與該時(shí)刻物體表面各點(diǎn)的相對觀察方
7向，從而根據(jù)該時(shí)刻目標(biāo)物體的重光照自由視角成像信息，結(jié)合依賴視角的渲染方法，生成 場景的自由視角重光照效果。如圖5所示，為本發(fā)明實(shí)施例的基于自由視角光照傳輸矩陣的重光照裝置結(jié)構(gòu) 圖。該裝置包括可控光源100、攝像陣列200和重光照裝置300?？煽毓庠?00用于產(chǎn)生預(yù) 設(shè)的可控變化光照條件。攝像陣列200用于在預(yù)設(shè)的可控變化光照條件下，在預(yù)設(shè)的多個(gè) 曝光程度下分別采集目標(biāo)物體對應(yīng)的多組多視角視頻圖像。重光照裝置300用于根據(jù)獲得 的所述多組多視角視頻圖像獲得所述目標(biāo)物體的反照率信息和在起始時(shí)刻的三維模型和 表面法向，并根據(jù)所述表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照 的目標(biāo)信息進(jìn)行融合，以生成支持各向異性光照特性表示的所述目標(biāo)物體的自由視角光照 傳輸矩陣，接著根據(jù)所述表面法向和所述自由視角光照傳輸矩陣對所述目標(biāo)物體進(jìn)行重光 照操作，以生成重光照目標(biāo)物體模型，以及結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的 動(dòng)態(tài)場景重光照。在本發(fā)明的一個(gè)實(shí)施例中，重光照裝置300還用于獲得所述預(yù)設(shè)的可控變化光照 條件中各個(gè)光照狀態(tài)對應(yīng)的場景光照環(huán)境圖。在本發(fā)明的一個(gè)實(shí)施例中，重光照裝置300還用于結(jié)合匹配特征點(diǎn)和多視角相機(jī) 校準(zhǔn)參數(shù)，利用魯棒的主分量分析方法RPCA對所述目標(biāo)物體的表面各點(diǎn)在不同光照條件 下各視角采集數(shù)據(jù)中置信度進(jìn)行篩選，選擇高置信度的成像信息計(jì)算所述目標(biāo)物體表面各 點(diǎn)的反照率信息。在本發(fā)明的一個(gè)實(shí)施例中，重光照裝置300還用于結(jié)合球諧函數(shù)光照模型對所述 目標(biāo)物體各點(diǎn)的法向進(jìn)行優(yōu)化，以獲得所述目標(biāo)物體精確的方向和三維模型。本發(fā)明針對各向異性的光照特性提出了一種實(shí)用的表示方法，并且支持自由視角 的重光照效果觀察。另外，本發(fā)明原理簡單、明確，且易于實(shí)現(xiàn)。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種基于自由視角光照傳輸矩陣的重光照方法，其特征在于，包括以下步驟在預(yù)設(shè)的可控變化光照條件下，利用攝像陣列在預(yù)設(shè)的多個(gè)曝光程度下分別采集目標(biāo)物體對應(yīng)的多組多視角視頻圖像；根據(jù)獲得的所述多組多視角視頻圖像獲得所述目標(biāo)物體的反照率信息和在起始時(shí)刻的三維模型和表面法向；根據(jù)所述表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照的目標(biāo)信息進(jìn)行融合，以生成支持各向異性光照特性表示的所述目標(biāo)物體的自由視角光照傳輸矩陣；根據(jù)所述表面法向和所述自由視角光照傳輸矩陣對所述目標(biāo)物體進(jìn)行重光照操作，以生成重光照目標(biāo)物體模型；和結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的動(dòng)態(tài)場景重光照。
2.如權(quán)利要求1所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，還包括獲得所述預(yù)設(shè)的可控變化光照條件中各個(gè)光照狀態(tài)對應(yīng)的場景光照環(huán)境圖。
3.如權(quán)利要求2所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，所述 獲得預(yù)設(shè)的可控變化光照條件中各個(gè)光照狀態(tài)對應(yīng)的場景光照環(huán)境圖進(jìn)一步包括在采集場景中央放置一枚水晶球，在所述預(yù)設(shè)的可控變化光照條件下利用所述攝像陣 列對水晶球進(jìn)行拍攝；對所述攝像陣列拍攝的視頻中的各幀水晶球圖像進(jìn)行全景拼圖，以獲得所述預(yù)設(shè)的可 控變化光照條件下各光照狀態(tài)對應(yīng)的場景光照環(huán)境圖。
4.如權(quán)利要求1所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，還包括對所述攝像陣列進(jìn)行幾何和顏色校準(zhǔn)，并將所述攝像陣列和所述可控光源進(jìn)行同步校 準(zhǔn)，所述預(yù)設(shè)的可控變化光照條件由所述可控光源產(chǎn)生。
5.如權(quán)利要求1所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，還包括結(jié)合匹配特征點(diǎn)和多視角相機(jī)校準(zhǔn)參數(shù)，利用魯棒的主分量分析方法RPCA對所述目 標(biāo)物體的表面各點(diǎn)在不同光照條件下各視角采集數(shù)據(jù)中置信度進(jìn)行篩選，選擇高置信度的 成像信息計(jì)算所述目標(biāo)物體表面各點(diǎn)的反照率信息。
6.如權(quán)利要求5所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，還包括結(jié)合球諧函數(shù)光照模型對所述目標(biāo)物體各點(diǎn)的法向進(jìn)行優(yōu)化，以獲得所述目標(biāo)物體精 確的方向和三維模型。
7.如權(quán)利要求6所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，所述 根據(jù)表面法向、光照方向和觀察方向三者間的相對位置對多視角變光照的目標(biāo)信息進(jìn)行融 合，以生成支持各向異性光照特性表示的所述目標(biāo)物體的自由視角光照傳輸矩陣進(jìn)一步包 括在各個(gè)采集時(shí)刻，計(jì)算所述目標(biāo)物體表面各個(gè)頂點(diǎn)的法向與該時(shí)刻光照方向之間的相 對位置，以及該時(shí)刻所述法向與各個(gè)拍攝視角之間的相對位置；根據(jù)獲得的所述法向與該時(shí)刻光照方向之間的相對位置，以及所述法向與各個(gè)拍攝視 角之間的相對位置，將高置信度區(qū)域中的各像素分別填充至自由視角光照傳輸矩陣。
8.如權(quán)利要求7所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，還包括利用所述目標(biāo)物體表面各點(diǎn)的反射屬性的局部平滑及低秩特性作為約束，對填充后的 自由視角光照傳輸矩陣進(jìn)行恢復(fù)以生成完整的所述目標(biāo)物體的自由視角光照傳輸矩陣。
9.如權(quán)利要求8所述的基于自由視角光照傳輸矩陣的重光照方法，其特征在于，所述 根據(jù)表面法向和所述自由視角光照傳輸矩陣對所述目標(biāo)物體進(jìn)行重光照操作，以生成重光 照目標(biāo)物體模型包括根據(jù)用戶給定的光照環(huán)境，生成光照環(huán)境圖，并將所述光照環(huán)境圖表示為多種基光照 環(huán)境圖的線性疊加；根據(jù)所述多種基光照環(huán)境圖計(jì)算多種基光照條件，以及各個(gè)采集時(shí)刻所述目標(biāo)物體表 面各點(diǎn)的相對光源方向，并從所述自由視角光照傳輸矩陣中選擇相應(yīng)元素，以生成各個(gè)時(shí) 刻對應(yīng)的所述目標(biāo)物體的基光照自由視角成像信息；對所述各個(gè)基光照自由視角成像信息進(jìn)行線性加權(quán)，以生成所述目標(biāo)物體對應(yīng)的重光 照目標(biāo)物體模型。
10.一種基于自由視角光照傳輸矩陣的重光照裝置，其特征在于，包括可控光源，用于產(chǎn)生預(yù)設(shè)的可控變化光照條件；攝像陣列，用于在預(yù)設(shè)的可控變化光照條件下，在預(yù)設(shè)的多個(gè)曝光程度下分別采集目 標(biāo)物體對應(yīng)的多組多視角視頻圖像；和重光照裝置，用于根據(jù)獲得的所述多組多視角視頻圖像獲得所述目標(biāo)物體的反照率信 息和在起始時(shí)刻的三維模型和表面法向，并根據(jù)所述表面法向、光照方向和觀察方向三者 間的相對位置對多視角變光照的目標(biāo)信息進(jìn)行融合，以生成支持各向異性光照特性表示的 所述目標(biāo)物體的自由視角光照傳輸矩陣，接著根據(jù)所述表面法向和所述自由視角光照傳輸 矩陣對所述目標(biāo)物體進(jìn)行重光照操作，以生成重光照目標(biāo)物體模型，以及結(jié)合依賴視角的 模型渲染算法，實(shí)現(xiàn)自由視角的動(dòng)態(tài)場景重光照。
11.如權(quán)利要求10所述的基于自由視角光照傳輸矩陣的重光照裝置，其特征在于，所 述重光照裝置，還用于獲得所述預(yù)設(shè)的可控變化光照條件中各個(gè)光照狀態(tài)對應(yīng)的場景光照 環(huán)境圖。
12.如權(quán)利要求10所述的基于自由視角光照傳輸矩陣的重光照裝置，其特征在于，所 述重光照裝置，還用于結(jié)合匹配特征點(diǎn)和多視角相機(jī)校準(zhǔn)參數(shù)，利用魯棒的主分量分析方 法RPCA對所述目標(biāo)物體的表面各點(diǎn)在不同光照條件下各視角采集數(shù)據(jù)中置信度進(jìn)行篩 選，選擇高置信度的成像信息計(jì)算所述目標(biāo)物體表面各點(diǎn)的反照率信息。
13.如權(quán)利要求10所述的基于自由視角光照傳輸矩陣的重光照裝置，其特征在于，所 述重光照裝置，還用于結(jié)合球諧函數(shù)光照模型對所述目標(biāo)物體各點(diǎn)的法向進(jìn)行優(yōu)化，以獲 得所述目標(biāo)物體精確的方向和三維模型。全文摘要
本發(fā)明提出一種基于自由視角光照傳輸矩陣的重光照方法，包括以下步驟利用多視角拍攝的可控光照下的場景成像信息；根據(jù)物體表面各點(diǎn)法線、光照、觀察方向三者間的相對位置，生成支持各向異性光照特性表示的目標(biāo)物體的自由視角光照傳輸矩陣；并結(jié)合依賴視角的模型渲染算法，實(shí)現(xiàn)自由視角的場景重光照操作。本發(fā)明針對各向異性的光照特性提出了一種實(shí)用的表示方法，并且支持自由視角的重光照效果觀察。另外，本發(fā)明原理簡單、明確，且易于實(shí)現(xiàn)。
文檔編號G06T17/00GK101917637SQ20101021813
公開日2010年12月15日 申請日期2010年6月24日 優(yōu)先權(quán)日2010年6月24日
發(fā)明者戴瓊海, 李冠楠 申請人:清華大學(xué)