一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法

一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法
【專利摘要】本發(fā)明公開(kāi)了一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法，該方法包括建立虛實(shí)融合場(chǎng)景、生成信息依附面、多元信息標(biāo)注和場(chǎng)景語(yǔ)義組織四個(gè)步驟，本發(fā)明將信息提示由屏幕空間轉(zhuǎn)移到三維場(chǎng)景空間，通過(guò)對(duì)場(chǎng)景進(jìn)行解析，提取出適合于作為信息載體的場(chǎng)景結(jié)構(gòu)，并將提示信息與場(chǎng)景結(jié)構(gòu)相關(guān)聯(lián)，最終實(shí)現(xiàn)提示信息與場(chǎng)景的高度融合，達(dá)到使對(duì)于城市場(chǎng)景的增強(qiáng)現(xiàn)實(shí)提示更加清楚容易理解的目的。
【專利說(shuō)明】一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)圖形學(xué)領(lǐng)域，尤其涉及一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法。

【背景技術(shù)】
[0002]為現(xiàn)實(shí)場(chǎng)景疊加虛擬提示信息是增強(qiáng)現(xiàn)實(shí)的核心內(nèi)容之一。提示信息通常是對(duì)于場(chǎng)景中某個(gè)特定物體的相關(guān)屬性，如名稱、特點(diǎn)、用途等，使用文字、圖像等媒體進(jìn)行進(jìn)一步的描述。將提示信息疊加到真實(shí)場(chǎng)景可以有效地輔助用戶理解場(chǎng)景。而要實(shí)現(xiàn)提示信息的疊加，則首先必須完成信息標(biāo)注。將虛擬的信息注冊(cè)到真實(shí)的物體上，這個(gè)過(guò)程被稱之為信息標(biāo)注。信息標(biāo)注是提示信息疊加與呈現(xiàn)的必要前期工作，只有預(yù)先進(jìn)行信息標(biāo)注，建立物體與提示信息之間的聯(lián)系，才能在后期的在線階段將提示信息以所期望的方式呈現(xiàn)給用戶。通過(guò)信息標(biāo)注，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以在各種場(chǎng)景中對(duì)目標(biāo)物體進(jìn)行信息提示。目前，自動(dòng)化的信息標(biāo)注工具還不成熟，仍需借助人工交互來(lái)完成信息標(biāo)注。
[0003]城市增強(qiáng)現(xiàn)實(shí)是當(dāng)前增強(qiáng)現(xiàn)實(shí)的應(yīng)用熱點(diǎn)，在城市增強(qiáng)現(xiàn)實(shí)中往往使用提示信息來(lái)為用戶做出與城市內(nèi)建筑景物等相關(guān)的提示，并進(jìn)行適當(dāng)?shù)奈恢靡龑?dǎo)。用戶可以通過(guò)瀏覽提示信息來(lái)對(duì)城市場(chǎng)景進(jìn)行更深層次的認(rèn)識(shí)，同時(shí)獲得更多相關(guān)信息。因此，目前有許多針對(duì)提示信息疊加特別是針對(duì)城市場(chǎng)景提示的研究。提示信息疊加到真實(shí)場(chǎng)景的方式對(duì)于解釋城市場(chǎng)景有著重要的作用。
[0004]然而，目前對(duì)于提示信息的呈現(xiàn)大多在屏幕空間進(jìn)行且提示信息以文字為主。它們層疊式地堆積在屏幕空間，一般只是簡(jiǎn)單地和所提示的建筑物有一個(gè)位置上的模糊對(duì)應(yīng)。雖然這種方式在實(shí)現(xiàn)上比較簡(jiǎn)單易行，但是當(dāng)處理類似建筑群等空間關(guān)系比較復(fù)雜的場(chǎng)景時(shí)，位于屏幕空間的提示信息會(huì)因?yàn)槿鄙偕疃刃畔⑶覠o(wú)法準(zhǔn)確的反映提示對(duì)象的位置關(guān)系，從而使用戶在觀看時(shí)產(chǎn)生疑惑。因此對(duì)于城市增強(qiáng)現(xiàn)實(shí)而言，位于屏幕空間的疊加方式一般無(wú)法很好地達(dá)到輔助用戶理解的目的。
[0005]位于屏幕空間的信息提示本質(zhì)上是一種由高維空間到低維空間的映射，維度缺失必可避免地造成信息顯示不準(zhǔn)確、用戶理解困難等問(wèn)題。因此，具有高融合度的信息提示方法受到了研究人員的關(guān)注。但是現(xiàn)有的呈現(xiàn)方式絕大多數(shù)需要依賴可穿戴設(shè)備和標(biāo)記物。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度息標(biāo)注方法。
[0007]本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法，包括以下步驟:
[0008](I)建立虛實(shí)融合場(chǎng)景:利用攝像設(shè)備拍攝需要處理的城市建筑真實(shí)場(chǎng)景視頻流，從記錄城市建筑真實(shí)場(chǎng)景的視頻流中提取出三維稀疏特征點(diǎn)集合，三維稀疏特征點(diǎn)的位置即為真實(shí)場(chǎng)景的世界坐標(biāo)系位置，借助三維數(shù)字內(nèi)容創(chuàng)作工具建立實(shí)景三維模型，使用實(shí)景三維模型和三維稀疏特征點(diǎn)集合同時(shí)來(lái)描述真實(shí)場(chǎng)景；得到同時(shí)具有世界坐標(biāo)以及建筑物外形結(jié)構(gòu)的虛實(shí)融合場(chǎng)景；所述虛實(shí)融合場(chǎng)景的構(gòu)建包括以下子步驟:
[0009](1.1)使用運(yùn)動(dòng)信息中恢復(fù)三維場(chǎng)景結(jié)構(gòu)(Structure from Mot1n,簡(jiǎn)稱SfM)方法處理城市建筑真實(shí)場(chǎng)景視頻流，得到兩個(gè)文件:幀序列以及act文件；其中，幀序列為使用SfM方法處理城市建筑真實(shí)場(chǎng)景視頻流得到的適用于重建的圖像序列，圖像序列中每幀圖像具有按序依次遞增I的序號(hào)，稱為幀序號(hào)；act文件具體內(nèi)容如下:
[0010]A.幀序列中每一幀圖像所對(duì)應(yīng)的相機(jī)外參以及相機(jī)焦距；每一組相機(jī)外參以及相機(jī)焦距以幀序號(hào)作為索引，其值由SfM方法求得；
[0011]B.三維稀疏特征點(diǎn)集合中每個(gè)特征點(diǎn)的世界坐標(biāo)系位置以及出現(xiàn)該特征點(diǎn)的幀的中貞序號(hào)；
[0012](1.2)對(duì)act文件進(jìn)行解析，具體包括以下子步驟:
[0013](1.2.1)對(duì)于步驟1.1中得到的幀序列中任意一幀i，繪制幀i，記錄幀序號(hào)i ;
[0014](1.2.2)解析文件，得到幀i上出現(xiàn)的所有特征點(diǎn)的世界坐標(biāo)；按照世界坐標(biāo)繪制解析得到的特征點(diǎn)；特征點(diǎn)以具有較小半徑的圓形表示；
[0015](1.2.3)查找act文件，通過(guò)幀序號(hào)i索引找到其對(duì)應(yīng)的相機(jī)外參和相機(jī)焦距；使用相機(jī)外參計(jì)算得到與相機(jī)有關(guān)參數(shù):相機(jī)位置、相機(jī)朝向、相機(jī)頂部位置，計(jì)算方法如下:
[0016]Camera = [R3*3 T3n]
[0017]IT1 = Rt
[0018]Eye = _Tt*Rt
[0019]Center = [0,0，I] *R_1+Eye = [0,0，1]*RT+Eye
[0020]Up = [0，-，Ο]*!?-1 = [0，-1, 0]*RT
[0021]其中，Camera是一個(gè)3*4的矩陣，R3*3是攝像機(jī)的旋轉(zhuǎn)矩陣，為一正交矩陣，T 3*1是攝像機(jī)的平移向量；Eye表示攝像機(jī)在世界坐標(biāo)系的位置；Center表示攝像機(jī)鏡頭朝向；Up表示攝像機(jī)頂部的朝向；通過(guò)Eye、Center、Up三個(gè)參數(shù)和相機(jī)焦距值,恢復(fù)真實(shí)世界中相機(jī)視角；
[0022](1.2.4)對(duì)于全部幀序列中的圖像重復(fù)步驟1.2.1-1.2.3，以此方式將所有真實(shí)場(chǎng)景以特征點(diǎn)的方式重現(xiàn)，并且明確特征點(diǎn)所對(duì)應(yīng)的真實(shí)場(chǎng)景；
[0023](1.3)將步驟I中所述實(shí)景三維模型與步驟1.2中繪制好的特征點(diǎn)進(jìn)行匹配，具體方法如下:
[0024](1.3.1)根據(jù)幀序列選擇待處理的平面區(qū)域，選擇該平面區(qū)域?qū)?yīng)的所有特征點(diǎn)，利用選擇的所有特征點(diǎn)使用最小二乘法擬合生成平面；
[0025](1.3.2)以步驟1.3.1中生成的平面作為參考平面，通過(guò)改變實(shí)景三維模型的位置將實(shí)景三維模型上對(duì)應(yīng)于參考平面的區(qū)域與參考平面相重合，并根據(jù)幀序列進(jìn)行調(diào)整；
[0026](2)生成信息依附面:根據(jù)步驟I建立的虛實(shí)融合場(chǎng)景，在待標(biāo)注的區(qū)域生成信息依附面；信息依附面用來(lái)建立多元提示信息與真實(shí)場(chǎng)景結(jié)構(gòu)的聯(lián)系、記錄虛擬信息的中介物；具體生成方法如下:根據(jù)幀序列及實(shí)景三維模型，對(duì)于待標(biāo)注的區(qū)域，在該區(qū)域上選擇三個(gè)以上的點(diǎn)；利用選中的點(diǎn)，使用最小二乘法擬合生成一個(gè)平面，即為信息依附面；
[0027](3)多元信息標(biāo)注:將不同媒體形式的提示信息依附在信息依附面上，具體依附方式如下:
[0028](3.1)建立提示信息代理:對(duì)于文本、圖片、視頻類型的提示信息，生成一個(gè)平面結(jié)構(gòu)，將上述三種提示信息作為此平面結(jié)構(gòu)的紋理信息，稱此平面結(jié)構(gòu)為提示信息代理；對(duì)于聲音以及模型，直接進(jìn)行后續(xù)的依附工作；
[0029](3.2)調(diào)整提示信息:對(duì)于文本、圖片、視頻類型的提示信息，調(diào)整提示信息代理的位置、大小和方向；對(duì)于模型，直接調(diào)整模型本身使之適于顯示；聲音無(wú)需調(diào)整；
[0030](3.3)將步驟2中生成的信息依附面設(shè)置為提示信息代理或提示信息本身的父節(jié)點(diǎn)；將不同媒體形式的提示信息以此方式依附在信息依附面上；根據(jù)以上方法將多元信息標(biāo)注到待標(biāo)注區(qū)域；
[0031](4)場(chǎng)景語(yǔ)義組織:根據(jù)真實(shí)場(chǎng)景層次結(jié)構(gòu)建立場(chǎng)景結(jié)構(gòu)圖，以場(chǎng)景名稱作為輸入，將所有較大場(chǎng)景單位作為較小場(chǎng)景單位的父親，將信息依附面作為虛擬結(jié)構(gòu)置于場(chǎng)景結(jié)構(gòu)的底端，并將信息依附面作為提示信息的父親，得到組織后的具有標(biāo)注信息的場(chǎng)景結(jié)構(gòu)描述文件。
[0032]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:將信息提示由屏幕空間轉(zhuǎn)移到三維場(chǎng)景空間，通過(guò)對(duì)場(chǎng)景進(jìn)行解析，提取出適合于作為信息載體的場(chǎng)景結(jié)構(gòu)，并將提示信息與場(chǎng)景結(jié)構(gòu)相關(guān)聯(lián)，最終實(shí)現(xiàn)提示信息與場(chǎng)景的高度融合，達(dá)到使對(duì)于城市場(chǎng)景的增強(qiáng)現(xiàn)實(shí)提示更加清楚容易理解的目的。

【專利附圖】

【附圖說(shuō)明】
[0033]圖1為系統(tǒng)流程圖；
[0034]圖2為模型融合示意圖；
[0035]圖3為使用信息依附面連接場(chǎng)景與虛擬信息流程圖；
[0036]圖4為多元信息與信息依附面關(guān)系圖；
[0037]圖5為場(chǎng)景語(yǔ)義組織示意圖。

【具體實(shí)施方式】
[0038]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。
[0039]如圖1所示，本發(fā)明一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法，包括以下步驟:
[0040](I)建立虛實(shí)融合場(chǎng)景:利用攝像設(shè)備拍攝需要處理的城市建筑真實(shí)場(chǎng)景視頻流，從記錄城市建筑真實(shí)場(chǎng)景的視頻流中提取出三維稀疏特征點(diǎn)集合，三維稀疏特征點(diǎn)的位置即為真實(shí)場(chǎng)景的世界坐標(biāo)系位置，借助三維數(shù)字內(nèi)容創(chuàng)作工具，如Maya、3DMax等建立實(shí)景三維模型，使用實(shí)景三維模型和三維稀疏特征點(diǎn)集合同時(shí)來(lái)描述真實(shí)場(chǎng)景；得到同時(shí)具有世界坐標(biāo)以及建筑物外形結(jié)構(gòu)的虛實(shí)融合場(chǎng)景；所述虛實(shí)融合場(chǎng)景的構(gòu)建包括以下子步驟:
[0041](1.1)使用運(yùn)動(dòng)信息中恢復(fù)三維場(chǎng)景結(jié)構(gòu)(Structure from Mot1n,簡(jiǎn)稱SfM)方法處理城市建筑真實(shí)場(chǎng)景視頻流，得到兩個(gè)文件:幀序列以及act文件；其中，幀序列為使用SfM方法處理城市建筑真實(shí)場(chǎng)景視頻流得到的適用于重建的圖像序列，圖像序列中每幀圖像具有按序依次遞增I的序號(hào)，稱為幀序號(hào)，使用幀序列可以使得在進(jìn)行后續(xù)方法時(shí)可以直觀地看出三維稀疏特征點(diǎn)與城市建筑真實(shí)場(chǎng)景的關(guān)系；act文件具體內(nèi)容如下:
[0042]A.幀序列中每一幀圖像所對(duì)應(yīng)的相機(jī)外參以及相機(jī)焦距；每一組相機(jī)外參以及相機(jī)焦距以幀序號(hào)作為索引，其值由SfM方法求得；
[0043]B.三維稀疏特征點(diǎn)集合中每個(gè)特征點(diǎn)的世界坐標(biāo)系位置以及出現(xiàn)該特征點(diǎn)的幀的中貞序號(hào)；
[0044](1.2)對(duì)act文件進(jìn)行解析，具體包括以下子步驟:
[0045](1.2.1)對(duì)于步驟1.1中得到的幀序列中任意一幀i，繪制幀i ;在此，可以令顯示窗口的長(zhǎng)寬比與幀的長(zhǎng)寬比相等，這樣做可以使得顯示不會(huì)變形，但不這樣做并不會(huì)影響本方法的實(shí)施和結(jié)果，記錄幀序號(hào)i ;
[0046](1.2.2)解析文件，得到幀i上出現(xiàn)的所有特征點(diǎn)的世界坐標(biāo)；按照世界坐標(biāo)繪制解析得到的特征點(diǎn)；特征點(diǎn)以具有較小半徑的圓形表示；
[0047](1.2.3)查找act文件，通過(guò)幀序號(hào)i索引找到其對(duì)應(yīng)的相機(jī)外參和相機(jī)焦距；使用相機(jī)外參計(jì)算得到與相機(jī)有關(guān)參數(shù):相機(jī)位置、相機(jī)朝向、相機(jī)頂部位置，計(jì)算方法如下:
[0048]Camera = [R3*3 T3H<1]
[0049]IT1 = Rt
[0050]Eye = _Tt*Rt
[0051]Center = [0,0，I] *R_1+Eye = [0,0，1]*RT+Eye
[0052]Up = [0，-，Ο]*!?-1 = [0，-1, 0]*RT
[0053]其中，Camera是一個(gè)3*4的矩陣，R3*3是攝像機(jī)的旋轉(zhuǎn)矩陣，為一正交矩陣，T 3*1是攝像機(jī)的平移向量；Eye表示攝像機(jī)在世界坐標(biāo)系的位置；Center表示攝像機(jī)鏡頭朝向；Up表示攝像機(jī)頂部的朝向；通過(guò)Eye、Center、Up三個(gè)參數(shù)和相機(jī)焦距值,恢復(fù)真實(shí)世界中相機(jī)視角，即在窗口中可以看到所有幀對(duì)應(yīng)的特征點(diǎn)且繪制的特征點(diǎn)與幀i圖像內(nèi)容是正確匹配的；
[0054](1.2.4)對(duì)于全部幀序列中的圖像重復(fù)步驟1.2.1-1.2.3，以此方式將所有真實(shí)場(chǎng)景以特征點(diǎn)的方式重現(xiàn)，并且明確特征點(diǎn)所對(duì)應(yīng)的真實(shí)場(chǎng)景；
[0055](1.3)將步驟I中所述實(shí)景三維模型與步驟1.2中繪制好的特征點(diǎn)進(jìn)行匹配，具體方法如下:
[0056](1.3.1)根據(jù)幀序列選擇待處理的平面區(qū)域，選擇該平面區(qū)域?qū)?yīng)的所有特征點(diǎn)，利用選擇的所有特征點(diǎn)使用最小二乘法擬合生成平面；
[0057](1.3.2)以步驟1.3.1中生成的平面作為參考平面，通過(guò)改變實(shí)景三維模型的位置將實(shí)景三維模型上對(duì)應(yīng)于參考平面的區(qū)域與參考平面相重合，并根據(jù)幀序列進(jìn)行調(diào)整，具體地，可通過(guò)直接改變?nèi)S模型的位置的相關(guān)坐標(biāo)值或設(shè)計(jì)拖拽改變位置的Π來(lái)進(jìn)行操作；通過(guò)以上步驟，建立了虛實(shí)融合場(chǎng)景，以稀疏特征點(diǎn)集合的方式將建筑真實(shí)場(chǎng)景重建，同時(shí)匹配建筑真實(shí)場(chǎng)景模型，因此從虛實(shí)融合場(chǎng)景中，既可以獲得場(chǎng)景的世界坐標(biāo)信息，又可以獲得場(chǎng)景完整的外形信息，為進(jìn)行高融合度信息標(biāo)注做準(zhǔn)備，融合示意圖及結(jié)果如圖2所示；
[0058](2)生成信息依附面:根據(jù)步驟I建立的虛實(shí)融合場(chǎng)景，在待標(biāo)注的區(qū)域生成信息依附面；信息依附面用來(lái)建立多元提示信息與真實(shí)場(chǎng)景結(jié)構(gòu)的聯(lián)系、記錄虛擬信息的中介物，其作用如圖3所示；具體生成方法如下:根據(jù)幀序列及實(shí)景三維模型，對(duì)于待標(biāo)注的區(qū)域，在該區(qū)域上選擇三個(gè)以上的點(diǎn)；利用選中的點(diǎn)，使用最小二乘法擬合生成一個(gè)平面，即為信息依附面；使用信息依附面，可以建立真實(shí)場(chǎng)景與虛擬信息的聯(lián)系，根據(jù)其生成方法可知，信息依附面同時(shí)具有真實(shí)場(chǎng)景位置信息與標(biāo)注表面外形信息，通過(guò)信息依附面，可以將提示信息標(biāo)注到合適的位置，同時(shí)使提示信息與建筑表面結(jié)構(gòu)相關(guān)聯(lián)，從而達(dá)到高融合度的目的；
[0059](3)多元信息標(biāo)注:將不同媒體形式的提示信息依附在信息依附面上，具體依附方式如下:
[0060](3.1)建立提示信息代理:對(duì)于文本、圖片、視頻類型的提示信息，生成一個(gè)平面結(jié)構(gòu)，將上述三種提示信息作為此平面結(jié)構(gòu)的紋理信息，稱此平面結(jié)構(gòu)為提示信息代理，如圖4所示，提示信息代理可以使抽象的提示信息具象化，從而可以對(duì)其進(jìn)行調(diào)整；對(duì)于聲音以及模型，直接進(jìn)行后續(xù)的依附工作；
[0061](3.2)調(diào)整提示信息:對(duì)于文本、圖片、視頻類型的提示信息，調(diào)整提示信息代理的位置、大小和方向；對(duì)于模型，直接調(diào)整模型本身使之適于顯示；聲音無(wú)需調(diào)整；
[0062](3.3)將步驟2中生成的信息依附面設(shè)置為提示信息代理或提示信息本身的父節(jié)點(diǎn)；將不同媒體形式的提示信息以此方式依附在信息依附面上；根據(jù)以上方法將多元信息標(biāo)注到待標(biāo)注區(qū)域；以此方式完成信息標(biāo)注，使得虛擬的提示信息與真實(shí)場(chǎng)景的結(jié)構(gòu)緊密相關(guān)，從而達(dá)到使對(duì)于城市場(chǎng)景的增強(qiáng)現(xiàn)實(shí)提示更加清楚容易理解的目的；
[0063](4)場(chǎng)景語(yǔ)義組織:根據(jù)真實(shí)場(chǎng)景層次結(jié)構(gòu)建立場(chǎng)景結(jié)構(gòu)圖，以場(chǎng)景名稱作為輸入，將所有較大場(chǎng)景單位作為較小場(chǎng)景單位的父親，將信息依附面作為虛擬結(jié)構(gòu)置于場(chǎng)景結(jié)構(gòu)的底端，并將信息依附面作為提示信息的父親，得到組織后的具有標(biāo)注信息的場(chǎng)景結(jié)構(gòu)描述文件，如圖5所示，圖中點(diǎn)云即為稀疏特征點(diǎn)集合；使用場(chǎng)景語(yǔ)義組織得到的場(chǎng)景結(jié)構(gòu)描述文件，可以使得在繪制虛擬信息的時(shí)候，更加快捷地找到所需的提示信息。
【權(quán)利要求】
1.一種面向城市增強(qiáng)現(xiàn)實(shí)的高融合度信息標(biāo)注方法，其特征在于，包括以下步驟: (1)建立虛實(shí)融合場(chǎng)景:利用攝像設(shè)備拍攝需要處理的城市建筑真實(shí)場(chǎng)景視頻流，從記錄城市建筑真實(shí)場(chǎng)景的視頻流中提取出三維稀疏特征點(diǎn)集合，三維稀疏特征點(diǎn)的位置即為真實(shí)場(chǎng)景的世界坐標(biāo)系位置，借助三維數(shù)字內(nèi)容創(chuàng)作工具建立實(shí)景三維模型，使用實(shí)景三維模型和三維稀疏特征點(diǎn)集合同時(shí)來(lái)描述真實(shí)場(chǎng)景；得到同時(shí)具有世界坐標(biāo)以及建筑物外形結(jié)構(gòu)的虛實(shí)融合場(chǎng)景；所述虛實(shí)融合場(chǎng)景的構(gòu)建包括以下子步驟: (1.1)使用SfM方法處理城市建筑真實(shí)場(chǎng)景視頻流，得到兩個(gè)文件:幀序列以及act文件；其中，幀序列為使用SfM方法處理城市建筑真實(shí)場(chǎng)景視頻流得到的適用于重建的圖像序列，圖像序列中每幀圖像具有按序依次遞增I的序號(hào)，稱為幀序號(hào)；act文件具體內(nèi)容如下: A.幀序列中每一幀圖像所對(duì)應(yīng)的相機(jī)外參以及相機(jī)焦距；每一組相機(jī)外參以及相機(jī)焦距以幀序號(hào)作為索引，其值由SfM方法求得； B.三維稀疏特征點(diǎn)集合中每個(gè)特征點(diǎn)的世界坐標(biāo)系位置以及出現(xiàn)該特征點(diǎn)的幀的幀序號(hào)； (1.2)對(duì)act文件進(jìn)行解析，具體包括以下子步驟: (1.2.1)對(duì)于步驟1.1中得到的巾貞序列中任意一巾貞i，繪制巾貞i，記錄巾貞序號(hào)i ; (1.2.2)解析文件，得到幀i上出現(xiàn)的所有特征點(diǎn)的世界坐標(biāo)；按照世界坐標(biāo)繪制解析得到的特征點(diǎn)；特征點(diǎn)以具有較小半徑的圓形表示； (1.2.3)查找act文件，通過(guò)幀序號(hào)i索引找到其對(duì)應(yīng)的相機(jī)外參和相機(jī)焦距；使用相機(jī)外參計(jì)算得到與相機(jī)有關(guān)參數(shù):相機(jī)位置、相機(jī)朝向、相機(jī)頂部位置，計(jì)算方法如下:Camera — [R3*3 T3S<1]
IT1 = Rt
Eye = _Tt*Rt
Center = [0, 0, I] *R_1+Eye = [0, 0, 1]*RT+Eye
Up = [0，-，0] = [0，-1, 0]*RT 其中，Camera是一個(gè)3*4的矩陣，R3*3是攝像機(jī)的旋轉(zhuǎn)矩陣，為一正交矩陣，T 3*1是攝像機(jī)的平移向量；Eye表示攝像機(jī)在世界坐標(biāo)系的位置；Center表示攝像機(jī)鏡頭朝向；Up表示攝像機(jī)頂部的朝向；通過(guò)Eye、Center、Up三個(gè)參數(shù)和相機(jī)焦距值,恢復(fù)真實(shí)世界中相機(jī)視角； (1.2.4)對(duì)于全部幀序列中的圖像重復(fù)步驟1.2.1-1.2.3，以此方式將所有真實(shí)場(chǎng)景以特征點(diǎn)的方式重現(xiàn)，并且明確特征點(diǎn)所對(duì)應(yīng)的真實(shí)場(chǎng)景； (1.3)將步驟I中所述實(shí)景三維模型與步驟1.2中繪制好的特征點(diǎn)進(jìn)行匹配，具體方法如下: (1.3.1)根據(jù)幀序列選擇待處理的平面區(qū)域，選擇該平面區(qū)域?qū)?yīng)的所有特征點(diǎn)，利用選擇的所有特征點(diǎn)使用最小二乘法擬合生成平面； (1.3.2)以步驟1.3.1中生成的平面作為參考平面，通過(guò)改變實(shí)景三維模型的位置將實(shí)景三維模型上對(duì)應(yīng)于參考平面的區(qū)域與參考平面相重合，并根據(jù)幀序列進(jìn)行調(diào)整； (2)生成信息依附面:根據(jù)步驟I建立的虛實(shí)融合場(chǎng)景，在待標(biāo)注的區(qū)域生成信息依附面；信息依附面用來(lái)建立多元提示信息與真實(shí)場(chǎng)景結(jié)構(gòu)的聯(lián)系、記錄虛擬信息的中介物；具體生成方法如下:根據(jù)幀序列及實(shí)景三維模型，對(duì)于待標(biāo)注的區(qū)域，在該區(qū)域上選擇三個(gè)以上的點(diǎn)；利用選中的點(diǎn)，使用最小二乘法擬合生成一個(gè)平面，即為信息依附面； (3)多元信息標(biāo)注:將不同媒體形式的提示信息依附在信息依附面上，具體依附方式如下: (3.1)建立提示信息代理:對(duì)于文本、圖片、視頻類型的提示信息，生成一個(gè)平面結(jié)構(gòu)，將上述三種提示信息作為此平面結(jié)構(gòu)的紋理信息，稱此平面結(jié)構(gòu)為提示信息代理；對(duì)于聲音以及模型，直接進(jìn)行后續(xù)的依附工作； (3.2)調(diào)整提示信息:對(duì)于文本、圖片、視頻類型的提示信息，調(diào)整提示信息代理的位置、大小和方向；對(duì)于模型，直接調(diào)整模型本身使之適于顯示；聲音無(wú)需調(diào)整； (3.3)將步驟2中生成的信息依附面設(shè)置為提示信息代理或提示信息本身的父節(jié)點(diǎn)；將不同媒體形式的提示信息以此方式依附在信息依附面上；根據(jù)以上方法將多元信息標(biāo)注到待標(biāo)注區(qū)域； (4)場(chǎng)景語(yǔ)義組織:根據(jù)真實(shí)場(chǎng)景層次結(jié)構(gòu)建立場(chǎng)景結(jié)構(gòu)圖，以場(chǎng)景名稱作為輸入，將所有較大場(chǎng)景單位作為較小場(chǎng)景單位的父親，將信息依附面作為虛擬結(jié)構(gòu)置于場(chǎng)景結(jié)構(gòu)的底端，并將信息依附面作為提示信息的父親，得到組織后的具有標(biāo)注信息的場(chǎng)景結(jié)構(gòu)描述文件。
【文檔編號(hào)】G06T17/00GK104183014SQ201410401075
【公開(kāi)日】2014年12月3日 申請(qǐng)日期:2014年8月13日 優(yōu)先權(quán)日:2014年8月13日
【發(fā)明者】葛林, 莊曉斌, 萬(wàn)華根, 華煒 申請(qǐng)人:浙江大學(xué)