專利名稱：基于地基圖像和從天上拍攝的圖像的組合的三維模型方法
技術領域：
本發明涉及一種基于地基(ground based)圖像和從天上(from above)拍攝的圖像的組合的三維模型方法。在此上下文中，地基圖像將包含直接從地面拍攝的圖像以及例如通過低空飛行直升機從低高度拍攝的圖像。
背景技術：
將從地基設備拍攝的圖像與借助例如飛機從空中拍攝的圖像組合的基本思想例如尤其從US2008/0221843A1是已知的，并且從Fruhe C.等人在2003年IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition(CVPR' 03)的會議錄
中的文章〃Constructing 3D City Model by Merging Ground-Based and Airborn views〃也是已知的。根據這兩篇文獻的將從地基設備拍攝的圖像和從空中拍攝的圖像組合的解決方案是相當復雜的，并且涉及手動處理所述圖像信息。再者，沒有關于由遮擋(occlusion)引起的問題的復雜度的討論。導致遮擋成為遮蔽(obscuration)的對象的示例為來自樹木、燈桿、汽車等的遮蔽。還可以注意到，目前有可用的解決方案以根據從街道拍攝的圖像建立視圖，并且所述圖像經常稱為〃街道視圖〃。這些解決方案是基于從具有已知方向的已知地理參考位置拍攝的圖像，該圖像經常涵蓋了 360度。通過選擇例如在地圖上的特定點，有可能從該點查看環境。除了在觀察者的眼睛中進行的解釋(interpretation),未建立其它的三維模型。本發明的目的是獲得一種三維模型方法，該三維模型方法實施起來較不復雜，自動地實施，可以考慮到問題的遮擋復雜度，并且該三維模型方法可以建立現實或真實三維世界的詳盡模型。
發明內容
本發明的目的是通過根據第一段的三維方法來實現，該三維方法特征在于，基于從天上拍攝的圖像的現有3D模型與基于從地面水平拍攝的圖像的3D模型匹配從而改進整個3D模型。從地面拍攝的圖像優選地包含關于來自地面水平的圖像被拍攝時相機的位置和空間方位角以及每個像素的方向的信息。基于從天上拍攝的圖像并且與從地面水平拍攝的圖像匹配的三維模型使能處理例如在樹木位于建筑物前方時通過分裂對樹木和建筑物的觀察從地基系統看到的多個深度。優選地，基于從地面水平拍攝的圖像的3D模型是由基于從天上拍攝的圖像的現有3D模型控制。根據優選方法，通過使用基于從地面水平拍攝的圖像的圖像來替換基本上豎直和向下傾斜的表面，具有高分辨紋理的從地面水平拍攝的圖像信息被用于增強基于從天上拍攝的圖像的現有3D模型的圖像。使用從地面拍攝的高分辨圖像作為整個模型中的紋理導致整個模型的增加的圖像質量。根據又一優選方法，基于從天上拍攝的圖像的現有3D模型與從地面水平拍攝的圖像的匹配是基于所拍攝的圖像的位置和空間方位角信息。根據另一優選方法，所有從地面水平可得到的圖像以及從天上拍攝的圖像被考慮用于從幾何和紋理兩個方面評估三維模型。這種方法在建立最后三維模型中利用了最多的圖像信息。有利地，諸如屋頂的高水平表面根據從天上拍攝的圖像被評估和紋理化，并且諸如房屋立面的豎直表面根據從地面水平拍攝的可用圖像被評估并且根據這些圖像被紋理化。這種評估方式確保在建立最后三維模型中使用了高質量圖像信息。 當從地面水平以及從天上拍攝圖像時，圖像的確切位置和確切空間方位角之間很可能出現一些偏差。為了最小化這種偏差，提出將從地面拍攝的圖像互相關聯以補償位置和空間方位角偏差。還提出在3D模型中從地面拍攝的圖像與在3D模型中從天上拍攝的圖像關聯，從而補償位置和空間方位角偏差。用于來自地面水平的相互的圖像以及與來自天上的圖像組合的擬合過程是有可能的。
現在將參考附圖更詳細描述本發明，在附圖中
圖Ia-Id示意性說明涉及遮蔽的遮擋問題并且使得
圖Ia為說明通過地基相機成像的來自天上的房屋的視圖，
圖Ib為圖Ia的房屋的地基視圖，
圖Ic為將從天上成像的圖Ia和Ib的房屋的從天上的視圖，以及 圖Id為房屋的地基視圖，說明通過從天上進行相機成像的成像。圖2示意性說明從天上捕獲圖像。圖3a說明用于收集數據的已知立體方案的示例。圖3b說明將用于收集數據的提出的立體方案。圖4示意性說明基于地基圖像和從天上拍攝的圖像的組合的模型方法的示例。
具體實施例方式現在將參考圖Ia-Id描述遮蔽問題，圖Ia-Id示出了房屋I以及位于房屋I前方的樹木2。根據圖la，相機被定位以在位置3. 1-3. 4拍攝圖像并且圖像視場用角度指示
4.1-4. 4標示。這些圖像用于形成三維地基模型。從所示的角度指示明顯看出，樹木2特別是通過其樹冠8擋住部分的房屋立面9。另外，取決于光照條件，樹木2將在房屋立面9上產生未示出的陰影。根據圖Ic和ld，說明從天上成像。同樣，示出四個相機位置5. 1-5. 4，相應角度指示6. 1-6. 4標示所拍攝圖像的圖像視場。這些圖像用于形成從天上拍攝的三維模型。當從空中(airborne)系統從天上成像時,真實環境的某些部分被排除不被成像。這種情況下，樹木2的樹干7是不可見的。
然而通過組合來自地基圖像的圖像信息和來自空中系統的圖像，大多數遮擋和遮蔽問題被滿足。如果基于空中圖像的三維模型是可用的，此先驗知識可以用于處理樹木2的遮蔽，即在觀察方向上若干不同深度必須被處理。另一方面，從天上拍攝的三維模型無法觀察到樹木樹干7，該樹木樹干7可以從地基三維模型建模。現在討論用于收集將用于立體成像的圖像的原理。根據圖2，設有相機12的飛機11在景觀13上方用實線在第一位置示出并且用虛線在第二位置示出。如圖中說明，景觀高度不同并且存在諸如房屋的陡峭配置14以及諸如綿延山巒的更綿延的配置15。在第一位置的相機的位置用X、I、Z表示并且空間方位角用α、β、Y表示。因此,旋轉和位置的所有6個自由度是可用的。所示的第二相機位置的相應位置和空間方位角用x’、y’、z’和α’、β’、Y’表示。相機12對景觀的覆蓋對于第一位置用線16、17標示并且對于第二位置用線16’、17’標示。當比較景觀的從第一位置拍攝的圖像和從第二位置拍攝的圖像時，交疊部分18可以被識別。如果交疊18部分被觀察到，則可以看出從第一位置拍攝的圖像缺少有關陡峭配置14的豎直右部14. I的圖像信息，而相同的豎直右部14. I容易從第二位置成像。因此，擁有覆蓋同一場景位置的多個圖像增大了構建與真實世界更一致的三維圖像的可能性。 圖3a示出已知立體方案的示例。通過在景觀上方飛行設有向下看的相機的飛機或其它空中交通工具，使得在飛行方向上存在大約50-60%的交疊，并且對于相鄰飛行大體上沒有交疊以及實踐中大約10%的交疊從而避免空洞，由此獲得這種方案。在圖中，上灰色條帶19說明第一飛行的足印并且下灰色條帶20說明第二飛行的足印。在條帶19、20中，來自每隔一個圖像的足印被說明為實矩形23-30，而位于它們之間的來自每隔一個圖像的足印被說明為由垂直于飛行方向22的虛線界定的矩形31-36。通過所示的方案，地面上的每個點用兩個圖像覆蓋并且根據這些圖像可以計算立體評估。圖3b示出可以使用的立體方案的另一提出的示例。在所提出的方案中，上和下條帶19、20說明在飛行方向22上80%的交疊以及相鄰飛行之間60%的交疊。合適提議的交疊在飛行方向上為大約60-90%以及在相鄰飛行之間為大約60-80%。在不同條帶19、20中，5個不同矩形37-41可以被識別，說明沿著飛行方向重復地存在的5個連續足印。5個矩形用垂直于飛行方向的5種不同界定線(實線、點劃線、短劃線、長劃線和雙點劃線)標示。通過如參考圖3b所示出和描述的方案，地面上的每個點用至少10個圖像覆蓋并且所有這些圖像可以對場景中每個點進行立體評估有貢獻。現在參考圖4描述本發明的3D模型方法中涉及的圖像處理。參考圖2、3a和3b根據上述描述所收集的并且在存儲單元45中可獲得的圖像44被應用到立體差異塊42，該立體差異塊計算覆蓋同一場景位置的每個可能圖像對η的立體差異。對于每個所涉及的圖像，圖像被拍攝的位置x、y、ζ和空間方位角α、β、Y是已知的，即旋轉和位置的所有6個自由度是已知的。另外，評估每個立體差異的確定性度量。此度量可以基于局部對比度、可見性和/或分辨率。在加權塊43中考慮到評估的確定性度量，對在立體差異塊42中計算的立體差異進行加權處理。在加權之后作為加權塊43的輸出而可獲得高度模型46，該高度模型46作為格柵而可視化。根據此第一模型，將諸如可見性、局部對比度、分辨率和諸如遮蔽的可見性的信息考慮在內，基于評估的3D模型的法向矢量而自動且自適應地對原始立體評估進行重新加權。在此上下文中，例如從建筑物正上方拍攝的圖像被用于評估屋頂結構，而不是用于評估建筑物的側面。另一示例可以是避免建筑物的正面和背面的混合。通過利用來自側面的圖像以及相關測量的迭代處理，獲得一種揭示被隱藏部分的更可靠3D模型。在加權處理中，界外值可以被挑選出來，并且作為直截了當的示例，場景的剩余立體差異通過求平均或者其它數學方法被一起加權，從而發現相似立體差異的濃度。在一種更簡單的計算中，需要同一區域的僅僅兩個圖像的僅僅一個立體對是足夠的，并且加權可以被簡化或者甚至略去。基于在加權塊43的輸出上的3D模型46，構建三角形的線模型47，并且該三角形用適合(fit)觀看方向的圖像遮蓋。從地面水平進行類似的成像，并且用于立體處理的圖像54存儲在存儲單元55中以及在立體塊52中被處理。針對每個涉及的圖像，對于從天上的成像，圖像被拍攝的位置x、y、z以及空間方位角α、β、γ是已知的，即旋轉和位置的所有6個自由度是已知的。于 是在三維格柵模型56被構建之前，立體差異可以在加權塊中進行加權。當將地基圖像與從天上拍攝的圖像組合時，在收到來自圖像模型的關于從天上拍攝的圖像的請求時，圖像信息從格柵模型56被提取，并且高分辨紋理從地基格柵模型被提取，從而利用從地基格柵模型得到的遮蓋完成三角形的線模型47。來自地基模型的紋理和基于從天上拍攝的圖像的模型的所有組合利用了這樣的事實，關于圖像被拍攝的位置x、y、ζ和空間方位角α、β、Y的完整信息對于所有圖像而言是已知的。在圖4中，對于從天上拍攝的圖像和從地面水平拍攝的圖像，通過不同處理信道來說明所述圖像處理。然而有可能的是，至少一些所包含的塊對兩個信道是共用的。本發明不限于上文示例性描述的方法，而可以在所附權利要求的范圍中修改。
權利要求
1.一種基于地基圖像和從天上拍攝的圖像的組合的三維模型方法，其特征在于，基于從天上拍攝的圖像的現有3D模型與基于從地面水平拍攝的圖像的3D模型匹配，從而改進整個3D模型。
2.如權利要求I所述的方法，其特征在于，基于從地面水平拍攝的圖像的3D模型是由基于從天上拍攝的圖像的現有3D模型控制。
3.如前述權利要求中任意一項所述的方法，其特征在于，所有從地面水平可得到的圖像以及從天上拍攝的圖像被考慮用于從幾何和紋理兩個方面評估三維模型。
4.如前述權利要求中任意一項所述的方法，其特征在于，基于從天上拍攝的圖像的現有3D模型與從地面水平拍攝的圖像的匹配是基于拍攝的圖像的位置和空間方位角信息。
5.如前述權利要求中任意一項所述的方法，其特征在于，通過使用基于從地面水平拍攝的圖像的圖像來替換基本上豎直和向下傾斜的表面，具有高分辨紋理的從地面水平拍攝的圖像信息被用于增強基于從天上拍攝的圖像的現有3D模型的圖像。
6.如前述權利要求中任意一項所述的方法，其特征在于，諸如屋頂的高水平表面根據從天上拍攝的圖像而被評估和紋理化。
7.如前述權利要求中任意一項所述的方法，其特征在于，諸如房屋立面的豎直表面根據從地面水平拍攝的可用圖像被評估并且根據這些圖像被紋理化。
8.如前述權利要求中任意一項所述的方法，其特征在于，從地面拍攝的圖像被互相關聯以補償位置和空間方位角偏差。
9.如前述權利要求中任意一項所述的方法，其特征在于，在3D模型中從地面拍攝的圖像與在3D模型中從天上拍攝的圖像關聯，從而補償位置和空間方位角偏差。
全文摘要
本發明涉及一種基于地基圖像(54)和從天上拍攝的圖像(44)的組合的三維模型方法。根據本發明，基于從天上拍攝的圖像(44)的現有3D模型(46)與從地面水平拍攝的圖像(54)匹配，所有圖像包含關于當來自地面水平的圖像(54)和從天上拍攝的圖像(44)被拍攝時相機的位置和空間方位角以及每個像素的方向的信息。該方法提供了一種自動實施的成像，從而解決或者至少減輕了遮擋問題。
文檔編號G01C11/00GK102822874SQ201080062323
公開日2012年12月12日 申請日期2010年1月26日 優先權日2010年1月26日
發明者L.哈格倫, J.博格, I.安德森, F.伊薩克森 申請人:薩博股份公司