3d建模的對象的紋理化的制作方法
【技術領域】
[0001] 本發明設及計算機程序和系統的領域，并且更具體地，設及用于設計表示實際對 象的3D建模的對象的方法、系統和程序。
【背景技術】
[0002] 市場上提供了很多系統和程序用于對象的設計、工程和制造。CAD是計算機輔助設 計的縮寫，例如，其設及用于設計對象的軟件解決方案。CAE是計算機輔助工程的縮寫，例 如，其設及用于模擬未來產品的物理行為的軟件解決方案。CAM是計算機輔助制造的縮寫， 例如，其設及用于定義制造過程和操作的軟件解決方案。在運樣的計算機輔助設計系統中， 圖形用戶接口在技術的效率方面起到重要作用。運些技術可W嵌入到產品生命周期管理 (PLM)系統內。PLM是指如下商業策略:其在整個擴展企業的概念中，幫助公司從產品的立意 到其壽命的終止來共享產品數據，應用公共過程，并利用企業知識W用于產品的開發。 [000引達索系統（DASSAULT SYSTEMS)提供的化M解決方案（商標為CATIA、EN0VIA和 DELMIA)提供了組織產品工程知識的工程中,IMEngineering化b);管理制造工程知識的制 造中屯、（Manufacturing Hub); W及能使企業整合并連接至工程和制造中屯、的企業中屯、 化nterpriSe化b)。所有在一起，該系統交付一種鏈接產品、過程、資源的開放對象模型，W 實現動態的、基于知識的產品創造、W及決定支持，驅動優化的產品定義、制造準備、生產和 服務。
[0004]在該上下文中，計算機視覺和計算機圖形學的領域提供越來越有用的技術。實際 上，該領域具有的申請設及3D重建、3D模型紋理化、虛擬現實、和需要使用例如一組照片中 的信息作為輸入來精確建立具有準確的幾何形狀的3D場景的所有領域。3D紋理化能夠被用 于設及創建紋理化的3D模型的任何領域，諸如嚴肅游戲、視頻游戲、建筑、考古、逆向工程、 3D資產數據庫、或者虛擬環境。取決于用于輸入數據的傳感器的類型，根據視頻流和照片集 分析的3D重建在目前工藝水平中W2個不同的方法進行處理。
[000引第一方法使用"接收器"傳感器。運顯著地設及根據RGB圖像分析的3D重建。此處， 通過對包含在每個圖像平面的RGB顏色信息的多視點分析來獲得3D重建。下面的論文設及 該方法：
[0006] R.化；Ttley和A.Zisse;rman:Multiple View Geomehy in Computer Vision,劍橋 大學出版社2004;
[0007] R.Szeliski：Computer Vision!Algorithms and Applications，Springer片反 2010;W 及
[0008] 0.Faugeras：Three-Dimensional Computer Vision:A Geometric viewpoint， M口出版社1994。
[0009] 第二方法使用"發射器-接收器"傳感器。運顯著地設及根據RGB深度圖像分析的3D 重建。運種傳感器給出了到標準RGB數據的附加的深度數據，并且在重建過程中主要使用的 是深度信息。下面的論文設及該方法：
[0010] 化n Qii等人：3D Siape Scanning with a Time-of-Fli曲t Camera,CVPR 2010;
[0011] RS. Izadi 等人：Kinect Fusion ： Real-T ime Dense Surface Mapping and Tracking JSMAR研討會2011; W及
[0012] R.Newcombe等人：Live Dense Reconstruction with a Single Moving Camera， IE邸ICCV 2011。
[0013] 此外，若干學術和產業人員現在提供了通過RGB圖像分析的3D重建的軟件解決方 案，諸如Acute3D、Autodesk、VisualSFM;或者通過RGB-深度分析的3D重建的軟件解決方案， 諸如ReconstructMe或者微軟的Kinect (注冊商標）的SDK。
[0014] 多視點攝影測量重建方法使用包括在視頻序列的圖像平面(或者一系列快照）中 的唯一信息，W便于估計場景的3D幾何形狀。對2D視點中的不同視點之間關注點的匹配會 產生相機的相對位置。然后，使用優化的=角測量來計算與匹配對相對應的3D點。深度圖分 析重建方法基于視差圖（disparity map)或者近似的3D點云。運些視差圖是使用立體視覺 或者結構光（例如參見Kinect設備)或者"飛行時間"3D相機來獲得的。然后，運些目前工藝 水平的重建方法典型地輸出實際對象的離散3D表示，最常見的是3D網格。3D模型是從封閉 了所產生的3D點云的最終的體中導出的。
[0015] 從先前技術已知的進一步步驟是生成針對3D網格上的每個多邊形的紋理。為了保 證照片真實性，先前技術要求該擅染使用來自同時捕捉場景的高品質設備的標準圖像。運 在T.化nusch發表于攝影測量與遙感的ISPRS期刊的A new texture mapping algorithm for photorealistic reconstruction of 3D objects論文中進行了角軍釋。
[0016] 圖I 了示出用于利用照片對3D模型進行紋理化的常用方法，運是公知的投影紋理 映射方法。例如在PiDebeveCiCJayIor和J.Malik發表于SIGGRAPH 1996的Modeling and Rendering Architecture from Photographs: A hybrid geometry-and image-based approach的論文中對該方法進行了描述。該方法使用與2D視圖（相對于3D模型）相關聯的圖 像投影數據來計算到3D模型的映射。圖1示出了對于3D網格模型102和校準圖像104的運樣 的視圖相關的3D模型紋理化原則:使用投影紋理映射（由束106表示，根據相機投影矩陣計 算并從光學中屯、108發出）來估計每個=角形頂點的紋理坐標。
[0017]現在，如圖2所示，投影到3D模型的紋理質量高度依賴于相機位姿（camera pose) 估計。實際上，圖2示出的3D模型紋理化存在問題:在左側，精確的校準數據允許一致的紋理 104投影到3D模型102,而在右側，不精確的校準數據會引起紋理104的投影相對于3D模型 102的漂移(drift)。換言之，在快照時對相機旋轉(rotation)和平移（translation)的估計 對最終紋理具有很大影響。顯然，相機位姿的任何偏移（bias)會轉化到重投影（reprojection) 上，并使紋理化過程惡化。在深度圖分析方法的情況下，運樣的偏移經常非常 顯著。其通常源于深度傳感器和RGB傳感器之間的同步的移位(shift),損壞了相機軌道估 計。但是其還可W源于：來自獨立相機的外部拍攝，因為沒有對深度傳感器的剛性依賴 (rigid dependency)所W不能W足夠的精度來估計獨立相機與3D模型的相對位置;噪聲傳 感器，導致不精確的3D模型和相機位姿;3D重建過程的漂移，導致不精確的3D模型；和/或扭 曲的圖像，導致到3D模型的不精確的紋理映射。
[0018]在該上下文內，仍然需要用于設計表示實際對象的3D建模的對象的改善的解決方 案。
【發明內容】
[0019] 因此，提供一種用于設計表示實際對象的3D建模的對象的計算機實現的方法。該 方法包括W下步驟:提供表示實際對象并具有頂點的3D網格、紋理圖像、W及3D網格的頂點 與紋理圖像的像素之間的映射；然后最大化如下形式的概率P ( L ( V )):
n指代3D網格的頂點的數量，而Vi 指代3D網格的頂點。L(Vi)指代在將頂點Vi映射到紋理圖像之后要應用的、并在預先確定的 有限集合化）中選擇的像素移位。《忘第C…I：襄sJ#辦分…I：轉縱游泌S/))。5? 指代3D網格的多組網格圖塊(mesh tile)的索引的集合。滅;指代與頂點Vi相關聯的代價函 數，并遞減地取決于在將頂點Vi映射到所述紋理圖像之后應用針對頂點Vi所選擇的所述像 素移位的結果遵循所述3D網格的頂點與所述紋理圖像的像素之間的預先確定的關系的程 度。Vf指代與3D網格的圖塊f相關聯的代價函數，并取決于針對圖塊f的頂點所選擇的像素 移位之間的全局差異。最大化步驟是利用預先確定的離散馬爾科夫隨機場優化方案來執行 的。該方案將3D網格和與3D網格的頂點的紋理坐標相關聯的像素移位視為能量 -kjg(p供巧)）…沁《樹品鷄!與豁柄巧女載嗅K按知汾誕滿的馬爾科夫隨機場。該方 法還包括根據紋理圖像、所述映射、W及最大化步驟的結果對3D網格進行紋理化。
[0020] 該方法可W包括下面中的一個或多個：
[0021] -代價函數 Vf 的形式為 VK IL(Vi)Usf)= I：{i,j}Ep(f)Vi,J(Uvi) ,L(Vj))，其中，P (f)指代圖塊f的多對頂點的索引的集合，并且預先確定的離散馬爾科夫隨機場優化方案是 成對的離散馬爾科夫隨機場優化方案；
[0022] -Vi,j(L(Vi)，L(Vj))的形式為
> 其中A指代正標量；
[0023] -3D網格的頂點與紋理圖像的像素之間的預先確定的關系實際上是針對所述3D網 格的頂點的3D曲率值與針對所述紋理圖像的像素的到所述紋理圖像的最近輪廓的距離值 之間的預先確定的關系；
[0024] -低于預先確定的闊值的3D曲率值與所有距離值具有預先確定的關系，而高于預 先確定的闊值的3 D曲率值與根據遞增的一到一對應（i n C r e a S i n g O n e -10 - O n e correspondence)的距離值具有預先確定關系；
其中，1￡',.:乂指代指示器函數， Cl指代頂點Vi的最大3D曲率，并且C指代正標量，丫指代正標量，Tl化(Vi))指代在將頂點Vi映 射到紋理圖像之后應用針對頂點Vi選擇的像素移位的結果處的紋理圖像的距離轉換的值， 所述距離轉換是相對于紋理圖像的輪廓圖像的；
[0026] -輪廓圖像是利用應用到紋理圖像的化nny邊緣檢測器來確定的；
[0027] -紋理圖像的距離轉換是利用相對于紋理圖像的輪廓圖像應用到紋理圖像的倒角 掩膜(chamfer mask)來確定的；和/或
[0028] -3D網格、紋理圖像和映射全部是由應用到實際對象的預先確定的從運動中恢復 結構（structure-from-motion)的分析方案輸出的，所述映射對應于在從運動中恢復結構 的分析中針對紋理圖像確定的位姿相機參數。
[0029] 進一步提供了包括用于執行所述方法的指令的計算機程序。
[0030] 進一步提供了其上記錄有計算機程序的計算機可讀存儲介質。
[0031] 進一步提供了計算機系統，包括禪合至存儲器和圖形用戶接口的處理器，所述存 儲器上記錄有所述計算機程序。
【附圖說明】
[0032] 現在通過非限制性示例的方式并參考附圖來描述本發明的實施例，其中：
[0033]圖1-2不出了先前技術；
[0034] 圖3示出了方法的示例的流程圖；
[0035] 圖4示出了系統的圖形用戶接口的示例；