用于表面特征自適應性三維掃描的系統的制作方法

專利名稱：用于表面特征自適應性三維掃描的系統的制作方法
技術領域：
本說明總體上涉及物體的表面幾何結構的三維掃描領域。
背景技術：
為了建立一個物體表面的幾何模型，已經開發了多種距離傳感器。這些傳感器在 多個點的一個集合處測量傳感器與表面之間的距離。對于近距離測量，典型地是使用基于 三角測量的激光距離傳感器。然后，一個物體的部分或整個表面形狀可以從收集自多個視 點的測量值進行建模。為此目的，應該在將這些距離測量值整合進入一個公共的全局坐標 系之前確定在傳感器與物體之間的相對位置。人們可以使用一個外部定位裝置或者可以在 傳感裝置之中整合自動對位功能。例如P. Hebert等人在編號WO 2006/094409A1下公開的 國際專利申請中說明了一種自動對位的手持式距離傳感器，該傳感器整合了一種激光圖案 投影器以及兩個照相機，這兩個照相機同時捕捉激光圖案的圖像以及后向反射的目標特征 的圖案。這些后向反射的特征被用于自動對位并且使用LED將其照明，這些LED的譜帶與 該激光圖案投影器的譜帶相匹配。基于對這些特征的觀察，該系統將激光三角測量與用于 自動對位的攝影測量法的原理結合在一起。對于手持式的操作而言該系統是緊湊的，并且 該系統增量地并且同時建立了這些目標特征的3D位置的一個模型用于在重構該表面的幾 何結構的同時匹配和計算該距離傳感器的當前位置。使用這樣一種系統不允許捕捉該物體表面的顏色紋理。人們可以首先建立該物體 表面的3D模型，并且然后使用一個彩色照相機來收集該物體表面的圖像，在將這些圖像合 并以及整合進入一種紋理化的模型表示之前，它們可以與該模型對齊。然而，這樣一種方法 將要求兩個系統，而在掃描的同時并未提供一種增量地建立完整模型的能力。已知系統的另一個限制是與復原的模型的分辨率相關的。由于這些照相機被用于 定位，所以要求寬廣的視野。相反，為了復原一個物體表面形狀(即其幾何結構)的較高分 辨率，應該將一個更小的表面區域映射到這些圖像中的更大數量的像素上。因此，在定位與 該幾何結構的復原分辨率之間存在著一種妥協。

發明內容
在此提供了多種系統和方法，它們允許用一個可操縱的激光距離傳感器增量地捕 獲一個物體的表面紋理和幾何結構這兩者的特征。而且，這些系統和方法進一步允許在保 留自動對位能力的同時在高分辨率下捕獲這類特征。為了在提供彩色圖像的自動對準的同時使之有可能同時捕獲一個物體的表面紋 理以及幾何結構，人們可能考慮用彩色照相機替代現有技術中所說明的系統中的這些照相機。人們將會面對許多困難，包括用白光照明替換由LED進行的可見彩色照明(典型地是 紅色照明，這些LED的譜帶與該激光圖案投影器的譜帶相匹配)、在掃描的同時表面高光的 最小化、以及在紋理必須被復原處的激光單色光的附近區域之間的干涉。此外，人們應當開 發一種增量方法用于在掃描的同時將紋理整合進入表面模型之中。即使在提出用于解決這 些問題的一種新系統及多種方法之后，由于之前提及的在定位與測量特征的分辨率之間的 妥協，紋理和幾何結構特征的分辨率仍然將是受限的。在此提供了多種系統和方法用于獲取一個物體的三維表面的幾何結構特征和/ 或紋理特征。一個圖案被投影到所述物體的一個表面上。獲得所述物體的一個基礎2D圖 像；獲得所述物體的一個特征2D圖像；從所述基礎2D圖像、從所述投影的圖案在所述物體 上的一個反射中提取多個2D表面點；在一個傳感器坐標系中使用所述2D表面點來計算多 個3D表面點的一個集合；并且提取2D表面幾何/紋理特征的一個集合。根據本發明的一個廣義的方面，在此提供了一種用于獲取代表物體多個表面點的 數據的系統。該系統包括一種傳感裝置，該傳感裝置具有一個圖案投影器，用于在該物體 的一個表面上提供一個投影的圖案；至少一個基礎照相機，用于獲得代表該物體的至少一 部分的一個基礎2D圖像的數據；以及一個特征照相機，用于獲得代表該物體的至少一部分 的一個特征圖像的數據；該投影的圖案在該基礎圖像上是清晰的，在一個傳感器坐標系中 該基礎照相機、該圖案投影器以及該特征照相機的一種空間關系是已知的；一個基礎圖像 處理器，該基礎圖像處理器用于從該基礎2D圖像數據提取數據，這些數據代表由該投影的 圖案在該表面上的一個反射所提供的多個2D表面點的至少一個集合；一個3D表面點計算 器，該3D表面點計算器用于在該傳感器坐標系中使用代表2D表面點集合的數據來計算多 個3D表面點的一個集合；一個特征圖像處理器，該特征圖像處理器用于在數學意義上地將 該3D表面點集合投影到該特征圖像數據上以便獲取這些3D表面點在該特征圖像數據中的 一個位置、并且用于在該特征圖像數據中在離這些投影的3D表面點一個短距離處為該3D 表面點集合提取特征數據。在一個實施方案中，該特征照相機是一種紋理照相機，該特征圖像是一種紋理圖 像，該特征圖像處理器包括一個紋理圖像處理器，并且該特征數據是在多個紋理圖塊中獲 得的紋理數據。在一個實施方案中，該特征照相機是一種高分辨率照相機，該特征圖像是一種高 分辨率2D圖像，該特征圖像處理器包括一個高分辨率圖像處理器，并且該特征數據是多個 高分辨率的2D表面點。根據本發明的另一個廣義的方面，在此提供了一種用于獲取代表物體多個表面點 的數據的方法。該方法包括使用至少一個基礎照相機來獲取代表該物體的至少一部分的 一個基礎2D圖像的數據，一個投影的圖案在該基礎圖像上是清晰的；使用一個特征照相 機來獲取代表該物體的至少一部分的一個特征圖像的數據；從該基礎2D圖像數據中提取 代表由該投影的圖案在該表面上的一個反射所提供的多個2D表面點的至少一個集合的數 據；使用該代表2D坐標系表面點集合的數據在該傳感器坐標系中計算多個3D表面點的一 個集合；并且在數學意義上將該3D表面點集合投影到該特征圖像數據上，以便獲得這些3D 表面點在這些特征圖像數據中的一個位置；在這些特征圖像數據中在離這些投影的3D表 面點一個短距離處為該3D表面點集合提取特征數據。
在一個實施方案中，該基礎2D圖像以及該特征圖像是使用一種傳感裝置獲得的， 該傳感裝置具有一個圖案投影器，用于在該物體的表面上提供該投影的圖案；至少一個 基礎照相機，用于獲取該物體的一個基礎2D圖像；以及一個特征照相機，用于獲取該物體 的一個特征圖像；在一個傳感器坐標系中該基礎照相機、該圖案投影器以及該特征照相機 的一種空間關系是已知的。根據另一個方面，在此提供了使用一個額外的彩色照相機的系統和方法，該彩色 照相機具有一個更高焦距的透鏡以便捕獲一個特征圖像、連同與該距離傳感器的一種緊密 連接。由該距離傳感器捕獲的用于低分辨率幾何結構測量的基礎圖像被用于引導該特征圖 像中的表面紋理的提取。該額外的照相機也可以是單色的(即灰度)并且可以被用于捕獲 該物體上的高分辨率的幾何結構。類似地，將多個基礎圖像用于引導該高分辨率特征的提 取。更廣義地講，當在高分辨率下捕獲這兩種特征時，在對該物體的表面建模的同時可以對 幾何結構和顏色紋理分辨率兩者獨立地進行適配。根據另一個方面，在此提供了一種用于獲得一個物體的多個三維表面點的系統。 該系統包括一個傳感裝置，該傳感裝置具有一個圖案投影器，用于在所述物體的一個表面 上提供一個投影的圖案；至少一個基礎照相機，用于獲取在所述物體上的一個基礎2D圖 像；以及一個特征照相機，用于獲取在所述物體上的一個高分辨率2D圖像。該投影的圖 案在所述基礎圖像上是清晰的，并且在所述基礎照相機與所述圖案投影器之間的一種對位 (reference)、以及在所述基礎照相機與所述特征照相機之間的一種對位是已知的。該系統 進一步包括一個圖像處理器、一個3D表面點計算器以及一個高分辨率圖像處理器。該圖像 處理器從所述基礎2D圖像中提取由所述投影的圖案在所述表面上的一個反射所提供的多 個2D表面點的至少一個集合。該3D表面點計算器在一個傳感器坐標系中使用所述2D表 面點集合來計算多個3D表面點的一個集合。該高分辨率圖像處理器將所述3D表面點集合 投影到所述高分辨率2D圖像上，以便從該高分辨率2D圖像計算多個2D高分辨率表面點的 至少一個集合。根據另一個方面，在此提供了一種用于獲得物體的多個三維表面點以及一種紋理 的系統。該系統包括一個傳感裝置，該傳感裝置具有一個圖案投影器，用于在所述物體的 一個表面上提供一個投影的圖案；至少一個基礎照相機，用于獲取在所述物體上的一個基 礎2D圖像；以及一個特征照相機，用于獲取在所述物體上的一個紋理圖像。該投影的圖案 在所述基礎圖像上是清晰的，并且在所述基礎照相機與所述圖案投影器之間的一種對位、 以及在所述基礎照相機與所述特征照相機之間的一種對位是已知的。該系統進一步包括一 個圖像處理器、一個3D表面點計算器以及一個紋理圖像處理器。該圖像處理器從所述基礎 2D圖像中提取由所述投影的圖案在所述表面上的一個反射所提供的多個2D表面點的至少 一個集合。該3D表面點計算器在一個傳感器坐標系中使用所述2D表面點集合的數據來計 算多個計算的3D表面點的一個集合。該紋理圖像處理器將所述3D表面點集合投影到所述 紋理圖像上，以便從該紋理圖像計算多個紋理圖塊的至少一個集合。根據另一個方面，在此提供了一種用于獲得一個物體的多個三維表面點的系統。 該系統包括一個傳感裝置，該傳感裝置具有一個圖案投影器，用于在所述物體的一個表面 上提供一個投影的圖案；至少一個基礎照相機，用于獲取在所述物體上的一個基礎2D圖 像；以及一個特征照相機，用于以高分辨率獲取在所述物體上的一個特征2D圖像。該投影的圖案在所述基礎圖像上是清晰的，并且在所述基礎照相機與所述圖案投影器之間的一種 對位、以及在所述基礎照相機與所述特征照相機之間的一種對位是已知的。該系統進一步 包括一個基礎圖像處理器，用于從所述基礎2D圖像提取由所述投影的圖案在所述表面上 的一個反射提供的多個2D表面點至少一個集合；一個3D表面點計算器，用于在一個傳感器 坐標系中使用所述2D表面點集合計算多個3D表面點的一個集合；一個高分辨率圖像處理 器，用于將所述3D表面點集合投影到所述特征2D圖像上，以便獲得投影的表面點的一個集 合并且從該特征2D圖像計算多個2D高分辨率表面點的至少一個集合；一個紋理圖像處理 器，用于從該特征2D圖像并且使用該投影的表面點集合來計算多個紋理圖塊的至少一個 集合；一個3D定位計算器，用于計算多個變換參數，這些變換參數指示在所述傳感器坐標 系與所述全局坐標系之間的一種關系，用于在所述全局參考幀中與所述傳感裝置的一個位 置對位；一個3D表面點變換器，用于使用所述變換參數將在該傳感器坐標系中的所述3D表 面點集合變換到在所述全局參考幀中的多個變換的3D表面點的一個集合；一個局部切面 計算器，用于從在該全局參考幀中的變換的3D表面點集合計算多個局部切面的一個集合； 一個紋理整合器，用于將該紋理圖塊集合映射并且累加到該局部切面集合上，以便產生多 個局部紋理化的切面的一個集合；以及一個表面重構器，該表面重構器用于積累該變換的 3D表面點集合，以便提供所述物體的一個3D表面模型，并且還用于將該局部紋理化的切面 集合映射到該3D表面模型上。根據另一個方面，在此提供了一種用于獲得一個物體的多個三維表面點的方法。 在所述物體的一個表面上提供一個投影的圖案。獲得所述物體的一個基礎2D圖像。該投 影的圖案在所述圖像上是清晰的，并且在所述基礎2D圖像與所述投影的圖案之間的一種 對位是已知的。獲得所述物體的一個高分辨率2D圖像。在所述基礎2D圖像與所述高分辨 率2D圖像之間的一種對位是已知的。從所述基礎2D圖像數據中，從所述投影的圖案在所 述表面上的一個反射中提取多個2D表面點的至少一個集合。在一個傳感器坐標系中使用 所述2D表面點集合計算多個3D表面點的一個集合。將該3D表面點集合投影到所述高分 辨率2D圖像上，以便從該高分辨率2D圖像計算多個2D高分辨率表面點的至少一個集合。根據另一個方面，在此提供了一種用于獲得物體的多個三維表面點以及一種紋理 的方法。在所述物體的一個表面上提供一個投影的圖案。獲得所述物體的一個基礎2D圖 像。該投影的圖案在所述圖像上是清晰的，并且在所述基礎2D圖像與所述投影的圖案之間 的一種對位是已知的。獲得所述物體的一個紋理2D圖像。在所述基礎2D圖像與所述紋理 2D圖像之間的一種對位是已知的。從所述基礎2D圖像數據中，從所述投影的圖案在所述表 面上的一個反射中提取多個2D表面點的至少一個集合。在一個傳感器坐標系中使用所述 2D表面點集合計算多個3D表面點的一個集合。將該3D表面點的集合投影到所述紋理2D 圖像上，以便從該紋理圖像計算多個2D紋理圖塊的至少一個集合。


圖1描繪了一種用于三維表面掃描的裝置的構型；圖2展示了在使用中的圖1中所描繪裝置的一種構型以及在采集過程有待測量的 物體；圖3是一個框圖，展示了一種用于三維表面掃描的系統；
圖4展示了在一個物體的表面上的多個區域，其中紋理是在激光軌跡附近提取 的；圖5展示了高分辨率激光軌跡在該特征圖像中受引導的提取的細節；并且圖6示出了一個帶有外殼的示例性手持式傳感器裝置。應注意，在所有附圖中類似的特征都由類似的參考號標識的。
具體實施例方式在說明了圖1和圖2中所適配的裝置的一種構型之后，從圖3中展示的框圖對整 個系統進行說明。圖1展示了用在圖3的系統中的傳感裝置40的一個示例性實施方案的示意性正 視圖。該裝置40包括兩個基礎物鏡和多個光檢測器，在此被稱為基礎照相機46。在這個實 施方案中，基礎照相機46是漸進掃描數字照相機。如本領域中的普通技術人員將容易理解 的，除了這類照相機以外多種多樣的物鏡和光檢測裝置都是適合用于實施本發明的，并且 毫無疑問今后將會有其他的裝置被開發出來。這兩個基礎照相機46使它們的投影中心分 離開一個距離Dl 52(即基線)并且組成一個被動式立體的照相機對。這些基礎照相機46 的視野可以是例如60度，并且它們可以是單色照相機。一個激光圖案投影器42典型地定位在離開該立體對的基線的一個距離D3 56處， 以便組成一個緊湊的三角形構型的結構，產生了兩個額外的主動傳感器，在第一種情況下 它們由左側照相機以及激光圖案投影器組成，并且在第二種情況下由右側照相機以及激光 圖案投影器組成。對于這兩個額外的主動立體對，在圖1中描繪了基線D2 54。激光圖案投 影器42可以是對肉眼安全的II級激光。它可以投影一個紅色的十字準線圖案。激光圖案 投影器42的扇形角可以是45度。在圖1的構型中，該傳感裝置進一步包括光源50。該光源可以由分布在基礎照相 機46周圍的兩組LED構成。在這個實施方案中，盡可能靠近照相機46的光學軸線來定位 光源50，以便從多個后向反射目標捕獲更強的信號。典型地，光源50被提供為圍繞基礎照 相機46的環形燈。例如，在彩色掃描裝置中，可以使用一種包括8個白色LED的環形燈。在 高分辨率掃描裝置中，可以使用一種包括4個紅色LED的環形燈。光源50照亮安置在物體 62上并且被用作定位特征的多個后向反射目標60 (見圖2)。這些后向反射目標60能夠以 大約IOcm的間隔安置在該物體上。光源50照明可以進一步照亮該物體表面，以便允許觀 察顏色紋理。一個第二物鏡和光檢測器(在此被稱為特征照相機59)被添加到該傳感裝置上， 以便獲得物體62的表面的一種高分辨率的幾何結構和/或顏色紋理。在一個實施方案中， 該特征照相機59具有一個高分辨率的光檢測器，該光檢測器捕獲物體62的一個放大的圖 像，即與由基礎照相機46所獲得的圖像相比是放大的。這個高分辨率特征照相機59可以 具有13度的視野并且可以是單色的。在另一個實施方案中，特征照相機59具有一個彩色 照相機，該彩色照相機捕獲物體62的一個顏色紋理圖像。這個紋理特征照相機59可以具 有20度的視野并且可以是一種彩色照相機。特征照相機59定位在離這兩個基礎照相機的 基線軸線的一段距離D4 58處。因此在所有照相機46、59以及激光圖案投影器42之間都 存在用于3D測量的基線。
然而應注意的是，在另外的實施方案中使用了一種單色照相機以獲得該物體的灰 度紋理圖像而不是顏色紋理圖像。多個線性偏光過濾器48被安裝在光源50之前以及在特 征照相機59之前。在光源50上以及在特征照相機59上的此類過濾器的組合降低或消除 了鏡反射高光并且保留了漫反射。當D3 56是使得該三角形是具有兩個45度角和一個90度角(在十字準線圖案44 的兩個激光平面之間)的等腰三角形時，這些基礎照相機以及激光圖案投影器42的三角形 構型是特別有意義的。借助這種特別的構型，該十字準線圖案是被定向為使得每個平面與 每個照相機的投影中心以及與這些圖像的中心兩者均對齊。這對應于中央核線，其中主要 的優點是，一個激光平面(非主動平面)將總是獨立于所觀察的場景而被成像為在圖像中 處于相同位置的一條直線。于是可以從兩個圖像的每個中的變形的第二光平面提取相關的 3D f曰息ο因此整個基礎傳感裝置包括兩個激光輪廓儀46A-42以及46B-42，一個被動立體 對46A-46B，以及用于同時捕獲后向反射目標60的兩個模塊46A-50以及46B-50。每個激 光輪廓儀46A-42和46B-42是由基礎照相機46中的一個與激光圖案投影器42的組合所限 定的。該被動立體對46A-46B是由兩個基礎照相機46A-46B的組合所限定的。每個模塊 46A-50和46B-50是由基礎照相機46中的一個及其對應的光源50的組合所限定的。這種 構型可以是緊湊的。特征照相機59增加了三個立體組合(即59-46A、59-46B和59-42)。 然而，特征照相機59被用于捕獲放大的高分辨率幾何結構或者顏色紋理圖像。這兩種特征 的測量被整合在所說明的這個實施方案中。對于這個示例性傳感裝置40，對于在傳感裝置40與物體62之間的300到400mm 的相隔距離處的亞毫米級的準確度而言，基線Dl 52典型地是大約190mm。D3 56的值被設 定為Dl的一半。通過縮放D1，距離D2自動地隨之變化。為了緊湊性，距離D4 58通常地是 小于或等于D3。對于D4的一個典型值是55mm。要注意的是傳感裝置40典型地是一個手持式裝置并且使用位于物體62上的多個 定位特征來進行自動對位。然而，傳感裝置40沒有必要是手持式的并且可以是安裝在例如 一個機械的致動器上的，并且也可以另外地使用外部對位傳感器或者任何其他的定位裝置 進行對位。在傳感裝置40是手持式的情況下，它優選地被制造在一個外殼中，可以容易地 用手對該外殼進行操作。因此手持式傳感裝置40的總重量應當考慮到一個典型用戶的力 量，并且可以被限制到例如1. 5kgo類似地，手持式傳感裝置40的尺寸應當允許在掃描過程 中對該傳感裝置進行操作，并且可以被限制為例如20cm χ 30cm χ 25cm。圖2展示了被定位為以便觀察一個有待測量的物體62的傳感裝置40的一個3D視 圖。可以看到先前所說明的緊湊的三角形體系結構包括兩個基礎照相機46以及十字準線 激光圖案投影器42。傳感裝置40捕獲一個圖像，該圖像包括投影的圖案44以及一組定位 特征60。定位特征60可以由多個孤立的激光點的軌跡或者圓形的后向反射目標組成。在 這個實施方案中，該特征照相機59捕獲了該物體表面的一個放大的圖像。圖6示出了在被適配為由用戶手持的外殼中的傳感裝置40的一個實例。外殼90 包括一個手柄部分91。基礎照相機46A和46B、特征照相機59與激光圖案投影器42的相 對位置是如以上所討論的。手柄部分91包括一個觸發開關93用以啟動在環形燈48上的 燈50以及激光圖案投影器42。手持式傳感裝置40使用線路94連接到(例如)在一臺個
10人計算機上提供的采集軟件模塊上。如將容易理解的，可以由本領域的普通技術人員提供 一種無線掃描裝置。參見圖3，總體上在10處示出了一種適合與傳感裝置40 —起使用的3D表面掃描 系統。除了包括傳感裝置40的整個系統的整合之外，應特別注意到特征圖像處理器15以 及它與3D表面點計算器18的交互作用36。由在傳感器坐標系中的計算的3D低分辨率表 面點的多個集合的引導下，特征圖像處理器15坐標系可以在更高分辨率下提取紋理(在這 種情況下即顏色紋理)和/或幾何結構兩者。還應特別注意到紋理整合器25，該紋理整合 器將在每個特征圖像13中提取的紋理圖塊74 (見圖4)映射到在全局坐標系中復原的部分 幾何結構上。圖3的3D表面掃描系統10實現了紋理成像以及高分辨率幾何結構圖像功能兩 者。在圖3的3D表面掃描系統10中，紋理和幾何結構兩者是同時獲得的。然而，要注意在 另一個實施方案中，僅實施了紋理成像并且省略了高分辨率幾何結構成像。在又另一個實 施方案中，僅實施了高分辨率幾何結構成像。在后一種情況下，特征照相機59典型地是一 種非彩色(即灰度)照相機，并且省略了紋理整合器25。還應注意圖3的3D表面掃描系 統典型地具有多種選項，從而允許用戶啟動和關閉紋理成像以及高分辨率幾何結構成像功 能。傳感裝置系統10包括一個傳感裝置11，如以上參見圖1和圖2在此更詳細說明的傳感裝置 40。傳感裝置11收集所觀察的情景的一組基礎圖像12并且將其傳輸到一個圖像處理器14 上。這些圖像可以是從具有不同視點的兩個基礎照相機46 (見圖1)收集的，其中這些視點 中的每個都具有自己的投影中心。基礎圖像12中包含的相關信息可以是由在該物體表面 上反射的激光圖案44的反射造成的，也可以是由定位特征60造成的，這些定位特征可以被 用于計算傳感裝置11相對于其他的幀捕獲的相對位置。由于在一個給定幀中的所有圖像 是被同時捕獲的并且包含定位以及表面測量兩者，因此定位與表面測量的同步是隱含的。傳感裝置11還整合了一個額外的照相機，亦即特征照相機59 (見圖1)，其目的是 用于捕獲一種特征圖像13。相對于基礎照相機46的視點，特征照相機59的視點是已知的 (即對位的)，并且基礎照相機46以及特征照相機59相對彼此都是同步的。典型地，一種 特征圖像13或者是一種高分辨率圖像或者是例如一種彩色圖像。在圖3中，傳感裝置11被示出為包括至少一個基礎照相機46以及至少一個特征 照相機59，這個(這些)基礎照相機46生成該組基礎圖像12并且特征照相機59生成特征 圖像13。本領域的普通技術人員應注意到并且容易理解的是，替代從一對照相機完成立體 圖像，也有可能執行“來自運動的立體圖像”或者“來自運動的3D圖像”并且因此使用一個 單一的照相機用于定位。圖像處理器圖像處理器14從每個基礎圖像12提取定位特征和表面點。對于每個基礎圖像 12，輸出了所觀察的多個2D定位特征的一個集合20以及多個2D表面點的多個集合16 (包 括它們的連接性)。對于這些集合中的每個的連接性事實上定義了多個2D曲線區段。在 基礎圖像12中對這些表面點和特征基于其固有特征進行識別。與這些特征相關的多個像素相對于背景是有反差的，并且在使用質心或橢圓擬合來估算它們的位置之前可以用簡單 的圖像處理技術將它們隔離(見 E-iTrucco and A. Verr!,"Introductory techniques for 3-D computer vision",Prentice Hall，1998)。使用圓形的目標允許從擬合的橢圓方程式 中提取表面法線定向信息，因此協助了傳感器定位。從這些定位特征中將表面點的這些集 合區別出來，因為該激光圖案投影器在這些圖像中產生了多個對比的曲線部分并且因此展 現了一種不同的2D形狀。這些圖像曲線部分是作為多個單一的團點被分離出的，并且對于 這些圖案中的每個團點都對該曲線區段進行分析從而用亞像素精確度沿該曲線提取多個 點的一個集合。這是通過在該曲線部分上對一個微分算子進行卷積并且將其響應的零交點 進行內插而實現的。后者的運算典型地被稱為峰值檢測。對于一個十字準線激光圖案，人們可以從在此說明的裝置的體系結構中獲益。在 這樣一種帶有兩個基礎照相機46以及一個十字準線圖案投影器42的配置中，基礎照相 機46被對齊而使得兩個激光平面中的一個在每個基礎照相機46中在一個恒定的位置產 生一條單一的直線。這就是對于一個給定的照相機46的非活動激光平面。這些非活動 激光平面對兩個照相機46而言都是相反的。由H6bert提及的這種構型(見P. Hebert, "A Self-Referenced Hand-Held Range Sensor，，· in proc. of the 3rd International Conference on 3D Digital Imaging and Modeling (3DIM 2001), 28May-lJune 2001, Quebec City, Canada, pp. 5-12)大大簡化了圖像處理任務。它還將2D表面點的每個集合 的分配簡化成了該十字準線的一個激光平面連同它們在3D中的連接性用于限定多個曲線 區段。雖然在這些2D表面點集合16在該系統中遵循一條路徑以便恢復對表面幾何結構 的整個掃描，這些所觀察的2D定位特征集合20遵循一條第二路徑并且被用于恢復傳感裝 置11相對于該物體表面的相對位置。然而，這兩種類型的集合被進一步處理用于在該傳感 器坐標系中以及在如以下所說明的全局坐標系中獲得3D信息。3D表面點計算器3D表面點計算器18將所提取的2D表面點的多個集合16作為第一輸入。這些 點可以是與該激光投影的圖案的一個部分相關聯的，例如十字準線圖案44的兩個平面之 一。當這種關聯是已知的時，通過將相應的投影光線與該激光平面的方程式相交，這些2D 點中的每個都可以被變換成在該傳感器坐標系中的一個3D點。該光線的方程式是從相 關聯的照相機的投影矩陣獲得的。該激光平面的方程式可以使用一種預校準程序來獲得 (見 P. Hebert, "A Self-Referenced Hand-Held Range Sensor，，· in proc. of the 3rd International Conference on 3D Digital Imaging and Modeling(3DIM 2001),28 May-I June 2001，Quebec City，Canada，pp. 5-12)。還有可能在使用一種(例如)精確平移臺對 傳感器11進行校準之后通過采用表格查找來直接地從一個2D點獲得一個3D點。兩種方 法都是適當的。在第一種情況下，程序是簡單的并且不需要復雜的儀器，但是它要求對這些 照相機的固有和非固有參數進行非常好的估算。還有可能避免將每個2D點與該激光圖案的一種特定的結構相關聯。對于更復雜 或更通用的圖案而言，這是特別有意義的。在這種情況下，仍然有可能使用基本矩陣并且利 用核線約束以匹配多個點來計算多個3D表面點。當這可以無歧義地完成時，可以從這些照 相機的已知的投影矩陣計算出三角測量值以便獲得在該傳感器坐標系中的一個3D點。
3D表面點計算器18將在傳感器坐標系中的計算的3D低分辨率表面點的這些集合 19送到特征圖像處理器15中以便如以下所說明由特征圖像處理器15協助提取高分辨率的 2D點。計算的3D表面點的這些集合被稱為具有低分辨率以便將它們在傳感器坐標系中的 輸出計算的3D表面點的全體集合21內進行區分，該全體集合包括在傳感器坐標系中的3D 低分辨率表面點的這些集合19以及在傳感器坐標系中的高分辨率表面點的多個集合17。為了計算高分辨率表面點的這些集合，3D表面點計算器18進一步將高分辨率2D 表面點的多個集合17作為輸入。使用了與以上在此所說明的用于計算低分辨率3D表面點 的相同的程序。這個程序或者要求該特征照相機的固有和非固有參數的非常良好的估算或 者要求利用表格查找。3D表面點計算器18輸出了在該傳感器坐標系中所計算的3D表面點的全體集合 21。這些集合可以是無組織的集合或者被組織成使得與在圖像中相連的區段相關聯的多個 3D點被分組以用于通過微分來估算3D曲線的切線。這些區段可以根據其來源圖像被進一 步分組成高分辨率和低分辨率區段。這種信息可以由局部切面計算器四或者表面重構器 34加以利用，用于局部地對該復原的表面模型35的質量進行適配。特征圖像處理器特征圖像處理器15將一個特征圖像13作為輸入，該特征圖像是從特征照相機 59(見圖1)獲得的一個圖像，該特征照相機典型地安裝了具有更高焦距的一個透鏡。典型 地，特征圖像13僅覆蓋該掃描的一小部分(為了更好的分辨率)，該部分沒有必要包括一個 定位特征或者反射在該物體上的整個圖案。因此，這種對位從基礎圖像12中是已知的，并 且在特征圖像13和基礎圖像12之間的空間關系從照相機校準中是已知的。特征圖像13 可以是單色的或者彩色的。雖然在前一種情況下所提取的特征本質上具有幾何結構或者單 色紋理，但是在后一種情況下該特征進一步包括顏色紋理特征。為了計算高分辨率的幾何結構信息(即高分辨率特征2D表面點的多個集合)，特 征圖像處理器15將在傳感器坐標系中的3D低分辨率表面點的這些集合19投影到特征照 相機59的坐標系中，該照相機的固有參數都是預校準的并且該照相機相對該傳感器坐標 系的空間關系(即其非固有參數)也已經通過照相機校準而獲得。多個相連的3D點的這 些投影的集合將多個區段的集合投影到特征圖像13之中。從在該特征圖像坐標系中這些 所獲得的近似位置處，將局部圖像處理應用于從成像的激光軌跡中提取多個2D對應點。為了做到這一點，從投影產生的多個相連2D點的每個集合都提供了該曲線區段 的一個逐段的線性逼近(即一條折線80)。圖5展示了在這種特征影像激光軌跡88的引導 提取的細節。在所計算的3D低分辨率表面點的對應相連的集合的投影之后，最初從這些基 礎圖像獲得的一個逐段線性逼近(即一條折線80)被疊加到特征圖像13上。這些點的投 影是折線80的多個頂點82。然后對折線80進行重新采樣。在圖5中，一個部分以采樣因 子5展示，導致每個線性部分有4個額外的點84。在沿折線80的每個點82和84處，沿法 線方向86對該特征圖像進行采樣。典型地，沿這些方向計算20到30個圖像樣本，產生一 個ID信號。這些樣本之間的距離是一個像素的寬度。從這個ID曲線中估算該亞像素峰值 位置，因此提供了一個高分辨率的2D表面點。最后，使用這些信號來檢測在該特征圖像中 的激光軌跡88的多個峰值。在低分辨率折線的突出處獲得了這些峰值的一個細化的位置。 為每個相連的集合收集這些2D表面點致使輸出高分辨率2D表面點的多個集合17。
應指出，還有可能從該局部特征圖像信號來估算該局部法線方向。幾何結構是一個物體表面的一種特征。可以獨立地進行處理的其他特征是灰度紋 理和顏色紋理。應指出，雖然在以下說明中假定為顏色紋理采集和處理，但是灰度紋理的采 集和處理也是有可能的。原理保持不變；該局部特征提取是使用在該傳感器坐標系中的3D 低分辨率表面點的多個初始集合的投影來引導的。如果在該折線附近存在一個激光軌跡， 那么在接近該激光軌跡兩側處的一個區域中收集這些像素的顏色。圖4展示了在該特征圖 像中該激光軌跡附近的復原的紋理圖塊74。在該圖的右側部分，一個部分被放大。離開該 激光軌跡的兩個距離τ 1 72和τ 2 70界定了在該激光軌跡附近的所復原紋理的寬度。顏 色在一個間隔距離之內被復原，該間隔距離的范圍在τ 1 72和τ 2 70之間。τ 72被設 定為使之避免與該激光發生顏色干擾；在這一個實施方案中對于τ 72典型的值是10像 素并且對于τ 2 70是25像素。這些合成局部紋理的像素中的每個都被指定了在該復原的 曲線區段上或者可替代地在該折線上(當該幾何結構沒有被細化時)的最近的表面點的坐 標(X，y，ζ, r, g，b)。特征圖像處理器15將多個圖像紋理圖塊的集合作為在該傳感器坐標 系中使用3D坐標擴充的紋理位圖進行輸出。對于一個給定的幀，該圖像紋理圖塊集合74 被送到紋理整合器25中，該整合器的作用是將從所有視點收集的所有圖像紋理圖塊合并。 在局部切面計算器之后將對紋理整合器25進行說明。3D定位計算器3D定位計算器23的任務是為每個計算的3D表面點集合21以及圖像紋理圖塊集 合提供變換參數26。這些變換參數沈在保留該結構的同時使之有可能將3D表面點21或 者用于圖像紋理圖塊22的每個像素的(x，y，z)坐標變換入一個單一的全局坐標系中；這種 變換是剛性的。在這個實施方案中，這是通過在全局坐標系30中建立并且維持參考3D定 位特征的一個集合來實現的。這些定位特征可以是多個3D點的一個集合、帶有相關的表面 法線的多個3D點的一個集合、或者任何其他表面特征。應指出，雖然在這個實施方案中采 用了使用定位特征的自動對位，但是在另一個實施方案中可以采用其他的定位系統。例如 可以使用外部對位傳感器或者其他定位裝置。在圖3的實施方案中，假設所有的定位特征都是3D點，這些點表示為包含三個分 量的列向量[X，1, Z]T，這些分量指示了這些點沿這三個坐標軸線的位置。由于傳感裝置11是經過校準的，所以在基礎照相機46的多個視點之間的匹配的 定位特征被用于估算它們的3D位置。使用該核線約束對所觀察的2D定位特征的這些集合 進行匹配以便獲得無歧義的配對。這些核線是使用基本矩陣來計算的，該基本矩陣是從基 礎照相機46的多個校準的投影矩陣計算出的。然后，從照相機46的這些已知的投影矩陣， 應用三角測量以便為每個幀計算在該傳感器坐標系中的多個3D定位特征的一個單一的集
合 ο在掃描期間開始時，參考3D定位特征的集合30是空的。因為傳感裝置11提供測 量值的第一集合，使用身份變換將這些特征復制到參考3D定位特征集合30中。因此這個 集合成為所有后續的參考3D特征集合的參考集合，并且這個第一傳感器位置定義了所有 3D表面點被對齊到其中的該全局坐標系。在創建參考3D定位特征的這個初始集合之后，首先針對參考集合30對后續的計 算的定位特征集合進行匹配。該匹配操作被分為兩個任務i)尋找在在用于當前幀的傳感 器坐標系中計算的3D定位特征集合與在該全局坐標系中參考3D特征集合之間對應的特征，并且ii)計算與這兩個集合具有最佳對齊的最優剛性3D變換的變換參數沈。一旦已經 計算出這些參數，就可以將它們用于變換當前幀的計算的3D定位特征、在傳感器坐標系中 的計算的3D表面點21以及圖像紋理圖塊22，因此將它們全部在該全局坐標系中對齊。在計算出參考3D定位特征的集合R之后，在從照相機1和2獲得的所觀察的2D定 位特征20，P1和P2計算出在當前幀中所計算的3D定位特征的集合0。這些3D坐標是通過 三角測量獲得的。對3D定位特征的這些集合進行匹配就是尋找兩個子集Om CC^PRm CR
m ^―m —
的問題，每個子集包含N個特征，這樣使得具有0i e Om以及ri e Rm的所有的點對(0i，r,) 代表相同的物理特征。尋找這些子集是通過尋找多個點)的最大的區段數來實 現的，這樣使得I Il Oi-Oj Il - Il r-rj || | ( ε 對于所有 i，j e {1，…，N}，i 乒 j， (1)其中ε是一個預定義的閾值，該閾值被設定為對應于該傳感裝置的準確度。這一 約束使得在這兩個集合中一個對應的點對之間的距離差是可忽略的。這一匹配運算是作為一種組合的優化問題得到解決的，其中來自集合0的每個多 點區段是累進地針對集合R中的每個多點區段進行匹配的。然后每個匹配的區段通過使 用在這兩個集合的每個中的剩余的多個點而形成一個額外的區段而被擴展。如果兩個區 段滿足約束(1)，那么形成一個第三區段，并且只要該約束被滿足就如此繼續下去。否則 就丟棄該對并且檢查下一對。其解是滿足(1)的多個區段的最大集合。其他算法(參見 例如 Μ. Fischler and R. Bolles, (1981) "Random sample consensus :A paradigm for model fitting with applications to image analysis and automated cartography", Communications of the Assoc. for Computing Machinery, (June 1981)，vol.24, no. 6, PP. 381-395.)可以被用于相同的目的。只要在參考3D定位特征集合30中的元素數量是相對低的(典型地少于十五個)， 上述方法的計算復雜度對于實時操作而言就是可接受的。然而在實際中，參考特征的數量 可以容易地達到數百個定位特征。由于計算復雜度隨特征數量以指數方式增長，這些對應 特征的計算可能變得對于實時應用過于緩慢。該問題的解決是通過注意到從任何特定的視 點都可見的定位特征數量是少的，該數量是由傳感裝置11的有限的視野所限定的。這意味著如果對于一個給定的幀所計算的特征可以針對參考特征30進行匹配， 那么來自該參考集合的匹配的特征應該位于一個小的臨近區域中，該鄰近區域的大小是由 該計算的特征的集合的大小所決定的。這還意味著在這個鄰近區域中的點的數量應該也是 少的(典型地少于十五個)。為了將這一特征利用于加速匹配，將以上方法修改如下。在匹 配之前，為每個參考特征創建多個鄰近特征的一個集合[NJ。在初始的多點區段被匹配之 后，通過加入一個額外的區段來擴展該初始的多點區段，該額外區段僅使用在第一匹配特 征的鄰近區域集合[隊]中的點。通過這樣做，不管參考集合30的大小如何，用于匹配的點 的數量保持為低，因此防止了計算復雜度的指數性增長。可替代地，也可以使用傳感裝置位置與定向的空間相關性來改進匹配速度。通過 假定相對于定位特征集合的大小該傳感裝置的位移是小的，可以通過為每個所觀察的定位 特征尋找最近的參考特征而實現匹配。相同的原理可以被用在2D中，即通過尋找最近的2D 定位特征。
—旦匹配完成，這兩個集合就需要通過計算最優變換參數{Μ T](在最小二乘法意 義上)來對齊，這樣下面的代價函數被最小化
N2-Moi+Τ|| 對于所有 i G {1，…，N}， (2) 1=1 .這些變換參數包括一個3x3的旋轉矩陣M以及一個3x1的平移向量T。可以使用 對偶四元數找到這樣一種變換，如在 M. W. Walker，L. Siao and R. A. Volz,"Estimating 3-D location parameters using dual number quaternions，，，CVGIP Image Understanding, vol. 54,no. 3,November 1991,pp. 358-367中所說明的。為了計算這一變換,至少必須找到 三個公共的定位特征。否則對于當前幀，定位特征和表面點兩者都被丟棄。用于計算這種剛性變換的一種替代方法是將在所觀察的2D定位特征20與參考3D 定位特征30的投影之間的距離最小化。使用透視性的投影變換Π，該在最小二乘法意義上 是最優的剛性變換[Μ Τ]是使下式最小化的變換Σ||ΠΜ_1(Γ.· -Τ)-Ρ,·|對于所有 i，j e {1，…，N}， (3) 1=1 .其中Pi e P1或Pi e P2是所觀察的2D特征，它們對應3D的所觀察的特征Oi e Offl0 可以通過使用一種優化算法(如Levenberg-Marquardt方法)將上面的代價函數最小化而 找到剛性變換[Μ T]。一旦該剛性變換被計算出來，該計算的3D定位特征集合就從該傳感器坐標系變 換到該全局坐標系。所變換的3D定位特征被用于以兩種方式對參考3D定位特征的集合30 進行更新。首先，如果已經針對參考特征集合僅對所觀察的特征的一個子集進行了匹配，那 么不匹配的所觀察的特征代表被添加到該參考集合的新的觀察的特征。已經被再觀察并且 匹配的特征可以或者被丟棄(因為它們已經在參考集合中)或者被用于改進，即過濾這些 存在的特征。例如，對同一特征的所有觀察可以被加在一起以便計算平均特征位置。通過 這樣做，測量噪音的變化被減小，因此改進了定位系統的準確度。3D表面點變換器一旦3D定位計算器23使得變換參數沈可供使用，這些對表面點的處理步驟就是 簡單的。由3D表面點計算器18提供的在傳感器坐標系中的計算的3D表面點集合21于是 由3D表面點變換器M使用剛性變換參數26M和T進行變換。因此，所獲得的在全局坐標 系中的變換的3D表面點集合27在相同坐標系中與參考3D定位特征集合30是自然地對齊 的。在全局坐標系中的最后的變換的3D表面點集合27可以被圖形化，或者它可以在被送 到表面重構器34之前被送到局部切面計算器四上。該表面重構器將對一個連續的、非冗 余的、并且有可能是被過濾的表面模型35的表示進行估算，該表示可任選地借助疊加的參 考3D定位特征集合30來顯示。局部切面計算器局部切面計算器四將全局坐標系中的變換的3D表面點集合27作為輸入、并且 在該物體表面上提供對這些3D切面的局部估算。盡管這種處理可以被整合在表面重構 器34之中，但是在此它是分離的以便更好地說明一種連續的表面的表示對跨越一個物體 的表面提供多個局部切面估算而言不是必需的。實時獲得這些局部切面估算的一種可能 性包括定義一種規則的體積柵格，并且在每個體素之內對這些3D表面點進行累加。從
16這些3D的累加點，基于位于該體素之內或者位于環繞該體素的一個體積之內的3D點 可以為每個體素計算一個切面。這類的方法使用在T. P. Koninckx，P. Peers, P. Dutre, L. J. Van Gool, "Scene-Adapted Structured Light，，，in proc. of Computer Vision and Pattern Recognition(CVPR 2005)，vol. 2, San Diego, USA,2005, pp. 611—618 中以及 在 S. Rusinkiewicz, 0. A. Hall-Holt, M. Levoy, "Real-time 3D model acquisition，，in proc. of ACM SIGGRAPH 2002，San Antonio, USA, pp. 438-446 或者在 D. Tubic, P. Hebert, D.Laurendeau,"3D surface modeling from curves", Image and Vision Computing, August 2004，vol. 22，no. 9，pp. 719-734 中。一旦這個初始的非連續的幾何結構已經局部地穩定，也就是說，例如，一旦該3D 點協方差矩陣的兩個最小的本征值是相似的，同時該第三本質值在多個體素之內是顯著地 更低的，那么就從它們的協方差矩陣的兩個一階矩來計算這些局部平面的參數。每個局部 切面的跨度典型地是一個直徑在1個和2個體素對角線長度之間的圓。該局部切面計算器 輸出局部切面的一個集合觀，該集合包括這些平面的參數、跨度以及從27復制的在全局坐 標系中的變換的3D表面點的集合31。局部切面計算器四可以包括一個切面分辨率調整器用于對計算該局部切面集合 的一個分辨率進行調整。該調整器可以是一種手動或者自動的調整器，調整該調整器允許 對用于局部切面計算器四的一個分辨率參數進行修改。紋理整合器紋理整合器25收集在所有幀中復原的圖像紋理圖塊的集合22并且進一步將已經 穩定的局部切面集合觀作為輸入。值得提及的是，這些局部切面當它們變得可供使用時是 被獨立地送入的。這使之有可能在該表面被掃描時增量地應用該方法；而沒有必要在繼續 進行之前等待多個幀的完整集合。每個局部切面部分都作為具有一個選定的分辨率的局部圖像而進行鑲嵌，該分辨 率可以是獨立于該幾何結構的分辨率而設定的。我們將把這些單元格稱為紋素。這個紋理 整合器進一步將來自3D定位計算器23的變換參數沈作為輸入。使用這些變換參數，在當 前傳感器坐標系與該全局坐標系之間的空間關系是已知的，并且因此，圖像紋理圖塊的集 合22可以通過回投影被映射到該局部切面上。在紋理圖像塊集合中的每個像素都對更新 其對應的局部切面起作用。為此目的，從映射到該局部平面上的這些像素對一個局部切面 中的所有紋素進行更新。基于一個隨距離遞減的權重，每個像素都對所有的紋素都有貢獻。 紋素是從所有幀中作為所有起作用的像素的加權平均值而獲得的。紋理整合器25還應用了顏色強度補償。實際上，優選的是在將其整合進入紋素之 前獲取這些穩定的色彩測量值。顏色強度將典型地隨相對于光源50距離的平方以及光源 50與該切面法線之間夾角的余弦值而發生變化。在一個實施方案中，存在八個光源50，這 些光源分布在這兩個基礎照相機46的中每個的物鏡的外圍上。此外，在光源50以及特征 照相機59的前面使用偏光過濾器48消除了鏡面反射并且保留了漫反射。因此有可能只考 慮光源50與該表面之間的夾角；該表面與特征照相機59之間的夾角對于顏色強度補償而 言是可以忽略的。這些光源的位置在該傳感器坐標系中從該傳感器設計中或者從校準中是 已知的。另外，由于每個光源累加地進行組合，假定這些光源是完全相同的或者通過對它們 的亮度進行校準，可以在多個幀之間將每個紋素上的顏色輻照度歸一化。該補償過程還可以使用光學測量照相機校準，如在 Ρ· E. Debevec and J. Malik. "Recovering High Dynamic Range Radiance Maps from Photographs",in proc. of ACM SIGGRAPH 1997,Los Angeles, USA,pp. 369-378中提及的校準。由紋理整合器25產生的是局部紋理化的切面的一個集合 32。可替代的，可以通過紋理整合器25來準備帶有相應的表面坐標映射信息的2D紋 理貼圖(texture map) 36，并且這些紋理貼圖可以被提供給表面重構器34。可以使用三角 測量數據37作為來自表面重構器M的一個反饋，以便產生這些2D紋理貼圖36。表面重構器表面重構器3將一個全局坐標系中的變換的3D表面點的集合31以及局部紋理 化的切面的集合32作為輸入并且計算一個表面模型。可替代地，可以使用具有相應的表 面坐標映射信息的這些2D紋理貼圖36。值得注意的是，這些局部切面還可以從該重構的 表面獲得。從該表面點集合可以使用在美國專利號US 7，487，063或者例如在8.011~1^8， M. Levoy,"A Volumetric Method for Building Complex Models from Range Images，，in proc. of the ACM SIGGRAPH 1996, New Orleans, USA, pp. 303-312 中說明的方法計算出該 表面幾何結構的一種連續表示。這兩種方法采用了一種體積測量表示。前一種方法可以從 這些局部切面的知識中獲益用于更高的效率。然后該體積測量表示被變換成一種三角化的 表面表示。為此目的，可以使用匹配立方體算法(參見例如W.E. Lorensen，and H.E. Cline， "Marching Cubes :A High Resolution 3D Surface Construction Algorithm，，，in proc. of the ACM SIGGRAPH 87，Los Angeles, USA, vol. 21，no. 4，pp. 163-170)。一旦獲得了該 三角化的表面，局部紋理化的集合就被映射到三角化的表面上，其中它們的重疊區域被混 合用于獲得一種連續的表面紋理。表面重構器34可以包括一個模型分辨率調整器用于對該變換的3D表面點集合的 積累的分辨率進行調整。該調整器可以是一種手動或者自動的調整器，它允許變更用于表 面重構器34的一個分辨率參數。當掃描裝置40被用于紋理掃描時，200至250點每英寸(DPI)的位圖可以與這些 局部切面相關聯。能夠以M位、sRGB校準的形式提供紋理顏色。該區域的深度可以是例 如30cm。紋理傳感裝置40可以進行(例如)每秒大約18，000次測量，具有0. Imm的幾何
結構分辨率。當掃描裝置40被用于高分辨率掃描時，該高分辨率體素分辨率可以是0. 25mm。相 比之下，不具有高分辨率能力的掃描裝置40的體素分辨率可以是1mm。該區域的深度可以 是例如30cm。高分辨率傳感裝置40可以進行(例如)每秒大約25，000次測量，在x，y, ζ 具有0. 05mm的分辨率。所說明的不同的裝置和部件(包括例如多個傳感器如基礎照相機48、激光投影器 42、以及特征照相機59)可以被用于生成可被圖3中示出的不同處理器所使用的輸入數據。雖然在這些框圖中被展示為經由不同的數據信號連接彼此通信的多組離散的部 件，但是本領域的普通技術人員應理解，這些優選的實施方案可以通過硬件與軟件部件的 多種組合來提供，其中一些部件是由一個硬件或者軟件系統的一個給定的函數或運算實現 的，并且所展示的這些數據路徑中的許多是由在一個計算機應用程序或者操作系統之中的 數據通信來實現的或者可以使用任何適合的已知的或后來開發的有線的和/或無線方法以及裝置進行通信地連接。傳感器、處理器以及其他裝置可以是共同定位的或者是遠離與 彼此中的一個或多個。因此所展示的結構是為了本發明的優選實施方案的有效傳授而提供 的。 應當理解，對本領域的普通技術人員而言將出現對其多種修改。因此，以上說明 及附圖應當被認為對本發明是解說性的而非限制的含義。應進一步理解，在此旨在覆蓋總 體上遵循本發明的原理并且包括對本披露的以下偏離的任何變體、用途、或者適配，這些偏 離在本發明所涉及的領域中為人所知或在常規慣例之內、并且可適用于以上給出的本質特 征、并且符合所附權利要求的范圍。
權利要求
1.一種用于獲取代表物體的多個表面點的數據的系統，所述系統包括一個傳感裝置，該傳感裝置具有一個圖案投影器，該圖案投影器用于在所述物體的一 個表面上提供一個投影的圖案；至少一個基礎照相機，該至少一個基礎照相機用于獲取代 表所述物體的至少一部分的一個基礎的2D圖像的數據；以及一個特征照相機，該特征照相 機用于獲取代表所述物體的至少一部分的一個特征圖像的數據；所述投影的圖案在所述基 礎圖像上是清晰的，在一個傳感器坐標系中所述基礎照相機、所述圖案投影器以及所述特 征照相機的一種空間關系是已知的；一個基礎圖像處理器，該基礎圖像處理器用于從所述基礎2D圖像數據中提取數據，這 些數據代表由所述投影的圖案在所述表面上的一個反射所提供的多個2D表面點的至少一 個集合；一個3D表面點計算器，該3D表面點計算器用于在所述傳感器坐標系中使用所述代表 該2D表面點集合的數據來計算多個3D表面點的一個集合；一個特征圖像處理器，該特征圖像處理器用于將所述3D表面點集合在數學意義上投 影到所述特征圖像數據上以便獲得所述3D表面點在所述特征圖像數據中的一個位置、并 且還用于在所述特征圖像數據中在離所述投影的3D表面點一個短的距離處為所述3D表面 點集合提取特征數據。
2.如權利要求1所述的系統，進一步包括一個用于獲得多個變換參數的定位系統，所述變換參數代表在所述傳感器坐標系與一 個全局坐標系之間的一種空間關系；以及一個3D表面點轉換器，該3D表面點轉換器用于在所述全局坐標系中使用所述轉換參 數將所述3D表面點集合轉換成多個被轉換的3D表面點的一個集合。
3.如權利要求2所述的系統，其中該定位系統包括在所述物體上多個目標定位特征的一個集合，所述目標定位特征中的每一個都提供在 所述物體上的一個固定位置處；一個使用所述目標定位特征來定義的全局坐標系；所述目 標定位特征集合的至少一部分在所述基礎2D圖像上是清晰的，所述目標定位特征集合有 待由所述圖像處理器從所述基礎2D圖像中提取；并且其中所述系統進一步包括一個3D定位計算器，該3D定位計算器用于使用所述定位系統來計算所述變換參數。
4.如權利要求3所述的系統，進一步包括一個表面重構器，該表面重構器用于積累該被變換的3D表面點集合以及用于所述3D 表面點的所述特征數據，以便提供所述物體的一個3D表面模型。
5.如權利要求4所述的系統，其中所述表面重構器包括一個模型分辨率調整器，該模 型分辨率調整器用于調整所述積累該被變換的3D表面點集合的一個分辨率。
6.如權利要求4和5中任何一項所述的系統，進一步包括一個局部切面計算器，該局部切面計算器用于在該全局坐標系中從該被變換的3D表 面點集合計算多個局部切面的一個集合，所述表面重構器使用所述局部切面來提供所述物體的所述3D表面模型。
7.如權利要求6所述的系統，其中所述局部切面計算器包括一個切面分辨率調整器， 該切面分辨率調整器用于調整所述計算多個局部切面的一個集合的一個分辨率。
8.如權利要求1至5中任何一項所述的系統，其中所述特征照相機是一種紋理照相機， 所述特征圖像是一種紋理圖像，其中所述特征圖像處理器包括一個紋理圖像處理器，并且 其中所述特征數據是在多個紋理圖塊中獲得的紋理數據。
9.如權利要求6至7中任何一項所述的系統，其中所述特征照相機是一種紋理照相機， 所述特征圖像是一種紋理圖像，其中所述特征圖像處理器包括一個紋理圖像處理器，并且 其中所述特征數據是在多個圖像紋理圖塊中獲得的紋理數據。
10.如權利要求9所述的系統，進一步包括一個紋理整合器，該紋理整合器用于將該多個紋理圖塊的集合映射并累加到該多個局 部切面的集合上，以便產生以下各項之一多個2D紋理貼圖的一個集合以及多個局部的紋 理化切面的一個集合。
11.如權利要求1至10中任何一項所述的系統，其中所述特征照相機是一種高分辨率 照相機，所述特征圖像是一種高分辨率2D圖像，其中所述特征圖像處理器包括一個高分辨 率圖像處理器，并且其中所述特征數據是多個高分辨率的2D表面點。
12.如權利要求1至11中任何一項所述的系統，其中所述特征照相機是一種高分辨率 紋理照相機，所述特征圖像是一種高分辨率紋理圖像，其中所述特征圖像處理器包括一個 紋理圖像處理器以及一個高分辨率圖像處理器，并且其中所述特征數據包括多個高分辨率 的2D表面點以及在多個圖像紋理圖塊中獲得的紋理數據。
13.一種用于獲取代表物體的多個表面點的數據的方法，所述方法包括使用至少一個基礎照相機來獲取代表所述物體的至少一部分的一個基礎2D圖像的數 據，在所述基礎圖像上一個投影的圖案是清晰的；使用一個特征照相機來獲取代表所述物體的至少一部分的一個特征圖像的數據；從所述基礎2D圖像數據中提取數據，這些數據代表由所述投影的圖案在所述表面上 的一個反射所提供的多個2D表面點的至少一個集合；使用所述代表2D表面點集合的數據在所述傳感器坐標系中計算多個3D表面點的一個 集合；并且將所述3D表面點的集合在數學意義上投影到所述特征圖像數據上，以便獲得所述3D 表面點在所述特征圖像數據中的一個位置；在所述特征圖像數據中在離所述投影的3D表面點一個短的距離處為所述3D表面點集 合提取特征數據。
14.如權利要求13所述的方法，其中所述基礎2D圖像以及所述特征圖像是使用一個傳 感裝置獲得的，該傳感裝置具有一個圖案投影器，該圖案投影器用于在所述物體的所述表 面上提供所述投影的圖案；用于獲取所述物體的一個基礎2D圖像的至少一個基礎照相機； 以及用于獲取所述物體的一個特征圖像的一個特征照相機；在一個傳感器坐標系中所述基 礎照相機、所述圖案投影器以及所述特征照相機的一種空間關系是已知的。
15.如權利要求13和14中任何一項所述的方法，進一步包括獲得多個變換參數，所述變換參數代表在所述傳感器坐標系與一個全局坐標系之間的 一種空間關系；在所述全局坐標系中使用所述轉換參數將所述3D表面點集合轉換成多個被轉換的3D 表面點的一個集合。
16.如權利要求15所述的方法，進一步包括積累該變換的3D表面點的集合以便提供所述物體的一個3D表面模型。
17.如權利要求16所述的方法，進一步包括在該全局坐標系中從該變換的3D表面點集合計算多個局部切面的一個集合， 使用所述局部切面來提供所述物體的所述3D表面模型。
全文摘要
在此提供了多種系統和方法，用于獲取一個物體的三維表面的幾何結構特征和/或紋理特征。一個圖案被投影到所述物體的一個表面上。獲得所述物體的一個基礎2D圖像；獲得所述物體的一個特征2D圖像；從所述基礎2D圖像、從所述投影的圖案在所述物體上的反射中提取多個2D表面點；在一個傳感器坐標系中使用所述2D表面點來計算多個3D表面點的一個集合；并且提取2D表面幾何/紋理特征的一個集合。
文檔編號G01B11/245GK102112845SQ200980129832
公開日2011年6月29日 申請日期2009年7月30日 優先權日2008年8月6日
發明者埃里克·圣-皮埃爾, 帕特里克·赫伯特, 德拉甘·圖比克 申請人:形創有限公司