三維重建方法及裝置、移動終端的制作方法
【專利摘要】本發明公開了一種三維重建方法及裝置、移動終端，其中，該三維重建方法包括：向物體投射線狀激光；從至少兩個角度連續采集被線狀激光照射的物體的圖像信息，并連續采集攝像頭的運動信息；根據所述圖像信息，得到每個采集時刻所述物體在對應于每個采集時刻的攝像頭坐標系下的三維坐標；根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系以及根據所述三維坐標和所述位置關系對所述物體進行三維重建。本發明實施例的三維重建方法及裝置、移動終端，可以從不同角度連續采集到物體的圖像信息和連續采集攝像頭的運動信息，根據采集到的信息能夠對物體實現快速和全方位的三維掃描和重建。
【專利說明】三維重建方法及裝置、移動終端
【技術領域】
[0001] 本發明涉及三維信息【技術領域】，尤其涉及一種三維重建方法及裝置、移動終端。
【背景技術】
[0002] 三維掃描和重建是集光、機、電和計算機技術于一體的高新技術，主要用于對物體 外部結構及色彩進行掃描，以獲得物體的空間坐標。其重要意義在于能夠將物體的立體信 息轉換為計算機能直接處理的數字信號，為實物數字化提供了相當方便快捷的手段。三維 掃描和重建技術在很多領域都有廣泛的應用，如在工業上用于逆向工程計算，在醫療上用 于面形檢測，在生產中用于產品質量控制等。
[0003] 現有技術中，通常采用以下兩種裝置實現對物體的三維掃描和重建。其一是由線 激光投射器、攝像頭以及外部輔助定位裝置組成的手持式三維掃描裝置，通過外部輔助定 位裝置進行激光跟蹤或者在室內進行無線定位來實現三維掃描和重建。該裝置的主要缺點 是設備體積較大因而便攜性較差，容易受空間范圍限制，而且其三維重建結果沒有實現顏 色信息的采集，因此，顏色信息缺失嚴重。其二是具有后置攝像頭和微型投影儀的手機，利 用投射出的多幅結構光實現三維掃描和重建。該裝置的主要缺點是成本比較高，而且只能 測量一個面，由于沒有將所采集的圖像信息關聯起來，因此，沒有實現對物體的全方位的三 維重建，也沒有獲得物體的顏色信息。
【發明內容】
[0004] 摶術問是頁
[0005] 有鑒于此，本發明要解決的技術問題是如何實現一種三維重建方法和裝置，可以 對物體進行快速、全方位的三維掃描和重建。
[0006] 解決方案
[0007] 為了解決上述問題，在第一方面，本發明提出了一種三維重建方法，包括：向物體 投射線狀激光；從至少角度連續采集被線狀激光照射的物體的圖像信息，并連續采集攝像 頭的運動信息；根據所述圖像信息，得到每個采集時刻所述物體在對應于每個采集時刻的 攝像頭坐標系下的三維坐標；根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對 全局三維坐標系的位置關系；以及根據所述三維坐標和所述位置關系對所述物體進行三維 重建。
[0008] 結合第一方面，在一種可能的實現方式中，所述根據所述圖像信息，得到每個采集 時刻所述物體在相應采集時刻的攝像頭坐標系下的三維坐標之前，所述方法還包括：標定 所述攝像頭的內參數和外參數；則所述根據所述圖像信息得到每個采集時刻所述物體在對 應于每個采集時刻的攝像頭坐標系下的三維坐標包括：根據每個采集時刻采集到的所述圖 像信息以及所述內參數和外參數，換算出所述物體在對應于每個采集時刻的攝像頭坐標系 下的三維坐標。
[0009] 結合第一方面，在一種可能的實現方式中，所述運動信息包括加速度、角速度以及 航向，所述根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對全局三維坐標系的 位置關系包括：根據加速度、角速度以及航向，采用航位推算法推算出所述每個采集時刻的 攝像頭坐標系相對全局三維坐標系的位置關系。
[0010] 結合第一方面，在一種可能的實現方式中，所述根據所述三維坐標和所述位置關 系對所述物體進行三維重建包括：根據所述每個采集時刻的攝像頭坐標系相對全局三維坐 標系的位置關系，將物體在對應于每個采集時刻的攝像頭坐標系下的三維坐標轉換成全局 三維坐標系下的三維坐標。
[0011] 結合第一方面，在一種可能的實現方式中，在所述根據所述三維坐標和所述位置 關系對所述物體進行三維重建之后，所述方法還包括：計算不同采集時刻的攝像頭坐標系 之間的相對關系，根據所述相對關系建立不同采集時刻的所述物體的圖像信息之間的映射 關系。
[0012] 結合第一方面，在一種可能的實現方式中，所述根據所述相對關系建立不同采集 時刻的所述物體的圖像信息的映射關系，包括：將第i-Ι采集時刻所述物體掃描線上的點 在攝像頭坐標系下的三維坐標映射到第i采集時刻下的攝像頭坐標系中，計算所述點在第 i采集時刻下的圖像坐標，根據所述點在第i采集時刻下的圖像坐標得到所述點的像素值， 其中，i為大于1的任意整數。
[0013] 結合第一方面，在一種可能的實現方式中，所述建立不同采集時刻的物體的圖像 信息的映射關系之后還包括：將三維重建的結果與建立映射關系的結果進行融合。
[0014] 在第二方面，本發明提出了一種三維重建裝置，包括：線激光投射器，用于向物體 投射線狀激光；攝像頭，用于從不同角度連續采集被所述線狀激光照射的所述物體的圖像 信息；傳感器，用于連續采集所述攝像頭的運動信息；以及處理器，與所述攝像頭、所述線 性激光投射器以及傳感器連接，所述處理器包括：圖像信息處理模塊，用于根據所述圖像信 息，得到每個采集時刻所述物體在對應于每個采集時刻的攝像頭坐標系下的三維坐標；運 動信息處理模塊，用于根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對全局三 維坐標系的位置關系；以及三維重建模塊，用于根據所述三維坐標和所述位置關系，對所述 物體進行三維重建。
[0015] 結合第二方面，在一種可能的實現方式中，所述處理器還包括標定模塊，用于標定 所述攝像頭的內參數和外參數；則所述圖像信息處理模塊具體用于根據每個采集時刻采集 到的所述圖像信息以及所述內參數和外參數，計算出所述物體在對應于每個采集時刻的所 述攝像頭坐標系下的三維坐標。
[0016] 結合第二方面，在一種可能的實現方式中，所述運動信息包括加速度、角速度以及 航向，所述運動信息處理模塊具體用于根據所述加速度、角速度以及航向，采用航位推算法 推算出所述每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系。
[0017] 結合第二方面，在一種可能的實現方式中，所述三維重建模塊具體用于根據所述 每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系，將物體在對應于每個采集 時刻的攝像頭坐標系下的三維坐標轉換成全局三維坐標系下的三維坐標。
[0018] 結合第二方面，在一種可能的實現方式中，所述處理器還包括色彩映射還原模塊， 用于計算不同采集時刻的各所述攝像頭坐標系之間的相對關系，根據所述相對關系建立不 同采集時刻的所述物體的圖像信息之間的映射關系。
[0019] 結合第二方面，在一種可能的實現方式中，所述色彩映射還原模塊具體用于將第 i-Ι采集時刻所述物體掃描線上的點在攝像頭坐標系下的三維坐標映射到第i采集時刻下 的攝像頭坐標系中，計算所述點在第i采集時刻下的圖像坐標，根據所述點在第i采集時刻 下的圖像坐標得到所述點的像素值，其中，i為大于1的任意整數。
[0020] 結合第二方面，在一種可能的實現方式中，所述處理器還包括融合模塊，用于將三 維重建的結果與建立映射關系的結果進行融合。
[0021 ] 在第三方面，本發明提供了 一種移動終端，所述移動終端包括上述三維重建裝置。
[0022] 有益效果
[0023] 本發明實施例的三維重建方法及裝置、移動終端，可以從不同角度連續采集到的 物體的圖像信息和連續采集攝像頭的運動信息，根據采集到的信息能夠對物體實現快速和 全方位的三維掃描和重建。
[0024] 根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特征及方面將變得 清楚。
【專利附圖】
【附圖說明】
[0025] 包含在說明書中并且構成說明書的一部分的附圖與說明書一起示出了本發明的 示例性實施例、特征和方面，并且用于解釋本發明的原理。
[0026] 圖1示出了本發明一個實施例提供的三維重建方法的流程圖；
[0027] 圖2示出了本發明另一個實施例提供的三維重建方法的流程圖；
[0028] 圖3示出了本發明又一個實施例提供的三維重建方法的流程圖；
[0029] 圖4示出了本發明又一個實施例提供的色彩映射還原方法的示意圖；
[0030] 圖5示出了本發明一個實施例提供的三維重建裝置的結構框圖；
[0031] 圖6示出了圖4中線激光投射器的線激光工作原理的示意圖；
[0032] 圖7示出了本發明另一個實施例提供的移動終端三維掃描原理的示意圖；
[0033] 圖8示出了本發明又一個實施例提供的三維重建裝置的結構框圖；
[0034] 圖9示出了本發明又一個實施例提供的三維重建裝置的結構框圖；
[0035] 圖10示出了本發明又一個實施例提供的三維重建裝置的結構框圖。
【具體實施方式】
[0036] 以下將參考附圖詳細說明本發明的各種示例性實施例、特征和方面。附圖中相同 的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除 非特別指出，不必按比例繪制附圖。
[0037] 在這里專用的詞"示例性"意為"用作例子、實施例或說明性"。這里作為"示例性" 所說明的任何實施例不必解釋為優于或好于其它實施例。
[0038] 另外，為了更好的說明本發明，在下文的【具體實施方式】中給出了眾多的具體細節。 本領域技術人員應當理解，沒有這些具體細節，本發明同樣可以實施。在另外一些實例中， 對于大家熟知的方法、手段、元件和電路未作詳細描述，以便于凸顯本發明的主旨。
[0039] 為了便于理解，將首先介紹本發明所基于的線結構光視覺檢測基本原理，本發明 所涉及的幾種坐標系及各坐標系坐標之間的關系。
[0040] -、線結構光視覺檢測基本原理
[0041] 進行三維掃描時，首先由激光投射器向物體投射線狀激光，投射的線狀激光形成 一個激光投射平面，激光平面投射與物體表面相交時，會在物體表面形成一條亮的掃描線， 即光條。由于光條包含了激光投射平面與物體相交的所有表面點，因此根據光條的坐標可 以得到物體的相應的表面點的三維坐標（X w，yw，Zw)。該三維坐標映射到激光投射平面上， 則得到光條的二維圖像，光條的二維圖像上的點坐標記為（u，v)，根據二維圖像的點坐標 (u，V)即可以計算出其對應的物體表面點的三維坐標（x w，yw，Zw)，這就是線結構光視覺檢測 基本原理。上述計算三維坐標（x w，yw，zw)的過程如式1所示。
[0042] (xw，yw，zw) =f (u，V)式 1
[0043] 二、常用坐標系及其相互關系
[0044] (1)圖像坐標系
[0045] 攝像頭采集的數字圖像在計算機內可以存儲為數組，數組中的每一個元素（像 素，pixel)的值即圖像點的亮度（灰度），在圖像上定義直角坐標系u，v作為圖像坐標系， 該圖像坐標系上的像素（u，v)分別是該像素在數組中的列數和行數，故（u，v)是以像素為 單位的圖像坐標系的坐標。由于圖像坐標系只表示像素位于數字圖像的列數和行數，并沒 有用物理單位表示出該像素在圖像中的物理位置，因而需要再建立以物理單位（例如厘 米）表示的圖像坐標系，以物理單位度量的圖像坐標系的坐標采用（x，y)來表示。在該坐 標系中，原點0定義在攝像頭光軸和圖像平面的交點處，稱為圖像的主點，原點一般位于圖 像中心處，且X軸和y軸通常分別與直角坐標系的u軸和V軸平行。若0在u，V坐標系下 的坐標為（u Q，V。），每一像素在X軸和y軸方向上的物理尺寸分別為dx、dy，則圖像中任意一 個像素在兩個坐標系下的坐標的關系如式2。
【權利要求】
1. 一種三維重建方法，其特征在于，包括： 向物體投射線狀激光； 從至少兩個角度連續采集所述線狀激光照射的所述物體的圖像信息，并連續采集攝像 頭的運動信息； 根據所述圖像信息，得到每個采集時刻所述物體在對應于每個采集時刻的攝像頭坐標 系下的三維坐標； 根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關 系；以及 根據所述三維坐標和所述位置關系對所述物體進行三維重建。
2. 根據權利要求1所述的三維重建方法，其特征在于，所述根據所述圖像信息，得到每 個采集時刻所述物體在對應于每個采集時刻的攝像頭坐標系下的三維坐標之前，所述方法 還包括： 標定所述攝像頭的內參數和外參數； 則所述根據所述圖像信息得到每個采集時刻所述物體在對應于每個采集時刻的攝像 頭坐標系下的三維坐標包括： 根據每個采集時刻采集到的所述圖像信息以及所述內參數和外參數，計算所述物體在 對應于每個采集時刻的攝像頭坐標系下的三維坐標。
3. 根據權利要求2所述的三維重建方法，其特征在于，所述運動信息包括加速度、角速 度以及航向，所述根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對全局三維坐 標系的位置關系包括： 根據所述加速度、角速度以及航向，采用航位推算法計算所述每個采集時刻的攝像頭 坐標系相對全局三維坐標系的位置關系。
4. 根據權利要求3所述的三維重建方法，其特征在于，所述根據所述三維坐標和所述 位置關系對所述物體進行三維重建包括： 根據所述每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系，將物體在對 應于每個采集時刻的攝像頭坐標系下的三維坐標轉換成全局三維坐標系下的三維坐標。
5. 根據權利要求1-4中任一項所述的三維重建方法，其特征在于，在所述根據所述三 維坐標和所述位置關系對所述物體進行三維重建之后，所述方法還包括： 計算不同采集時刻的攝像頭坐標系之間的相對關系，根據所述相對關系建立不同采集 時刻的所述物體的圖像信息之間的映射關系。
6. 根據權利要求5所述的三維重建方法，其特征在于，所述根據所述相對關系建立不 同采集時刻的所述物體的圖像信息的映射關系，包括： 將第i_l采集時刻所述物體掃描線上的點在攝像頭坐標系下的三維坐標映射到第i采 集時刻下的攝像頭坐標系中，計算所述點在第i采集時刻下的圖像坐標，根據所述點在第i 采集時刻下的圖像坐標得到所述點的像素值，其中，i為大于1的任意整數。
7. -種三維重建裝置，其特征在于，包括： 線激光投射器，用于向物體投射線狀激光； 攝像頭，用于從至少兩個角度連續采集被所述線狀激光照射的所述物體的圖像信息； 傳感器，用于連續采集所述攝像頭的運動信息；以及 處理器，與所述攝像頭、線性激光投射器以及傳感器連接，所述處理器包括： 圖像信息處理模塊，用于根據所述圖像信息，得到每個采集時刻所述物體在對于于每 個采集時刻的攝像頭坐標系下的三維坐標； 運動信息處理模塊，用于根據所述運動信息，得到每個采集時刻的攝像頭坐標系相對 全局三維坐標系的位置關系；以及 三維重建模塊，用于根據所述三維坐標和所述位置關系，對所述物體進行三維重建。
8. 根據權利要求7所述的三維重建裝置，其特征在于，所述處理器還包括標定模塊，用 于標定所述攝像頭的內參數和外參數； 則所述圖像信息處理模塊具體用于根據每個采集時刻采集到的所述圖像信息以及所 述內參數和外參數，計算出所述物體在對應于每個采集時刻的所述攝像頭坐標系下的三維 坐標。
9. 根據權利要求8所述的三維重建裝置，其特征在于，所述運動信息包括加速度、角速 度以及航向，所述運動信息處理模塊具體用于根據所述加速度、角速度以及航向，采用航位 推算法推算出所述每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系。
10. 根據權利要求9所述的三維重建裝置，其特征在于，所述三維重建模塊具體用于根 據所述每個采集時刻的攝像頭坐標系相對全局三維坐標系的位置關系，將物體在對應于每 個采集時刻的攝像頭坐標系下的三維坐標轉換成全局三維坐標系下的三維坐標。
11. 根據權利要求7-9任一項所述的三維重建裝置，其特征在于，所述處理器還包括色 彩映射還原模塊，用于計算不同采集時刻的各所述攝像頭坐標系之間的相對關系，根據所 述相對關系建立不同采集時刻的所述物體的圖像信息之間的映射關系。
12. 根據權利要求11所述的三維重建裝置，其特征在于，所述色彩映射還原模塊具體 用于將第i_l采集時刻所述物體掃描線上的點在攝像頭坐標系下的三維坐標映射到第i采 集時刻下的攝像頭坐標系中，計算所述點在第i采集時刻下的圖像坐標，根據所述點在第i 采集時刻下的圖像坐標得到所述點的像素值，其中，i為大于1的任意整數。
13. -種移動終端，其特征在于，所述移動終端包括：如權利要求7-12任一項所述的三 維重建裝置。
【文檔編號】G06T7/00GK104424630SQ201310364666
【公開日】2015年3月18日 申請日期:2013年8月20日 優先權日:2013年8月20日
【發明者】劉兆祥, 廉士國 申請人:華為技術有限公司