基于射線模型三維重構的圖像定位方法以及裝置的制造方法
【專利摘要】本發明公開了一種基于射線模型三維重構的圖像定位方法及裝置，其中方法包括：預先采集多個場景的多個圖像，并分別對這些圖像進行特征提取以得到多個特征點集合；對該多個圖像進行兩兩圖像的特征匹配，并根據這些特征匹配生成對應的本征矩陣，并對其進行噪聲處理；基于射線模型根據噪聲處理后的特征匹配以及本征矩陣進行三維重構以生成三維特征點云以及重構的攝像機位姿集合；獲取查詢圖像，并對其進行特征提取以得到對應的二維特征點集合；基于定位姿態圖優化框架根據二維特征點集合、三維特征點云以及重構的攝像機位姿集合進行圖像定位。該方法提高重構效果，降低重構過程的采集成本，提高計算速度，并在圖像定位過程中，提高圖像定位的精度。
【專利說明】
基于射線模型三維重構的圖像定位方法以及裝置
技術領域
[0001] 本發明涉及圖像處理及模式識別技術領域，尤其涉及一種基于射線模型三維重構 的圖像定位方法以及裝置。
【背景技術】
[0002] 圖像定位技術是通過一張或一組圖像，計算得到自身的位姿。該項技術可以用于 機器人導航、路徑規劃、數字旅游、虛擬現實等，能夠適用于GPS(Global Positioning System，全球定位系統)無法工作的區域，如室內和地下等。相比基于藍牙、WiFi (Wireless Fidel ity，無線保真）的定位技術，圖像定位技術不依賴于專業設備，實施成本低。
[0003] 相關技術中，基于圖像定位的方法主要有兩類:一類是基于圖像檢索的方法，此類 方法尋找查詢圖像在數據庫中的近鄰圖像，以其位置作為自身位置;另一類是基于三維重 構結合圖像-點云(2D-3D)匹配的方法，這類方法首先預先采集大量關于目標場景的平面圖 像，離線進行三維重構，得到場景的三維特征點云，并當在線定位階段時，提取查詢圖像特 征，并將其與三維特征點云進行2D-3D匹配，利用匹配結果估計目標攝像機的位姿。
[0004] 但是存在的問題是:針對上述圖像檢索方法，由于沒有更充分的利用三維信息，只 能適用于查詢圖像與庫圖像姿態差異較小的情況，其定位精度不優于庫圖像本身的位置精 度和采樣間隔;相比圖像檢索方法，上述第二類方法雖然能夠得到精度更高的定位結果，但 是，其三維重構算法只能用于平面攝像機，受限于平面攝像機較小的視場，通常需要對同一 位置變換多個角度進行拍攝，得到數量較大的平面圖像集合進行三維重建，重構代價較高， 如采集量大、計算量大等。
【發明內容】
[0005] 本發明的目的旨在至少在一定程度上解決上述的技術問題之一。
[0006] 為此，本發明的第一個目的在于提出一種基于射線模型三維重構的圖像定位方 法。該方法提高了重構效果，降低了重構過程的采集成本，提高了計算速度，并在圖像定位 過程中，提高圖像定位的精度。
[0007] 本發明的第二個目的在于提出一種基于射線模型三維重構的圖像定位裝置。
[0008] 為了實現上述目的，本發明第一方面實施例的基于射線模型三維重構的圖像定位 方法，包括以下步驟:預先采集多個場景的多個圖像，并分別對所述多個圖像進行特征提取 以得到對應的多個特征點集合;對所述多個圖像進行兩兩圖像的特征匹配，并根據所述兩 兩圖像的特征匹配生成對應的本征矩陣，并對所述本征矩陣進行噪聲處理;基于射線模型 根據噪聲處理后的所述特征匹配以及本征矩陣進行三維重構以生成三維特征點云以及重 構的攝像機位姿集合;獲取查詢圖像，并對所述查詢圖像進行特征提取以得到對應的二維 特征點集合；以及基于定位姿態圖優化框架根據所述二維特征點集合、所述三維特征點云 以及重構的攝像機位姿集合進行圖像定位。
[0009] 根據本發明實施例的基于射線模型三維重構的圖像定位方法，在基于射線模型的 三維重構過程中，通過使用三維射線描述二維像素坐標，射線模型能夠無畸變地表達多種 攝像機模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機，并充分利用其內在的 幾何性質，使得重構效果更好，且降低了采集成本，提高了計算速度，并且在圖像定位過程 中，提出的基于姿態圖優化的定位框架，融合了圖像點云之間的2D-3D特征匹配和近鄰攝像 機的位姿信息，提高了圖像定位的精度。
[0010]為了實現上述目的，本發明第二方面實施例的基于射線模型三維重構的圖像定位 裝置，包括:第一獲取模塊，用于預先采集多個場景的多個圖像，并分別對所述多個圖像進 行特征提取以得到對應的多個特征點；生成模塊，用于對所述多個圖像進行兩兩圖像的特 征匹配，并根據所述兩兩圖像的特征匹配生成對應的本征矩陣，并對所述本征矩陣進行噪 聲處理；重構模塊，用于基于射線模型根據噪聲處理后的所述本征矩陣進行三維重構以生 成三維特征點云以及重構的攝像機位姿集合;第二獲取模塊，用于獲取查詢圖像，并對所述 查詢圖像進行特征提取以得到對應的二維特征點集合；以及圖像定位模塊，用于基于定位 姿態圖優化框架根據所述二維特征點集合、所述三維特征點云以及重構的攝像機位姿集合 進行圖像定位。
[0011]根據本發明實施例的基于射線模型三維重構的圖像定位裝置，在基于射線模型的 三維重構過程中，通過使用三維射線描述二維像素坐標，射線模型能夠無畸變地表達多種 攝像機模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機，并充分利用其內在的 幾何性質，使得重構效果更好，且降低了采集成本，提高了計算速度，并且在圖像定位過程 中，提出的基于姿態圖優化的定位框架，融合了圖像點云之間的2D-3D特征匹配和近鄰攝像 機的位姿信息，提高了圖像定位的精度。
[0012] 本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
【附圖說明】
[0013] 本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得 明顯和容易理解，其中，
[0014]圖1是根據本發明一個實施例的基于射線模型三維重構的圖像定位方法的流程 圖；
[0015] 圖2是根據本發明實施例的生成三維特征點云以及重構的攝像機位姿集合的流程 圖；
[0016] 圖3是根據本發明實施例的圖像定位的具體實現過程的流程圖；
[0017] 圖4是根據本發明一個實施例的基于射線模型三維重構的圖像定位方法的示例 圖；
[0018] 圖5是根據本發明一個實施例的基于射線模型三維重構的圖像定位裝置的結構框 圖；
[0019] 圖6是根據本發明一個實施例的重構模塊的結構框圖；
[0020]圖7是根據本發明另一個實施例的重構模塊的結構框圖；以及
[0021]圖8是根據本發明一個實施例的圖像定位模塊的結構框圖。
【具體實施方式】
[0022] 下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，旨在用于解釋本發明，而不能理解為對本發明的限制。
[0023] 下面參考附圖描述根據本發明實施例的基于射線模型三維重構的圖像定位方法 以及裝置。
[0024] 圖1是根據本發明一個實施例的基于射線模型三維重構的圖像定位方法的流程 圖。如圖1所示，該基于射線模型三維重構的圖像定位方法可以包括：
[0025] SlOl，預先采集多個場景的多個圖像，并分別對多個圖像進行特征提取以得到對 應的多個特征點集合。
[0026] 其中，在本發明的實施例中，術語"多個"可進行廣義理解，即對應足夠多的數量。 此外，在本發明的實施例中，圖像的類型可包括但不限于全景類型、魚眼類型和平面類型 等。
[0027] 具體地，可預先采集足夠的場景圖像作為本實施例所提到的圖像，并分別對這些 圖像提取SIFT (Scale-invariant feature transform，尺度不變特征變換)特征，得到每個 特征點的位置以及描述子集合，其中該描述子集合用于描述對應的特征點的周圍區域信 息。
[0028] S102,對多個圖像進行兩兩圖像的特征匹配，并根據兩兩圖像的特征匹配生成對 應的本征矩陣，并對本征矩陣進行噪聲處理。
[0029] 具體而言，在本發明的實施例中，可先根據多個特征點集合對多個圖像進行兩兩 匹配，并存儲每個圖像對的特征點匹配情況。之后，可基于匹配上的特征點集合估計本征矩 陣。
[0030] 更具體地，可根據特征點的描述子集合對所有圖像進行兩兩匹配，并儲存每個圖 像對的特征點匹配情況，然后，可基于匹配上的特征點估計本征矩陣，并同時對該本征矩陣 進行過濾噪聲。可以理解，在本發明的實施例中，若將上述兩兩匹配的特征點組織起來，則 可形成多條軌跡，其中，每條軌跡對應于將被重構的一個3D(三維）點。
[0031] S103,基于射線模型根據噪聲處理后的特征匹配以及本征矩陣進行三維重構以生 成三維特征點云以及重構的攝像機位姿集合。
[0032] 可以理解，相較于傳統的基于像素的平面模型，本發明通過射線模型能夠適應不 同的攝像機類型(如全景類型、魚眼類型、平面類型等），并將其統一起來。
[0033] 具體地，可先構建姿態圖，其中，該姿態圖可包含攝像機借點、三維(3D)點節點、攝 像機-攝像機連接邊、攝像機-3D點連接邊等，這些可共同用于描述攝像機集合與3D點集合 之間的可視性關系。之后，可基于射線模型的增量式重構，即：可先選擇相對姿態估計質量 較高的一對攝像機作為初始種子，利用基于射線模型的三角測量(triangulation)尋找新 的樣本3D點，之后可利用新的樣本3D點基于射線模型尋找更多的攝像機，不斷迭代并去噪 優化，直至尋找不到更多的攝像機或者3D點。
[0034]具體而言，在本發明的一個實施例中，如圖2所示，基于射線模型根據噪聲處理后 的特征匹配以及本征矩陣進行三維重構以生成三維特征點云以及攝像機位姿集合的具體 實現過程可包括以下步驟：
[0035] S201，對噪聲處理后的本征矩陣進行分解以得到對應的多個攝像機之間的相對姿 ??τ O
[0036] S202,根據多個攝像機之間的相對姿態和多個特征點構建對應的姿態圖。
[0037] 具體地，可通過預設的姿態圖創建公式根據多個攝像機之間的相對姿態和多個特 征點構建對應的姿態圖。其中，在本發明的實施例中，預設的姿態圖創建公式可為：
[0038] G=(NP，NX，EP，EX) (1)
[0039] 其中，NP為攝像機節點，NX為特征點（即樣本3D點）節點，EP為攝像機-攝像機連接 邊，邊上附有攝像機i和k之間的相對位置姿態屬性，該屬性可包括相對旋轉R lk和相對平移 方向Cik，即EPreIpcise(Lk) = (RihCik);EX為攝像機-特征點連接邊，該邊上附有該攝像機觀 測到的特征點坐標EXcjx = Xi j;根據該姿態圖可以定義可視性函數Vi sX(Xj，Ps)和Vi sP (Pi， Xs)，其中Vi sX (Xj，Ps) = {i : (i，j) e EX，i e Ps}意為給定特征點Xj和攝像機集合Ps的條件下， 返回Ps中觀測到Xj的攝像機集合;Vi sP(Pi，Xs) = {j : (i，j) e EX，j e Xs}意為給定特征點集合 Xs和攝像機^的條件下，返回Xs中被P 1觀測到的特征點集合。
[0040] S203,分別獲取多個攝像機的模型，并分別根據多個攝像機的模型定義對應的射 線模型。
[0041] 具體地，可先獲取攝像機的模型，如全景模型、魚眼模型、平面模型等，之后可根據 不同的攝像機的模型分別定義對應的射線模型。需要說明的是，射線模型是基于每條射線r 可以用原點和單位球上的另一個點X (X，y，Z)，x2+y2+z2 = 1所定義的，該射線與圖像坐標u (u，v)通過映射函數--對應;映射函數k可定義為x = k(u，K) ,U = IT1(Xj)，其中K為攝像機
的內參;對于不同的攝像機模型，其映射函數各自不同，其中，對于全景攝像機、魚眼攝像 機、平面攝像機所對應的映射函數可分別由如下式（2 M 4)描沭：
[0042]
[0043]
[0044]
[0045]
[0046]
[0047]
[0048]
[0049]
[0050]
[0051]其中，式（2)-(4)中Uc為攝像機主點坐標，f為焦距，特別的對于全景攝像機
為繞y軸的旋轉角度，t為繞X軸的俯仰角度，m、Vl、Φ、θ、 Γ均為臨時變 量。
[0052] S204,基于對應的射線模型對姿態圖進行增量式重構以生成三維特征點云以及重 構的攝像機位姿集合。
[0053] 具體地，可先選擇多個攝像機之間的相對姿態估計質量較高的一對攝像機作為初 始種子，之后可利用基于對應的射線模型的三角測量(triangulation)尋找新的3D點，而后 利用新的3D點基于該射線模型尋找更多的攝像機，不斷迭代，直至尋找不到更多的攝像機 或者3D點；其中，在該過程可不斷實施非線性優化，以用于減小三維重構的誤差；同時使用 質量評價函數剔除質量不高的攝像機和3D點。需要說明的是，在該過程中的距離度量、三角 測量、攝像機姿態估計、非線性優化、質量評價函數等模塊都是針對射線模型所改進的，相 比傳統的僅適用平面圖像的重構算法，具有更廣泛的普適性。
[0054]由此，在基于射線模型的三維重構算法中，通過使用三維射線描述二維像素坐標， 射線模型能夠無畸變地表達多種攝像機模型（如全景、魚眼、平面等），，即適用于多種類型 的攝像機，擴大了適用范圍。
[0055]進一步地，在本發明的一個實施例中，在生成三維特征點云以及重構的攝像機位 姿集合之后，該圖像定位方法還可包括:建立三維特征點云中每個三維特征點云的索引樹， 并針對重構的攝像機位姿集合中多個攝像頭建立空間位置的索引樹。具體地，在三維重構 完成之后，可建立點云特征與攝像機位置索引樹，其中可以理解，三維特征點云中的每個點 都附帶若干特征，這些特征來自于觀測到該點的圖像;在后續在線定位階段中，需要建立查 詢圖像的特征與該特征點云的匹配，以實現圖像定位;為了加速匹配過程，本發明對特征點 云建立Kd-tree索引樹，以加快檢索速度;此外，由于在線定位階段需要檢索查詢圖像的空 間近鄰，所以本發明又對重構出的攝像機建立空間位置的Kchtree索引樹。
[0056]需要說明的是，在本發明的實施例中，上述步驟S101-S103均可為離線分析。也就 是說，通過上述步驟S101-S103可以預先建立圖像庫，并根據該圖像庫預先生成對應的三維 特征點云以及重構的攝像機位姿集合，并存儲，以供后續在線圖像定位階段的使用。
[0057] S104，獲取查詢圖像，并對查詢圖像進行特征提取以得到對應的二維特征點集合。
[0058]具體地，可對獲取到的查詢圖像提取特征，得到該查詢圖像的二維特征點集合。需 要說明的是，每一個二維特征點對應一個特征描述子，而3D特征點云中每個3D點對應多個 特征描述子，這些描述子可由三維重構階段多張圖像所貢獻。
[0059] S105,基于定位姿態圖優化框架根據二維特征點集合、三維特征點云以及重構的 攝像機位姿集合進行圖像定位。
[0060] 具體地，可將查詢圖像的特征與離線部分生成的3D點云的特征進行匹配（即2D-3D 匹配），依據足夠數量的有效匹配，利用攝像機姿態估計算法估計查詢圖像的初始位姿，之 后，可根據該初始位姿查詢近鄰庫攝像機（即近鄰圖像），并融合2D-3D匹配和與近鄰圖像之 間的相對姿態建立定位姿態圖優化框架并進行優化以得到更高精度的定位結果。
[0061] 具體而言，在本發明的一個實施例中，如圖3所示，基于定位姿態圖優化框架根據 二維特征點集合、三維特征點云以及重構的攝像機位姿集合進行圖像定位的具體實現過程 可包括以下步驟：
[0062] S301，根據多個三維特征點云的索引樹將二維特征點集合與三維特征點云進行有 效匹配以得到雙向2D-3D匹配集合。
[0063] 具體地，可先對某一個二維特征點Fi2%3D點云特征集合F3d中進行k近鄰查詢（如k = 5)，如果k近鄰中來自不同3D點的最近鄰與次近鄰的比值小于某一閾值thmatch，則認為二 維特征點與最近鄰3D點之間構建了一個2D至3D的單向有效匹配，F 2d*所有此類匹配構成了 一個2D至3D的單向有效匹配集合M2p3D(F 2D，F3D);其次對M2p3D(F2D，F 3D)中的每個3D點，反向 在查詢圖像的特征集合F2d中查詢近鄰和次近鄰.若最近鄰與次近鄰的比值小于閾值 th match，則認為得到了一個有效的3D至2D的單向匹配，這些匹配構成3D至2D的單項匹配集合 M20^3d ( F2d，F3d );這兩單向匹配集合M^3d ( F2d，F3d )和M20^3d ( F2d，F3d )的交集即為雙向2D-3D匹 配集合 M2D-3D(F2D，F3D)。
[0064] S302,通過攝像機姿態估計算法對雙向2D-3D匹配集合進行估計以生成查詢圖像 的初始位姿。
[0065] 具體地，基于雙向2D-3D匹配集合M2D_3D(F2D，F3D)通過攝像機姿態估計算法剔除不 滿足攝像機幾何約束的2D-3D匹配，得到內點集合I2D_3D，并估計出查詢圖像的初始位姿P q2D ^ = Rql3D[I I ，其中，PqI3D為查詢攝像機的攝像機矩陣，由旋轉矩陣R和該攝像機 矩陣的光心位置C構成。
[0066] S303,根據查詢圖像的初始位姿以及空間位置的索引樹在重構的攝像機位姿集合 中進行查詢以得到近鄰圖像。
[0067] 具體地，可先從查詢圖像的初始位姿中得到查詢圖像q的初始空間位置Cq2D_3D，之 后可根據該查詢圖像的初始空間位置以及空間位置的索引樹，在3D特征點云對應的重構的 攝像機位姿集合中查詢以得到k近鄰(P 1J = I, ...，k}，即近鄰圖像。
[0068] S304,將查詢圖像與近鄰圖像進行特征匹配以得到對應的多個有效匹配集合。
[0069]具體地，可將查詢圖像與近鄰圖像進行2D-2D的特征匹配得到兩個圖像之間的多 個有效匹配集合。
[0070] S305,根據多個有效匹配集合生成近鄰圖像之間的相對姿態。
[0071] 具體地，基于該有效匹配集合估計本征矩陣，并同時得到內點匹配，當匹配數量少 于某一閾值時，可認為該本征矩陣噪聲較大，移除該近鄰圖像，并分解該本征矩陣以得到與 近鄰圖像間的相對姿態1^，(：1(1，其中相對姿態中的平移Clq只能提供方向，不能提供大小。 [0072] S306,融合雙向2D-3D匹配集合和近鄰圖像之間的相對姿態建立定位姿態圖優化 框架。
[0073]具體地，可定義關于查詢圖像q的姿態圖Gq =( NP，NX，EP，EX )，其中，NP為攝像機節 點，包含查詢圖像的攝像機Pq和其近鄰圖像的攝像機{Pi，i = l，...，k}，NX為3D點節點，對應 于2D-3D匹配得到的中的3D點；EP為查詢圖像的攝像機Pq與近鄰圖像的攝像機（P 1, i = 1，...，k}的連接邊，邊上附有i和q之間的相對位置姿態，包括相對旋轉Riq和相對平移方向 C iq，即EPrel-1^(丨，9)=(心<1，(^)觀為查詢圖像的攝像機? (1與30點乂」的連接邊，邊上附有查 詢圖像的攝像機Pq觀測到的特征點射線坐標EXox = Xq j。
[0074] 之后，對反投影誤差及相對姿態誤差之和進行優化，基于該查詢圖像構建目標函 數(即上述的定位姿態圖優化框架)如下：
[0075]
[0076] 兵甲，Pq = Kq L 1卜Cq」73符1 兀化的宜劉囹1冢的攝1冢機圯件，Kq，(Jq73該攝像機在世界 坐標系下的旋轉和平移；{(xqj，Xj)，j = I，. . .η}為輸入的雙向2D-3D匹配集合；{(Pi，Riq， Clq)，i = l，...m}為查詢圖像的近鄰圖像以及相應的相對姿態集合;λ為兩類代價的平衡因 子;drel 〇為相對姿態邊上的代價函數，其定義如下：
[0077]
(6)
[0078] 其中，相對姿態的代價函數包含兩項，分別為旋轉的代價和平移方向的代價，二者 相互獨立;旋轉的代價定義為R1，Rq的相對歐拉角，
平移 方向的代價為觀測出的平移方向Ri，Ciq與待優化的平移方向
U司的弦距離。
[0079] S307,根據定位姿態圖優化框架對查詢圖像的初始位姿進行優化以實現圖像定 位。
[0080] 具體地，采用2D-3D的定位結果（即上述的查詢圖像的初始位姿)Pq2D_3D作為初值， 根據定位姿態圖優化框架通過Levenberg-Marquardt算法對該查詢圖像的初始位姿Pq 2D^3D 進行優化以得到更高精度的定位結果。
[0081] 由此，相比傳統僅使用2D-3D匹配信息的定位方法，本發明通過使用圖優化的方法 融合了 2D-3D的匹配信息和圖像間的相對姿態信息，提高了最終定位結果的精確性。
[0082] 需要說明的是，上述步驟S104-S105為在線計算，即接收查詢圖像，然后根據該查 詢圖像查詢預先生成的三維特征點云以及重構的攝像機位姿集合，以實現圖像定位。
[0083] 下面將結合圖4對本發明實施例的基于射線模型三維重構的圖像定位方法進行描 述。
[0084]舉例而言，如圖4所示，可預先進行離線重構，以得到三維特征點云以及重構的攝 像機位姿集合，即可先離線采集足夠場景的圖像，并提取圖像特征并對圖像進行兩兩匹配， 之后，可構建姿態圖，并基于射線模型的增量式進行三維重構，以得到三維特征點云以及重 構的攝像機位姿集合，并建立三維特征點云的索引樹以及攝像頭的空間位置索引樹。當獲 取到查詢圖像時，可進行在線定位，即可先對獲取到的查詢圖像提取特征，并將提取到的特 征與三維特征點云進行2D-3D的有效匹配以得到雙向2D-3D匹配集合，之后通過攝像機姿態 估計算法對該雙向2D-3D匹配集合進行估計以生成查詢圖像的初始位姿，并檢索近鄰攝像 機并計算相對位姿，最后，通過建立定位姿態圖融合二者信息得到更高精度的定位結果，即 目標攝像機位置與姿態。
[0085]根據本發明實施例的基于射線模型三維重構的圖像定位方法，在基于射線模型的 三維重構過程中，通過使用三維射線描述二維像素坐標，射線模型能夠無畸變地表達多種 攝像機模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機，并充分利用其內在的 幾何性質，使得重構效果更好，且降低了采集成本，提高了計算速度，并且在圖像定位過程 中，提出的基于姿態圖優化的定位框架，融合了圖像點云之間的2D-3D特征匹配和近鄰攝像 機的位姿信息，提高了圖像定位的精度。
[0086]為了實現上述實施例，本發明還提出了一種基于射線模型三維重構的圖像定位裝 置。
[0087] 圖5是根據本發明一個實施例的基于射線模型三維重構的圖像定位裝置的結構框 圖。如圖5所示，該基于射線模型三維重構的圖像定位裝置可以包括:第一獲取模塊100、生 成模塊200、重構模塊300、第二獲取模塊400和圖像定位模塊500。
[0088] 具體地，第一獲取模塊100可用于預先采集多個場景的多個圖像，并分別對多個圖 像進行特征提取以得到對應的多個特征點集合。其中，在本發明的實施例中，術語"多個"可 進行廣義理解，即對應足夠多的數量。此外，在本發明的實施例中，圖像的類型可包括但不 限于全景類型、魚眼類型和平面類型等。
[0089] 更具體地，第一獲取模塊100可預先采集足夠的場景圖像作為本實施例提到的圖 像，并分別對這些圖像提取SIFT (Scale-invariant feature transform，尺度不變特征變 換)特征，得到每個特征點的位置以及描述子集合，其中該描述子集合用于描述對應的特征 點的周圍區域信息。
[0090] 生成模塊200可用于對多個圖像進行兩兩圖像的特征匹配，并根據兩兩圖像的特 征匹配生成對應的本征矩陣，并對本征矩陣進行噪聲處理。具體而言，在本發明的實施例 中，生成模塊200可先根據多個特征點集合對多個圖像進行兩兩匹配，并存儲每個圖像對的 特征點匹配情況，之后，可基于匹配上的特征點集合估計本征矩陣。
[0091] 更具體地，生成模塊200可根據特征點的描述子集合對所有圖像進行兩兩匹配，并 儲存每個圖像對的特征點匹配情況，然后，可基于匹配上的特征點估計本征矩陣，并同時對 該本征矩陣進行過濾噪聲。可以理解，在本發明的實施例中，若將上述兩兩匹配的特征點組 織起來，則可形成多條軌跡，其中，每條軌跡對應于將被重構的一個3D(三維）點。
[0092]重構模塊300可用于基于射線模型根據噪聲處理后的本征矩陣進行三維重構以生 成三維特征點云以及重構的攝像機位姿集合。可以理解，相較于傳統的基于像素的平面模 型，本發明通過射線模型能夠適應不同的攝像機類型（如全景類型、魚眼類型、平面類型 等），并將其統一起來。
[0093]更具體地，重構模塊300可先構建姿態圖，其中，該姿態圖可包含攝像機借點、三維 (3D)點節點、攝像機-攝像機連接邊、攝像機-3D點連接邊等，這些可共同用于描述攝像機集 合與3D點集合之間的可視性關系，之后，可基于射線模型的增量式重構，即：可先選擇相對 姿態估計質量較高的一對攝像機作為初始種子，利用基于射線模型的三角測量 (triangulation)尋找新的3D點，之后可利用新的3D點基于射線模型尋找更多的攝像機，不 斷迭代并去噪優化，直至尋找不到更多的攝像機或者3D點。
[0094]具體而言，在本發明的實施例中，如圖6所示，該重構模塊300可包括：分解單元 310、構建單元320、定義單元330和重構單元340。更具體地，分解單元310可用于對噪聲處理 后的本征矩陣進行分解以得到對應的多個攝像機之間的相對姿態。
[0095] 構建單元320可用于根據多個攝像機之間的相對姿態和多個特征點構建對應的姿 態圖。更具體地，可通過預設的姿態圖創建公式根據多個攝像機之間的相對姿態和多個特 征點構建對應的姿態圖。其中，在本發明的實施例中，預設的姿態圖創建公式可為上述式 ⑴。
[0096] 定義單元330可用于分別獲取多個攝像機的模型，并分別根據多個攝像機的模型 定義對應的射線模型。更具體地，定義單元330可先獲取攝像機的模型，如全景模型、魚眼模 型、平面模型等，之后可根據不同的攝像機的模型分別定義對應的射線模型。需要說明的 是，射線模型是基于每條射線r可以用原點和單位球上的另一個點x(x，y，z)，x2+y2+z 2 = l所 定義的，該射線與圖像坐標u(u，V)通過映射函數--對應;映射函數k可定義為x = k(u，K), U = ITi(X1K),其中K為攝像機的內參;對于不同的攝像機模型，其映射函數各自不同，其中， 對于全景攝像機、魚眼攝像機、平面攝像機所對應的映射函數可分別由上述式（2)-(4)描 述。
[0097]重構單元340可用于基于對應的射線模型對姿態圖進行增量式重構以生成三維特 征點云以及重構的攝像機位姿集合。更具體地，重構單元340可先選擇多個攝像機之間的相 對姿態估計質量較高的一對攝像機作為初始種子，之后可利用基于對應的射線模型的三角 測量(triangulation)尋找新的3D點，而后利用新的3D點基于該射線模型尋找更多的攝像 機，不斷迭代，直至尋找不到更多的攝像機或者3D點；其中，在該過程可不斷實施非線性優 化，以用于減小三維重構的誤差；同時使用質量評價函數剔除質量不高的攝像機和3D點。需 要說明的是，在該過程中的距離度量、三角測量、攝像機姿態估計、非線性優化、質量評價函 數等模塊都是針對射線模型所改進的，相比傳統的僅適用平面圖像的重構算法，具有更廣 泛的普適性。
[0098]由此，在基于射線模型的三維重構算法中，通過使用三維射線描述二維像素坐標， 射線模型能夠無畸變地表達多種攝像機模型（如全景、魚眼、平面等），，即適用于多種類型 的攝像機，擴大了適用范圍。
[0099]進一步地，在本發明的一個實施例中，如圖7所示，該重構模塊300還可包括:建立 單元350,建立單元350可用于在重構單元340生成三維特征點云以及重構的攝像機位姿集 合之后，建立三維特征點云中每個三維特征點云的索引樹，并針對重構的攝像機位姿集合 中多個攝像頭建立空間位置的索引樹。具體地，建立單元350在重構單元340三維重構完成 之后，可建立點云特征與攝像機位置索引樹，其中可以理解，三維特征點云中的每個點都附 帶若干特征，這些特征來自于觀測到該點的圖像;在后續在線定位階段中，需要建立查詢圖 像的特征與該特征點云的匹配，以實現圖像定位;為了加速匹配過程，本發明對特征點云建 立Kchtree索引樹，以加快檢索速度;此外，由于在線定位階段需要檢索查詢圖像的空間近 鄰，所以本發明又對重構出的攝像機建立空間位置的Kchtree索引樹。
[0100]第二獲取模塊400可用于獲取查詢圖像，并對查詢圖像進行特征提取以得到對應 的二維特征點集合。更具體地，第二獲取模塊400可對獲取到的查詢圖像提取特征，得到該 查詢圖像的二維特征點集合。需要說明的是，每一個二維特征點對應一個特征描述子，而3D 特征點云中每個3D點對應多個特征描述子，這些描述子可由三維重構階段多張圖像所貢 獻。
[0101]圖像定位模塊500可用于基于定位姿態圖優化框架根據二維特征點集合、三維特 征點云以及重構的攝像機位姿集合進行圖像定位。更具體地，圖像定位模塊500可將查詢圖 像的特征與離線部分生成的3D點云的特征進行匹配（即2D-3D匹配），依據足夠數量的有效 匹配，利用攝像機姿態估計算法估計查詢圖像的初始位姿，之后，可根據該初始位姿查詢近 鄰庫攝像機（即近鄰圖像），并融合2D-3D匹配和與近鄰圖像之間的相對姿態建立定位姿態 圖優化框架并進行優化以得到更高精度的定位結果。
[0102]具體而言，在本發明的實施例中，如圖8所示，該圖像定位模塊500可包括:第一匹 配單元510、第一生成單元520、查詢單元530、第二匹配單元540、第二生成單元550、建立單 元560和圖像定位單元570。
[0103]具體地，第一匹配單元510可用于根據多個三維特征點云的索引樹將二維特征點 集合與三維特征點云進行有效匹配以得到雙向2D-3D匹配集合。
[0104] 更具體地，第一匹配單元510可先對某一個二維特征點？，在30點云特征集合F3d* 進行k近鄰查詢（如k = 5)，如果k近鄰中來自不同3D點的最近鄰與次近鄰的比值小于某一閾 值thmatch，則認為二維特征點與最近鄰3D點之間構建了一個2D至3D的單向有效匹配，F 2d* 所有此類匹配構成了一個2D至3D的單向有效匹配集合M^3D(F2D，F 3D);其次對M^3D(F2D， F3D)中的每個3D點，反向在查詢圖像的特征集合F 2d中查詢近鄰和次近鄰.若最近鄰與次近 鄰的比值小于閾值thmatch，則認為得到了一個有效的3D至2D的單向匹配，這些匹配構成3D至 2D的單項匹配集合M 20^3d (F2D，F3d);這兩單向匹配集合M^3d (F2D，F3d)和M20^3d (F2D，F3d)的交 集即為雙向2D-3D匹配集合M2D- 3D(F2D，F3D)。
[0105] 第一生成單元520可用于通過攝像機姿態估計算法對雙向2D-3D匹配集合進行估 計以生成查詢圖像的初始位姿。更具體地，第一生成單元520可基于雙向2D-3D匹配集合M 2d _3D(F2D，F3D)通過攝像機姿態估計算法剔除不滿足攝像機幾何約束的2D-3D匹配，得到內點 集合1 2D_3D，并估計出查詢圖像的初始位姿Pq2D_ 3D = Rq2D_3D [ 11-C嚴3D]，其中，P嚴％為查詢攝 像機的攝像機矩陣，由旋轉矩陣R和該攝像機矩陣的光心位置C構成。
[0106] 查詢單元530可用于根據查詢圖像的初始位姿以及空間位置的索引樹在重構的攝 像機位姿集合中進行查詢以得到近鄰圖像。更具體地，查詢單元530可先從查詢圖像的初始 位姿中得到查詢圖像q的初始空間位置(：嚴 3°，之后可根據該查詢圖像的初始空間位置以及 空間位置的索引樹，在3D特征點云對應的重構的攝像機位姿集合中查詢以得到k近鄰(P 1, i = l，...，k}，即近鄰圖像。
[0107] 第二匹配單元540可用于將查詢圖像與近鄰圖像進行特征匹配以得到對應的多個 有效匹配集合。更具體地，第二匹配單元540可將查詢圖像與近鄰圖像進行2D-2D的特征匹 配得到兩個圖像之間的多個有效匹配集合。
[0108] 第二生成單元550可用于根據多個有效匹配集合生成近鄰圖像之間的相對姿態。 更具體地，第二生成單元550可基于該有效匹配集合估計本征矩陣，并同時得到內點匹配， 當匹配數量少于某一閾值時，可認為該本征矩陣噪聲較大，移除該近鄰圖像，并分解該本征 矩陣以得到與近鄰圖像間的相對姿態1^，(： 1(1，其中相對姿態中的平移Clq只能提供方向，不 能提供大小。
[0109] 建立單元560可用于融合雙向2D-3D匹配集合和近鄰圖像之間的相對姿態建立定 位姿態圖優化框架。更具體地，建立單元560可定義關于查詢圖像q的姿態圖G q= (NP，NX， EP，EX)，其中，NP為攝像機節點，包含查詢圖像的攝像機Pq和其近鄰圖像的攝像機{Pi，i = 1，...，k}，NX為3D點節點，對應于2D-3D匹配得到的中的3D點；EP為查詢圖像的攝像機 近鄰圖像的攝像機(P 1J = I, ...，k}的連接邊，邊上附有i和q之間的相對位置姿態，包括相 對旋轉Riq和相對平移方向Ciq，即EPrei- pcise (i，q) = (Riq，Ciq); EX為查詢圖像的攝像機Pq與3D 點心的連接邊，邊上附有查詢圖像的攝像機Pq觀測到的特征點射線坐標EX cix = Xtu，之后，對 反投影誤差及相對姿態誤差之和進行優化，基于該查詢圖像構建目標函數（即上述的定位 姿態圖優化框架)如上述式(5)。
[0110]圖像定位單元570可用于根據定位姿態圖優化框架對查詢圖像的初始位姿進行優 化以實現圖像定位。更具體地，圖像定位單元570可采用2D-3D的定位結果（即上述的查詢圖 像的初始位姿)Pq2IK3D作為初值，根據定位姿態圖優化框架通過Levenberg-Marquardt算法 對該查詢圖像的初始位姿P qi3D進行優化以得到更高精度的定位結果。
[0111] 由此，相比傳統僅使用2D-3D匹配信息的定位方法，本發明通過使用圖優化的方法 融合了 2D-3D的匹配信息和圖像間的相對姿態信息，提高了最終定位結果的精確性。
[0112] 根據本發明實施例的基于射線模型三維重構的圖像定位裝置，在基于射線模型的 三維重構過程中，通過使用三維射線描述二維像素坐標，射線模型能夠無畸變地表達多種 攝像機模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機，并充分利用其內在的 幾何性質，使得重構效果更好，且降低了采集成本，提高了計算速度，并且在圖像定位過程 中，提出的基于姿態圖優化的定位框架，融合了圖像點云之間的2D-3D特征匹配和近鄰攝像 機的位姿信息，提高了圖像定位的精度。
[0113] 在本發明的描述中，需要理解的是，術語"第一"、"第二"僅用于描述目的，而不能 理解為指示或暗示相對重要性或者隱含指明所指示的技術特征的數量。由此，限定有"第 一"、"第二"的特征可以明示或者隱含地包括至少一個該特征。在本發明的描述中，"多個" 的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。
[0114] 在本說明書的描述中，參考術語"一個實施例"、"一些實施例"、"示例"、"具體示 例"、或"一些示例"等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特 點包含于本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不 必須針對的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任 一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技 術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結 合和組合。
[0115] 盡管上面已經示出和描述了本發明的實施例，可以理解的是，上述實施例是示例 性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的范圍內可以對上述 實施例進行變化、修改、替換和變型。
【主權項】
1. 一種基于射線模型三維重構的圖像定位方法，其特征在于，包括以下步驟： 預先采集多個場景的多個圖像，并分別對所述多個圖像進行特征提取以得到對應的多 個特征點集合； 對所述多個圖像進行兩兩圖像的特征匹配，并根據所述兩兩圖像的特征匹配生成對應 的本征矩陣，并對所述本征矩陣進行噪聲處理； 基于射線模型根據噪聲處理后的所述特征匹配以及本征矩陣進行三維重構以生成三 維特征點云以及重構的攝像機位姿集合； 獲取查詢圖像，并對所述查詢圖像進行特征提取以得到對應的二維特征點集合；以及 基于定位姿態圖優化框架根據所述二維特征點集合、所述三維特征點云以及重構的攝 像機位姿集合進行圖像定位。2. 如權利要求1所述的基于射線模型三維重構的圖像定位方法，其特征在于，所述對所 述多個圖像進行兩兩圖像的特征匹配，并根據所述兩兩圖像的特征匹配生成對應的本征矩 陣，具體包括： 根據所述多個特征點集合對所述多個圖像進行兩兩匹配，并存儲每個圖像對的特征點 匹配情況；以及 基于匹配上的特征點集合估計本征矩陣。3. 如權利要求1所述的基于射線模型三維重構的圖像定位方法，其特征在于，基于射線 模型根據噪聲處理后的所述特征匹配以及本征矩陣進行三位重構以生成樣本三維特征點 云以及重構的攝像機位姿集合，具體包括： 對所述噪聲處理后的本征矩陣進行分解以得到對應的多個攝像機之間的相對姿態； 根據所述多個攝像機之間的相對姿態和多個特征點構建對應的姿態圖； 分別獲取所述多個攝像機的模型，并分別根據所述多個攝像機的模型定義對應的射線 豐旲型； 基于所述對應的射線模型對所述姿態圖進行增量式重構以生成三維特征點云以及重 構的攝像機位姿集合。4. 如權利要求3所述的基于射線模型三維重構的圖像定位方法，其特征在于，在生成三 維特征點云以及重構的攝像機位姿集合之后，所述方法還包括： 建立所述三維特征點云中多個三維特征點云的索引樹，并針對所述重構的攝像機位姿 集合中多個攝像頭建立空間位置的索引樹。5. 如權利要求4所述的基于射線模型三維重構的圖像定位方法，其特征在于，基于定位 姿態圖優化框架根據所述二維特征點集合、所述三維特征點云以及重構的攝像機位姿集合 進行圖像定位，具體包括： 根據所述多個三維特征點云的索引樹將所述二維特征點集合與所述三維特征點云進 行有效匹配以得到雙向2D-3D匹配集合； 通過攝像機姿態估計算法對所述雙向2D-3D匹配集合進行估計以生成所述查詢圖像的 初始位姿； 根據所述查詢圖像的初始位姿以及所述空間位置的索引樹在所述重構的攝像機位姿 集合中進行查詢以得到近鄰圖像； 將所述查詢圖像與所述近鄰圖像進行特征匹配以得到對應的多個有效匹配集合； 根據所述多個有效匹配集合生成所述近鄰圖像之間的相對姿態； 融合所述雙向2D-3D匹配集合和所述近鄰圖像之間的相對姿態建立所述定位姿態圖優 化框架；以及 根據所述定位姿態圖優化框架對所述查詢圖像的初始位姿進行優化以實現圖像定位。6. -種基于射線模型三維重構的圖像定位裝置，其特征在于，包括： 第一獲取模塊，用于預先采集多個場景的多個圖像，并分別對所述多個圖像進行特征 提取以得到對應的多個特征點集合； 生成模塊，用于對所述多個圖像進行兩兩圖像的特征匹配，并根據所述兩兩圖像的特 征匹配生成對應的本征矩陣，并對所述本征矩陣進行噪聲處理； 重構模塊，用于基于射線模型根據噪聲處理后的所述本征矩陣進行三維重構以生成三 維特征點云以及重構的攝像機位姿集合； 第二獲取模塊，用于獲取查詢圖像，并對所述查詢圖像進行特征提取以得到對應的二 維特征點集合;以及 圖像定位模塊，用于基于定位姿態圖優化框架根據所述二維特征點集合、所述三維特 征點云以及重構的攝像機位姿集合進行圖像定位。7. 如權利要求6所述的基于射線模型三維重構的圖像定位裝置，其特征在于，所述生成 模塊具體用于： 根據所述多個特征點集合對所述多個圖像進行兩兩匹配，并存儲每個圖像對的特征點 匹配情況；以及 基于匹配上的特征點集合估計本征矩陣。8. 如權利要求6所述的基于射線模型三維重構的圖像定位裝置，其特征在于，所述重構 豐吳塊包括： 分解單元，用于對所述噪聲處理后的本征矩陣進行分解以得到對應的多個攝像機之間 的相對姿態； 構建單元，用于根據所述多個攝像機之間的相對姿態和多個特征點構建對應的姿態 圖； 定義單元，用于分別獲取所述多個攝像機的模型，并分別根據所述多個攝像機的模型 定義對應的射線模型； 重構單元，用于基于所述對應的射線模型對所述姿態圖進行增量式重構以生成三維特 征點云以及重構的攝像機位姿集合。9. 如權利要求8所述的基于射線模型三維重構的圖像定位裝置，其特征在于，還包括： 建立單元，用于在所述重構單元生成三維特征點云以及重構的攝像機位姿集合之后， 建立所述三維特征點云中多個三維特征點云的索引樹，并針對所述重構的攝像機位姿集合 中多個攝像頭建立空間位置的索引樹。10. 如權利要求9所述的基于射線模型三維重構的圖像定位裝置，其特征在于，所述圖 像定位模塊包括： 第一匹配單元，用于根據所述多個三維特征點云的索引樹將所述二維特征點集合與所 述三維特征點云進行有效匹配以得到雙向2D-3D匹配集合； 第一生成單元，用于通過攝像機姿態估計算法對所述雙向2D-3D匹配集合進行估計以 生成所述查詢圖像的初始位姿； 查詢單元，用于根據所述查詢圖像的初始位姿以及所述空間位置的索引樹在所述重構 的攝像機位姿集合中進行查詢以得到近鄰圖像； 第二匹配單元，用于將所述查詢圖像與所述近鄰圖像進行特征匹配以得到對應的多個 有效匹配集合； 第二生成單元，用于根據所述多個有效匹配集合生成所述近鄰圖像之間的相對姿態； 建立單元，用于融合所述雙向2D-3D匹配集合和所述近鄰圖像之間的相對姿態建立所 述定位姿態圖優化框架；以及 圖像定位單元，用于根據所述定位姿態圖優化框架對所述查詢圖像的初始位姿進行優 化以實現圖像定位。
【文檔編號】G06T17/00GK105844696SQ201511026787
【公開日】2016年8月10日
【申請日】2015年12月31日
【發明人】周杰, 鄧磊, 段岳圻
【申請人】清華大學