用于調整具有微鏡頭陣列的成像系統的基線的系統和方法

用于調整具有微鏡頭陣列的成像系統的基線的系統和方法
【專利摘要】一種用于建立具有微鏡頭陣列的立體成像裝置的基線的系統及用于制造及使用所述系統的方法。所述系統獲取所述微鏡頭陣列與所關注物體之間的物距，并基于所獲取的物距從所述微鏡頭陣列中選擇第一和第二鏡頭。所述系統同樣可使用所述成像裝置來進行同時定位及構圖(SLAM)。在一種實施方式中，所述系統可使用所述微鏡頭陣列來獲取第一和第二立體幀。所述系統由此可使用慣性測量單元(IMU)來測量所述第二立體幀的旋轉并通過將所述旋轉數據與所述第一和第二立體幀組合來匹配所述第一和第二立體幀。所述系統由此可使得同時定位及構圖系統能在各種室內和/或室外環境中更準確且更實用地進行。
【專利說明】
用于調整具有微鏡頭陣列的成像系統的基線的系統和方法
技術領域
[0001] 所掲露的實施方式設及數字成像，且更具體來說設及用于調整具有微鏡頭陣列的 成像系統的基線的系統和方法。
【背景技術】
[0002] 隨著數字圖像技術的發展，特別是無人機技術的發展，使得自動同時定位及構圖 (Simultaneous Localization And Mapping,SLAM)同時適于室內和室外應用成為一項關 鍵技術。然而，精確的同時定位及構圖一直是個難點。
[0003] 同時定位及構圖設及構建或更新不熟悉環境構圖的運算問題，同時保持智能體由 其定位的軌跡。典型的同時定位及構圖設及構建立體帖并連接所述帖W形成連續構圖。
[0004] 目前，主流的同時定位及構圖系統通常使用單目相機或雙目相機來實現立體環境 構圖和定位功能。一些新研發的研究方法使用深度相機，即用結構光或飛行時間（Time Of Flight，T0F)深度傳感器來代替單目或雙目相機。然而，運些方法因其目前的應用條件及其 相對高昂的成本而受到了極大限制。
[0005] 此外，目前一些主流的同時定位及構圖方法通常是通過結合視覺測量來實施。目 前流行的視覺測量方法通常使用被動的單目或雙目鏡頭。類似于人的雙眼，視覺測量的基 本原理是利用不同視角的視差計算所關注物體的=維結構，并實現定位。在單目鏡頭的情 況下，視差僅能通過平移產生；因此，其檢測=維環境的能力取決于它的運動特征，該能力 相對受限。
[0006] 雙目相機的視差通過第一鏡頭與第二鏡頭之間的基線產生；因此，其圖像立體環 境的能力與基線的長度密切相關。當長度固定時，由于存在盲點，因此太近或太遠的物體都 是無法檢測的。隨著主動深度傳感器(結構光，T0F)的發展，基于主動深度傳感器的同時定 位及構圖成是一個新的研究熱點。然而，由于運些主動傳感器的性能、設計結構和成本的限 審IJ，它們的適用環境主要是小型的室內場景。例如，由于陽光的全譜特性，基于結構光的深 度傳感器是不適用于室外的。此外，TOF深度傳感器在室外使用時依賴于相對強能量的某種 發射光的W及相對精密的傳感器設計等；因此，它們不適合小型的飛行平臺。
[0007] 另一方面，由于物理原理的限定，很難精準地使用同時定位及構圖系統中的一些 其他技術，例如慣性測量單元（Inedial Measurement化it, IMU)、氣壓計和其他傳感器， 來構建準確且可廣泛適用的同時定位及構圖系統。
[000引綜上，需要在各種條件下都精準且更實用的同時定位及構圖系統和方法。

【發明內容】

[0009]根據本文掲露的第一個方面，提出一種用于建立具有微鏡頭陣列的立體成像系統 的基線的方法，所述方法包括：
[0010]獲取微鏡頭陣列與所關注物體之間的物距；從及
[0011]基于所述獲取的物距從微鏡頭陣列中動態地選擇兩個鏡頭。
[0012] 在所掲露方法的一種示例性的實施方式中，動態地選擇兩個鏡頭包括從微鏡頭陣 列的多個鏡頭中選擇第一鏡頭和第二鏡頭。
[0013] 在所掲露方法的一種示例性的實施方式中，獲取物距包括重復地獲取微鏡頭陣列 與所關注物體之間變化的物距；W及
[0014] 從微鏡頭陣列的多個鏡頭中選擇第一鏡頭和第二鏡頭是基于重復獲取變化的物 距。
[0015] 所掲露方法的示例性的實施方式還包括基于所選擇的第一鏡頭和第二鏡頭建立 基線。
[0016] 所掲露方法的示例性實施方式還包括基于微鏡頭陣列與所關注物體之間變化的 物距來自動調整基線。
[0017] 在所掲露方法的一種示例性的實施方式中，獲取物距包括：
[0018] 通過第一鏡頭獲取所關注物體的第一圖像；
[0019] 通過第二鏡頭獲取所關注物體的第二圖像;W及
[0020] 確定第一圖像與第二圖像之間的雙目視差;且
[0021] 其中獲取物距包括基于確定的雙目視差計算物距。
[0022] 在所掲露方法的一種示例性的實施方式中，所述獲取物距還包括在確定所述雙目 視差之前基于第一鏡頭和第二鏡頭的焦距計算校正焦距。
[0023] 在所掲露方法的一種示例性的實施方式中，獲取物距包括：
[0024] 獲取第一圖像上的多個特征點；W及
[0025] 使第一圖像的多個特征點與第二圖像的點匹配。
[0026] 在所掲露方法的一種示例性的實施方式中，所述特征點包括第一圖像或第二圖像 的像素。
[0027] 在所掲露方法的一種示例性的實施方式中，所述確定雙目視差包括確定至少五個 像素且不超過圖像寬度五分之一的雙目視差。
[00%]在所掲露方法的一種示例性的實施方式中，所述匹配多個特征點包括：
[0029] 掃描第二圖像W識別第二圖像與所述第一圖像的選定特征點相匹配的點；W及
[0030] 計算第一圖像的選定特征點與所述點之間的相似度。
[0031] 在所掲露方法的一種示例性的實施方式中，所述計算相似度包括將第一圖像的選 定特征點與W第二圖像上的該點為中屯、的3X3像素區域進行比較。
[0032] 在所掲露方法的一種示例性的實施方式中，比較3 X 3像素區域包括比較彩色圖像 的每個像素的每個色彩分量的視差總和或比較黑白圖像的每個像素的灰度值的視差總和。
[0033] 在所掲露方法的一種示例性的實施方式中，所述獲取物距還包括：
[0034] 確定微鏡頭陣列與每個特征點之間各自的特征距離；W及
[0035] 使用特征距離確定物距。
[0036] 在所掲露方法的一種示例性的實施方式中，所述確定物距包括基于特征距離的平 均值獲取物距。
[0037] 在所掲露方法的一種示例性的實施方式中，所述確定物距包括選擇一個或多個特 征點并基于選定特征點的特征距離獲取物距。
[0038] 在所掲露方法的一種示例性的實施方式中，所述選擇特征點包括選擇最靠近所述 微鏡頭陣列的預定百分比的特征點并獲取所述物距作為距微鏡頭陣列最遠的選定特征點 的特征距離。
[0039] 在所掲露方法的一種示例性的實施方式中，選擇第一鏡頭和第二鏡頭包括：
[0040] 基于微鏡頭陣列可用的最小基線、校正焦距和預定的視差范圍估算所述物距的檢 測范圍；
[0041 ]基于物距的估算檢測范圍計算基線范圍；
[0042] 基于估算的物距檢測范圍計算基線范圍；W及
[0043] 當確定視差大于預定水平時，選擇最小基線。
[0044] 在所掲露方法的一種示例性的實施方式中，選擇第一鏡頭和第二鏡頭包括：
[0045] 由Z =巧(T/Ui-Xr))估算物距的檢測范圍（Zmin至Zmax)，其中Z為物距，f為選定鏡 頭的校正焦距，T為兩個最靠近鏡頭之間的基線，（Xl-Xr)為兩個匹配點的視差；
[OOW 由T = ZdA計算可用基線的范圍，其中d=(xi-Xr)為視差；W及
[0047] 在確保視差關系為d〉10的情形下，選擇具有最小基線T的第一鏡頭和第二鏡頭。
[0048] 在所掲露方法的一種示例性的實施方式中，所述選擇第一鏡頭和所述第二鏡頭包 括增加基線直到第一鏡頭的視野與第二鏡頭的視野重疊至少50%。
[0049] 所掲露方法的示例性實施方式還包括在基線自動調整后校準立體成像系統的外 部參數。
[0050] 在所掲露方法的一種示例性的實施方式中，校準包括校準立體成像系統的平移外 部參數和/或旋轉外部參數中的至少一個。
[0051 ]在所掲露方法的一種示例性的實施方式中，校準包括初始根據選擇的兩個鏡頭校 準平移外部參數。
[0052] 在所掲露方法的一種示例性的實施方式中，校準包括在初始校準后進一步校準外 部參數W使得外部參數最優化。
[0053] 在所掲露方法的一種示例性的實施方式中，立體成像系統安裝在移動平臺上，且 其中自動調整取決于移動平臺的行進模式。
[0054] 在所掲露方法的一種示例性的實施方式中，移動平臺是無人飛行器（unmanned aerial vehicle，UAV)，且其中行進模式是無人飛行器的飛行模式。
[0055] 根據本文掲露的另一個方面，提供一種立體成像系統，其用于根據上述任一種方 法來進行自動基線調整。
[0056] 根據本文掲露的另一個方面，提供一種計算機程序產品，其包括用于根據上述任 一種方法自動調整具有微鏡頭陣列的立體成像系統的基線的指令。
[0057] 在所掲露裝置的一種示例性的實施方式中，所述裝置包括：
[0058] 具有多個鏡頭的微鏡頭陣列，每個鏡頭單獨地或與一個或多個其他鏡頭任意組合 地用于獲取圖像;和
[0059] 控制器，其用于基于所獲取的微鏡頭陣列與所關注物體之間的物距來動態地選擇 兩個鏡頭。
[0060] 在所掲露裝置的一種示例性的實施方式中，控制器用于從微鏡頭陣列的多個鏡頭 中選擇第一和第二鏡頭。
[0061] 在所掲露裝置的一種示例性的實施方式中，控制器用于獲取微鏡頭陣列與所關注 物體之間變化的物距并基于重復獲取變化的物距而從微鏡頭陣列的多個鏡頭中選擇第一 鏡頭和束^鏡頭。
[0062] 在所掲露裝置的一種示例性的實施方式中，控制器用于基于第一鏡頭和第二鏡頭 來建立基線。
[0063] 在所掲露裝置的一種示例性的實施方式中，控制器用于基于微鏡頭陣列與所關注 物體之間變化的物距來動態地調整基線。
[0064] 在所掲露裝置的一種示例性的實施方式中，控制器用于通過W下方式獲取物距：
[0065] 通過第一鏡頭獲取所關注物體的第一圖像；
[0066] 通過第二鏡頭獲取所關注物體的第二圖像；
[0067] 確定第一圖像與第二圖像之間的雙目視差；W及
[0068] 基于確定的雙目視差來計算物距。
[0069] 在所掲露裝置的一種示例性的實施方式中，控制器用于在確定雙目視差之前基于 第一鏡頭和第二鏡頭的焦距來計算校正焦距。
[0070] 在所掲露裝置的一種示例性的實施方式中，控制器用于獲取第一圖像上的多個特 征點并將第一圖像上的多個特征點與第二圖像上的點相匹配。
[0071] 在所掲露裝置的一種示例性的實施方式中，特征點包括第一圖像或第二圖像的像 素。
[0072] 在所掲露裝置的一種示例性的實施方式中，控制器用于確定至少五個像素且不超 過圖像寬度五分之一的雙目視差。
[0073] 在所掲露裝置的一種示例性的實施方式中，控制器用于掃描第二圖像來識別第二 圖像上與第一圖像的選定特征點相匹配的點，并用于計算第一圖像的選定特征點與所述點 之間的相似度。
[0074] 在所掲露裝置的一種示例性的實施方式中，控制器用于將第一圖像的每個選定特 征點與W第二圖像上的該點為中屯、的3X3像素區域進行比較。
[0075] 在所掲露裝置的一種示例性的實施方式中，控制器用于比較彩色圖像的每個像素 的每個色彩分量的視差總和或比較黑白圖像的每個像素的灰度值的視差總和。
[0076] 在所掲露裝置的一種示例性的實施方式中，控制器用于確定微鏡頭陣列與每個特 征點之間各自的特征距離，且使用特征距離確定物距。
[0077] 在所掲露裝置的一種示例性的實施方式中，物距為特征距離的平均值。
[0078] 在所掲露裝置的一種示例性的實施方式中，控制器用于選擇一個或多個特征點并 基于選定特征點的特征距離獲取物距。
[0079] 在所掲露裝置的一種示例性的實施方式中，W最靠近鏡頭陣列或距微鏡頭陣列最 遠的特征點的預定百分比來選擇特征點。
[0080] 在所掲露裝置的一種示例性的實施方式中，控制器用于通過W下方式來選擇述第 一鏡頭和束^鏡頭：
[0081] 基于微鏡頭陣列可用的最小基線、校正焦距和預定的視差范圍來估算物距的檢測 范圍；
[0082] 基于估算的物距檢測范圍來計算基線范圍；W及
[0083] 在確保視差大于預定水平時，選擇最小基線。
[0084] 在所掲露裝置的一種示例性的實施方式中，通過W下方式選擇第一鏡頭和第二鏡 頭：
[0085] 由Z =巧(T/Ui-Xr))估算物距的檢測范圍（Zmin至Zmax)，其中Z為物距，f為選定的 第一和第二鏡頭的校正焦距，T為兩個最靠近鏡頭之間的基線，（Xl-Xr)為兩個匹配點的視 差；
[008引由T = ZdA計算可用基線的范圍，其中d=(xi-Xr)為視差；W及
[0087] 在確保視差關系為d〉10的情形下，選擇具有最小基線T的第一鏡頭和第二鏡頭。
[0088] 在所掲露裝置的一種示例性的實施方式中，控制器用于增加基線直到第一鏡頭的 視野與第二鏡頭的視野重疊至少50%。
[0089] 在所掲露裝置的一種示例性的實施方式中，控制器用于在調整基線后校準立體成 像系統的外部參數。
[0090] 在所掲露裝置的一種示例性的實施方式中，外部參數包括所述立體成像系統的平 移外部參數和/或旋轉外部參數中的至少一個。
[0091] 在所掲露裝置的一種示例性的實施方式中，所述平移外部參數初始校準是根據第 一透鏡和第二透鏡。
[0092] 在所掲露裝置的一種示例性的實施方式中，所述控制器用于在初始校準后校準所 述外部參數W使得所述外部參數最優化。
[0093] 在所掲露裝置的一種示例性的實施方式中，所述立體成像系統是無人飛行器 (UAV)，且其中基線調整取決于無人飛行器的飛行模式。
[0094] 在所掲露裝置的一種示例性的實施方式中，所述立體成像系統是紅外成像系統。
[0095] 在所掲露裝置的一種示例性的實施方式中，所述立體成像系統是X射線成像系統。
[0096] 根據本文掲露的另一個方面，提供一種通過具有微鏡頭陣列的成像裝置進行同時 定位及構圖（SLAM)的方法，所述方法包括：
[0097] 通過上述任一種方法使用微鏡頭陣列獲取第一立體帖和第二立體帖；
[0098] 使用慣性測量單元（IMU)來測量第二帖相對于第一立體帖的旋轉而產生旋轉數 據；W及
[0099] 通過將旋轉數據與第一和第二立體帖組合來匹配第一和第二立體帖，
[0100] 其中第一立體帖與第二立體帖W預定的百分比相互重疊。
[0101] 在所掲露方法的一種示例性的實施方式中，獲取第一立體帖和第二立體帖包括在 不同的時間點獲取第一立體帖和第二立體帖。
[0102] 在所掲露的裝置的一種示例性的實施方式中，在不同時間點獲取第一立體帖和第 二立體帖包括W不小于六十分之一秒且不大于二十分之一秒的時間間隔獲取所述第一立 體帖和第二立體帖。
[0103] 所掲露方法的示例性實施方式中，還包括：
[0104] 基于第一立體帖獲取立體點云，
[0105] 其中立體點云是立體特征點的陣列{Pl，P2，P3. . .，Pn}。
[0106] 所掲露方法的示例性實施方式還包括：
[0107] 基于立體點云在x-y平面上獲取第二投影陣列Kxi2，yi2)，（x22，y22)，{(X32， 732)，…，{(Xn2，yn2)}。
[0108] 在所掲露方法的一種示例性的實施方式中，獲取第二投影陣列包括：
[0109] 基于立體點云在x-y平面上獲取第一投影陣列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0110] 使用權利要求9至11中任一項所述的方法將第一投影陣列的多個點匹配至第二立 體圖像上而產生第二投影陣列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0111] 所掲露方法的示例性實施方式還包括：
[0112] 基于旋轉數據、立體點云和第二投影陣列計算平移陣列T。
[0113] 在所掲露方法的一種示例性的實施方式中，計算平移陣列T包括應用關系式：
[0114]
[0115] 其中R為旋轉測量陣列，門為立體點，T表示待計算的平移陣列，且ii為隨機數。
[0116] 在所掲露方法的一種示例性的實施方式中，應月
丕包括通過解 開選自立體點云的至少兩個點及其在第二投影陣列中匹配的兩個點的方程組來計算T。
[0117] 所掲露方法的示例性實施方式還包括：
[0118] 通過將T引入具有多個選自立體點云的點及其在第二投影陣列上的相應投影點的 方矛_
來證實平移陣列T，從而得到匹配點的數量;W及
[0"y」選掙具巧最大數量匹配點的平移陣列T作為選定的平移陣列T。
[0120] 所掲露方法的示例性實施方式還包括：
[0121] 采用旋轉數據、選定的平移T和關系式 ^計算第二帖的立體點 云。
[0122] 所掲露方法的示例性實施方式還包括：
[0123] 通過上述方法用微鏡頭陣列獲取另一立體帖；W及
[0124] W第二立體帖作為第一立體帖且W新獲取的立體帖作為第二立體帖重復上述步 驟。
[0125] 根據本文掲露的另一方面，提供一種同時定位及構圖系統，其用于根據任意上述 方法進行自動定位與構圖。
[0126] 根據本文掲露的另一方面，提供一種計算機程序產品，所述計算機程序產品包括 用于根據任意上述方法使用具有微鏡頭陣列的立體成像系統自動進行同時定位及構圖的 指令。
[0127] 根據本文掲露的另一方面，提供一種使用具有微鏡頭陣列的成像裝置進行同時定 位及構圖（SLAM)的裝置，所述裝置包括：
[0128] 慣性測量單元IMU，其用于測量與在第一時間點獲取的第一立體帖相關的在第二 時間點獲取的第二立體帖的旋轉;和
[0129] 控制器，其用于：
[0130] 通過任意上述方法使用所述微鏡頭陣列獲取第一立體帖和第二立體帖；
[0131] 由慣性測量單元獲取所述第二立體帖的旋轉數據；W及
[0132] 通過將旋轉數據與所述第一和第二立體帖組合來匹配所述第一和第二立體帖，
[0133] 其中，所述第一立體帖與第二立體帖W預定的百分比相互重疊。
[0134] 在所掲露裝置的一種示例性的實施方式中，在不同的時間點獲取第一立體帖和第 二立體帖。
[0135] 在所掲露裝置的一種示例性的實施方式中，不同時間點之間的間隔不小于六十分 之一秒且不大于二十分之一秒。
[0136] 在所掲露裝置的一種示例性的實施方式中，所述控制器還用于基于第一立體帖獲 取立體點云，其中，所述立體點云為立體特征點的陣列{ Pl，P2，P3 . . .，Pn}。
[0137] 在所掲露裝置的一種示例性的實施方式中，所述控制器還用于基于立體點云在X- y 平面上獲取第二投影陣列{(Xl2,yi2) , (X22，y22)，{(X32，y32)，...，{(Xn2，yn2)}。
[0138] 在所掲露裝置的一種示例性的實施方式中，所述控制器用于通過W下方式獲取第 二投影陣列：
[0139] 基于立體點云在x-y平面上獲取第一投影陣列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0140] 使用權利要求10至12中任一項所述的方法將第一投影陣列的多個點匹配至第二 立體圖像上而產生第二投影陣列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0141] 在所掲露裝置的一種示例性的實施方式中，控制器還用于基于旋轉數據、立體點 云和第二投影陣列來計算平移陣列T。
[0142] 在所掲露裝置的一種示例性的實施方式中，平移陣列T通過應用W下關系式來計 算：
[0143]
[0144] 其中R為旋轉測量的陣列，門為立體點云的立體點，T表示待計算的平移陣列且y為 隨機數。
[0145] 在所掲露裝置的一種示例性的實施方式中，通過選自立體點云的至少兩個點及其 在第二投影陣列中匹配的兩個點的方程組來解開平移陣列T。
[0146] 在所掲露裝置的一種示例性的實施方式中，所述控制器被配置成用于通過將T引 入具有多個選自立體點云的點及其在第二投影陣列上的相應投影點的方程
3來證實平移陣列T，從而得到匹配點的數量；W及
[0147] 選擇具有最大數量匹配點的平移陣列T作為選定的平移陣列T。
[0148] 在所掲露裝置的一種示例性的實施方式中，所述控制器用于采用所述旋轉數據、 所述選定的平移T和關系式：
計算所述第二帖的立體點云。
[0149] 在所掲露裝置的一種示例性的實施方式中，所述控制器用于通過上述方法用所述 微鏡頭陣列獲取另一立體帖，并W所述第二立體帖作為第一立體帖且W所述新獲取的立體 帖作為第二立體帖。
【附圖說明】
[0150] 圖1為說明立體成像系統的一種實施方式的示例性頂層框圖，其中所述立體成像 系統包括微鏡頭陣列和傳感器陣列。
[0151] 圖2為說明圖1中的微鏡頭陣列的一種實施方式的一具體示意圖。
[0152] 圖3為說明圖1中的立體成像系統的一種備選實施方式的具體示意圖，其中在立體 攝影中使用微鏡頭陣列。
[0153] 圖4為說明圖3中的立體成像系統的一種備選實施方式的具體示意圖，其中通過= 角測量法來確定物距。
[0154] 圖5為說明圖1中的立體成像系統的一種實施方式的示例性頂層框圖，其中該系統 包括用于微鏡頭陣列的控制器。
[0155] 圖6為說明圖1中的立體成像系統基于物距的方法的一種實施方式的示例性頂層 流程圖。
[0156] 圖7為說明基于物距來調整圖1中的立體成像系統的基線的方法的一種實施方式 的示例性流程圖。
[0157] 圖8為說明基于物距來調整圖7中的立體成像系統的基線的方法的另一種實施方 式的示例性流程圖。
[015引圖9為說明根據圖8的方法確定物距的方法的一種實施方式的示例圖。
[0159] 圖10為說明圖8方法的一種備選實施方式的示例圖，其中該方法包括為選定的微 鏡頭獲取校正的焦距。
[0160] 圖11為說明圖6方法的另一種備選實施方式的示例圖，其中通過一定范圍的可用 基線來估算基線。
[0161] 圖12為說明同時定位及構圖（SLAM))方法的一種實施方式的示例性頂層圖。
[0162] 圖13為說明圖10方法的一種可選實施方式的示例圖，其中一對立體圖像是相匹配 的。
[0163] 應注意，所述附圖并非按比例繪制，且在整個附圖中，類似結構或功能的元件通常 由相同的元件符號表示W用于說明目的。還應注意，所述附圖僅僅是為了便于所述優選的 實施方式。所述附圖并非用于說明所述實施方式的每個方面且不限制本發明的范圍。
【具體實施方式】
[0164] 由于當前可用的同時定位及構圖系統并非廣泛適用且無法精準地定位及構圖，因 此一種通過調整具有微鏡頭陣列的成像系統的基線能夠符合要求的同時定位及構圖系統 和方法可證明是有利的，且為廣泛范圍的系統應用提供了基礎，例如無人機系統和其他移 動裝置系統。此結果可根據圖1掲露的一種實施方式得W實現。
[0165] 現參閱圖1，說明了一種示例性的立體成像系統100具有微鏡頭陣列102,所述微鏡 頭陣列102用于接收從所關注物體198反射的光線。所述微鏡頭陣列102中的每個微鏡頭(或 鏡頭）102A(如圖2中所示)對應于傳感器陣列104中的各自的傳感器。所述通過微鏡頭陣列 102的鏡頭102A接收的光線被提供至所述傳感器陣列104中的相應的傳感器。兩個鏡頭102A (如第一鏡頭10化與第二鏡頭102c)通常用于立體成像;然而，可選擇微鏡頭陣列102中任意 合適數量的鏡頭102A。相應的傳感器產生數據流133,其代表了傳感器陣列104所產生的圖 像。產生的圖像數量通常等于微鏡頭陣列102所選定的微鏡頭102A的數量。數據流133被提 供給圖像信號處理器(ISP)llO。在此示例性的實施方式中，數據流133代表了由傳感器陣列 104產生并存儲于存儲器106中的兩個圖像106A和106B，所述存儲器106可為內置存儲器和/ 或外置存儲器。盡管本文中顯示且描述為處理圖像對僅用于說明目的，但立體成像系統100 可適于處理任意合適數量的圖像。
[0166] 當對所關注物體198成像時，由每個選定的微鏡頭102A和所述相應的傳感器產生 的圖像可從選定的視角展示所關注的物體198。通過選擇多個微鏡頭102A，所述關注物體 198可從多個不同的視角成像。所述圖像信號處理器110可通過數據流137處理所述得到的 圖像而產生立體圖像199。在一種實施方式中，所述圖像信號處理器110可產生作為同時定 位及構圖系統（圖中未示）的一部分用于定位目的的立體圖像199。如圖1中所述，所述立體 成像裝置100中的所述微鏡頭陣列102、傳感器陣列104、存儲器106和/或圖像信號處理器 110可在控制器120的控制下運行。另外和/或備選地，所述圖像信號處理器110可提供對所 述立體成像裝置100完全或部分的控制。
[0167] 如圖1所示，所述示例性的立體成像裝置100可與可選的慣性測量單元（IMU) 150通 信。所述慣性測量單元150可用于提供所述立體成像裝置100在兩個時間點之間的旋轉測 量。所述圖像信號處理器110可利用所述旋轉測量，沿立體成像裝置100的行進路徑組合不 同時間點的兩個立體帖W產生連續構圖。連續構圖為同時定位及構圖系統的第二部分。盡 管慣性測量單元150顯示為獨立于立體成像裝置100的部件(或外部部件），但慣性測量單元 150也可W設置在所述立體成像裝置100的內部。
[0168] 有利地，本文掲露的方法使得同時定位及構圖系統能夠在各種室內和/或室外環 境中更精準且更實用地進行。因此，與具有結構光和/或飛行時間深度傳感器的常規系統相 比而言，同時定位及構圖系統可具有更大的利用范圍。
[0169] 圖2示出了圖1所示的微鏡頭陣列102的一種實施方式的示例性排列。圖2中的微鏡 頭陣列102所示為4X4的微鏡頭陣列，提供總共16個微鏡頭102A。每個微鏡頭102A可用于單 獨地獲取圖像和/或與微鏡頭陣列102中的任意數量的其他微鏡頭102A組合來獲取圖像。當 使用兩個選定的微鏡頭102A來產生圖像時，例如兩個微鏡頭102A之間的距離定義雙目成像 裝置的基線。換句話說，當所述使用微鏡頭陣列102中的兩個選定微鏡頭102A來產生圖像 時，立體成像裝置100形成雙目成像裝置。下文參考圖3描述關于雙目成像裝置更具體的細 -H- T。
[0170] 重新參考圖2,微鏡頭陣列102中具有最大距離的兩個鏡頭102A，如第一鏡頭10化 和第二鏡頭102c，定義了雙目成像裝置的最大基線Tmax。兩個最靠近彼此的鏡頭102A例如第 一鏡頭102d和第二鏡頭102e，定義了最小基線Tmin。在圖2中，示意出了4X4的微鏡頭陣列 102,所述Tmax為位于對角線上的兩個最外端微鏡頭102A之間的距離。所述Tmin為位于同一行 或同一列中的任意兩個相鄰微鏡頭102A之間的距離，無論哪種情況都具有較短的距離。
[0171] 基于立體觀測原理，降低基線T的值可降低檢測范圍的下限和/或所述范圍的上 限。增加所述T可導致相反的效果。因此，所述立體成像裝置100相對于傳統的具有固定基線 的雙目成像裝置具有優越性，運是因為傳統的裝置無法同時考慮下限和上限。
[0172] 另一方面，所述微鏡頭陣列102可基于選擇如圖2中所示的微鏡頭102A來提供預定 范圍的不同基線。較近處物體的立體位置可通過具有較小基線的微鏡頭102A來計算，且較 遠處物體的立體位置可通過具有較大基線的微鏡頭102A來計算。因此，可通過圖2的微鏡頭 陣列102增加立體視覺的范圍。雖然圖2顯示且描述提供4X4陣列形式的16個微鏡頭102A用 于說明的目的，但微鏡頭陣列102可包括任意合適數量的W任意合適的配置或大小提供的 微鏡頭102A。如果W多行和多列微鏡頭102A的陣列形式提供，所述微鏡頭陣列202可包括多 行和多列，微鏡頭陣列202中的行數量與列數量不同或相同。對于所述微鏡頭陣列102中選 定的相鄰微鏡頭102A對而言，微鏡頭陣列102中相鄰微鏡頭102A之間的間隔可相同和/或不 同。
[0173] 現參考圖3,一種用于確定微鏡頭陣列102與所關注物體198之間的物距Z的系統。 圖3說明關于所述微鏡頭陣列102的兩個選定鏡頭102A(第一鏡頭310a和第二鏡頭310b)使 用立體觀測。盡管在本文中使用微鏡頭陣列102的鏡頭102A進行說明，但任意類型的鏡頭陣 列或微鏡頭陣列都是可用的。因此，鏡頭102A與微鏡頭102A是完全可互換的。微鏡頭310a和 310b各自感知相同的關注物體198，但位于不同的空間坐標中，如所示的坐標軸(Xi，yi，Zi) 和(X2，y2，Z2)。微鏡頭310a和310b沿它們各自的光軸330a和330b感知所關注的物體198且由 此獲得所關注物體198的兩種不同的二維圖像320a和32化。由于從不同的位置和/或角度獲 取，所述因此二維圖像320a和320b通常是不同的，除非所述微鏡頭310a和31化放置成使得 它們的光軸330a和33化重疊的位置。因此，如下文參考圖4更詳細的描述，在大多數情況下， 可獲得圖像320a和32化之間的雙目視差d(例如，在方程4中所表不的）。
[0174] 現參考圖4,可通過比較二維圖像320a和32化來確定微鏡頭對310a和310b與所述 所關注物體198之間的物距Z。可使用一種S角測量方法，從而使用圖像320a與320b之間的 雙目視差d來確定物距Z。特別的是，可如下給出所關注物體198的位置，具有指數i，由其坐 標(Xi'Yi'Zi)表示： W75: 方程（0 W 76- 方程（2) WW 方程（3)
[017引其中Cx和Cy表示微鏡頭3 IOa和31化的中屯、坐標，Xi和yi表示所述所關注物體198在 所述圖像320a和320b中的一個或兩個中的坐標，T為基線（換句話說，為微鏡頭310a和31化 的中屯、坐標之間的距離），f為微鏡頭310a和31化的校正焦距，i為多個所關注物體198和/或 所關注物體198的多個特征點355上的指數，且d為圖像320a與32化之間的雙目視差，此處表 示如下? WW 方程（4)
[0180]圖5示出了一種用于調整立體成像系統100的基線T的示例性方法100的實施方式。 在圖5中，所述立體成像系統100具有所述控制器120(如圖I中所示)和微鏡頭陣列102(如圖 1中所示）。所述控制器120通過控制所述微鏡頭陣列102的動作而與所述微鏡頭陣列102交 互。在圖5中，所述控制器120可從所述微鏡頭陣列102中選擇一個或多個微鏡頭102A來產生 立體成像所需的基線;所述微鏡頭陣列102用于獲取圖像，所述圖像用作用于獲取和/或估 算微鏡頭陣列1〇2(如圖1中所示）與所述所關注物體198(如圖1中所示)之間的物距Z的基 礎。可不斷變化的物距Z可根據預定的時間間隔被重復地獲取或估算。在一些實施方式中， 所述時間間隔可限制在六十分之一秒至二十分之一秒的范圍內。
[0181] 此外，所述控制器120可控制接收通過微鏡頭陣列102產生的圖像并基于所述圖像 計算預期基線，用W從所述微鏡頭陣列102中選擇兩個微鏡頭310a和31化。所述預期基線的 計算和/或兩個微鏡頭310a和31化的選擇可基于重復性地獲取到的變化的物距。
[0182] 現參考圖6,說明一種用于調整立體成像系統100的基線T的示例性方法200的實施 方式。所述方法200的一種實施方式能夠自動地和/或手動地調整基線T。在步驟610中，獲取 立體成像系統100或所述微鏡頭陣列1〇2(如圖1中所示)與所關注物體198(如圖1中所示)之 間的物距Z。可視需要使用任意各種不同的方法來獲取物距Z。在一些實施方式中，可使用選 自微鏡頭陣列1〇2(如圖1中所示)的多個微鏡頭102A(如圖2中所示)通過立體觀測來獲取物 距Z。例如，兩個微鏡頭102A可各自分別獲取所關注物體198的圖像320a、302b(如圖3至4中 所示）。可對所述獲取到的圖像320a、320b的重疊部分進行分析而估計出與所述關注物體 198的物距Z。備選地和/或另外地，可使用非立體觀測方法來獲取物距Z，例如使用激光和/ 或使用超聲波。在步驟680中，自動選擇一對鏡頭102AW根據物距Z來獲取基線T。將參考圖 11更詳細地描述鏡頭的選擇。
[0183] 圖7中說明方法300的一種備選的實施方式。本文中，所述方法300基于立體觀測， 使用第一鏡頭310a和第二鏡頭31化來獲取物距Z。在步驟611A中，使用第一鏡頭310a獲取所 關注物體198(如圖3和4中所示）的第一圖像320a(如圖3和4中所示）。在步驟611B中，使用第 二鏡頭31化獲取所關注物體198的第二圖像32化(如圖3和4中所示）。第一和第二圖像320曰、 32化能夠W任何常用的方式被獲取，包括同時和/或連續的方式被獲取。在一種優選的實施 方式中，所述有利的是同時獲取第一和第二圖像320a、320b從而減少由于所關注物體198 和/或所述立體成像系統100隨時間發生移位而產生的錯誤。
[0184] 在步驟614中，計算所述第一圖像320a與所述第二圖像32化之間的雙目視差d。備 選地或另外地，可使用微鏡頭310a、310b中任一個(或全部）的焦距來確定步驟614中的雙目 視差d。下文參考圖7更詳細地描述用于計算視差d的示例性實施方式。
[0185] 在步驟619中，計算物距Z。可通過任意合適的方式來計算物距Z。一種示例性的方 式包括使用所述計算出的雙目視差d。例如，發現物距Z可作為如615中所建立的所述雙目視 差d、所述第一鏡頭310a與第二鏡頭31化之間的基線TW及步驟校正焦距f的函數。所述函數 可表不為：
[0186] 方程（5)
[0187]其中，T為基線(換句話說，為微鏡頭310a和31化的中屯、坐標之間的距離），f為所述 微鏡頭310a和31化的校正焦距，Xi-)(r = d為所關注物體198的圖像320a與32化之間的雙目視 差，且Xr為第二圖像31化上的一點，其與第一圖像310a上由Xi表示的一點相匹配。
[0188] 圖8中說明系統400的另一種實施方式。在圖8中，除了加入一個新的步驟W外，所 有步驟與圖7中所示的系統300相同。在圖8中，顯示的一種備選的實施方式具有步驟615,其 中可基于兩個選定微鏡頭310a、310b的焦距來計算校正焦距f。盡管第一鏡頭310a與第二鏡 頭31化的焦距通常可相同的，但它們也可是不同的。計算校正焦距的所有方法在本文中都 可適用。在一種實施方式中，文章"立體相機標定"中的計算校正焦距的方法可用于本文中， 馬庫斯.曼（Markus Mann),立體相機標定（Stereo Camera (^ilibration)，（2004年 12月10 日），可獲得于：http://cs.nyu.edu/courses/falll4/CSCI-GA.2271-001/ 06StereoCamer曰C曰Iibr曰tio n.pdf。
[0189] 基于關于圖7和圖8的所論述的，由于Xi為已知要素，因此可由第二圖像320b上的 匹配點Xr來計算視差d。在圖9中，在第二圖像32化上的匹配點Xr進行定位的示例性實施方式 僅用于說明目的。在圖9中，IL表示第一圖像320曰，且IK表示同一所關注物體198的第二圖像 320b。第一圖像320a上的點義，f為已知的，且第二圖像320b上的匹配點::皆可定義為與第一 圖像320a的點x/ "最類似"的點，其可由W下方程來表示：
[0190] d = a;r卵ind I lL(xi)-lR(xi+d) I 方程(6)
[0191] 其中d表示兩個選定微鏡頭310a、310b(如圖3和圖4中所示）的視差，IL為第一圖像 320a JK為同一所關注物體198的第二圖像32化，Xi為第一圖像320a的點乂/。
[0192] 由于可能匹配錯誤，因此為了確定匹配準確度和視覺范圍，視差d不能小于或大于 某些預定值。在本發明的一種優選的實施方式中，視差d大于5個像素且小于第二圖像32化 寬度的五分之一，所述第二圖像32化與第一圖像320a可大小相同。作為一種說明性的實施 例，假定f = 480，T = O. 15米且圖像分辨率為320*240像素，則可推導出1.5米至15.4米的有 效視覺范圍。
[0193] 在確定類似性中，從圖像310a、310b的每個中取出中屯、具有比較點的3 X 3像素塊。 當第一和第二圖像320a和32化為彩色圖像時，可對3 X 3像素塊的每個像素進行彩色分量值 的比較。相反，當圖像320a和320b為黑白圖像時，可比較每個像素的灰度值。基于方程6,選 擇所有9個像素中具有最小差異值總和的點作為匹配點。所述流程可重復地用于在所述第 一圖像31 Oa上所有選定的特征點。
[0194] 現參考圖10,說明使用所關注物體198的特征點355獲取物距Z的方法600的另一備 選的實施方式。在步驟922中，獲取所關注物體198上的多個特征點355。可使用一種或多種 不同的方法來選擇所述特征點355。在一種示例性的實施方式中，所述特征點355可識別為 所關注物體198上的預定形狀。在另一實施方式中，所述特征點可識別為所關注物體198上 的一個或多個具有特定顏色或亮度的部分。在另一實施方式中，可選擇所關注物體198上的 隨機部分作為特征點355。在另一實施方式中，可在所關注物體198上W規則間隔的間距選 擇特征點355,例如間隔間距為每一個像素、每兩個像素、每=個像素、每四個像素，等等。所 述特征點355可視需要為不同的形狀和大小。在一些實施方式中，可使用上述方法的組合來 選擇特征點355。
[01M]在步驟924中，將選定的特征點355從所述第一圖像310a被匹配到所述第二圖像 310b上。在一種優選的實施方式中，所述特征點的匹配包括兩個步驟。在步驟924A中，選擇 所述第一圖像的特征點355。從計算點開始沿著與所述微鏡頭310a、310b的中屯、線平行的線 掃描匹配點。可基于第一圖像310a上的點的坐標、所述基線的方向和/或長度來計算匹配的 開始點。盡管優選地限定為僅沿著選定線的一個方向，但也可W在任意一個或多個預定方 向進行掃描。
[0196] 在步驟924B中，當掃描每一個點時，通過本文中參考圖8詳細描述的方法計算兩個 點之間的相似度，并選擇所述第二圖像31化中與所述第一圖像310a的特征點具有最小差異 值總和的點。
[0197] 在步驟926中，獲得每個特征點355與所述立體成像系統100之間的特征距離Z。每 個特征距離Z可通過任意合適的方式來獲得，包括使用由第一鏡頭310a(如圖3和4中所示） 獲取的第一圖像320a(如圖3和4中所示）中的特征點355的位置與由第二鏡頭31化(如圖3和 4中所示)獲取的第二圖像32化(如圖3和4中所示）中的特征點355的位置之間的雙目視差d。 使用所述雙目視差d，可通過方程1至4W上述方式獲得特征距離Z。
[0198] 在步驟928中，使用步驟926中獲得的特征距離Z獲得物距Z。多種方法中的任一種 均可用于基于所關注物體198的各個特征距離Z來確定所述物距Z。在一種實施方式中，基于 特征距離Z的平均值獲得所述物距Z。示例性的平均值類型可包括算術平均值、幾何平均值、 中間值和/或不受限定的模式。在另一實施方式中，可通過選擇一個或多個特征點355并基 于選定特征點355的特征距離Z獲取物距Z來獲得物距Z。
[0199] 圖11說明用于從微鏡頭陣列102中選擇不同鏡頭102A的方法700的一種實施方式。 假定在獲取第一圖像320a后W短時間間隔獲取第二圖像320b。在一實施方式中，所述時間 間隔可限制在六十分之一秒至二十分之一秒的范圍內。由于所述時間間隔較短，因此所述 物距Z的變化通常是可W忽略的，且因此在所述物距Z及其相應基線的計算中可忽略。換句 話說，所述物距Z的變化可能將不會實質性地影響所述方法700的執行。然而，所述物距Z的 突然或意外變化可導致由下面段落描述的示例性方法進行的計算更長。但是由于所述突然 或意外變化極少見，因此計算的總量不會實質性影響。
[0200] #擊驢9W中化算基線時，通過W下方程估算物距Z的檢測范圍（Zmin至Zmax):
[誦]
方程（7)
[0202] 其中Z為微鏡頭陣列102A與所關注物體198之間的物距，f為第一鏡頭310a和第二 鏡頭31化的校正焦距，且T為第一鏡頭310A與第二鏡頭310B兩者之間的基線，Xi為第一圖像 320a上的特征點且Xr為對應于Xi的匹配點。參考圖8描述校正焦距f的計算。本文中，所述特 征點Xl和Xr可通過上文參考圖10的具體描述的方式來進行選擇。在一些實施方式中，Xl和Xr 可選自具有最小物距和/或具有最大物距的點。優選地，Xl和Xr可選自具有平均物距的點。平 均物距可通過任意常用的方式來確定，包括通過確定算術平均值、幾何平均值、中間值和/ 或不受限定的模式。在一種優選的實施方式中，選擇可用在微鏡頭陣列102上的兩個最靠近 的鏡頭310a、310b來提供最短基線T。
[0203] 在估算檢測范圍（Zmin至Zmax)時，可基于預定視差d、校正焦距f和檢測范圍（Zmin 至Zmax)來計算基線T。為計算基線T，在步驟956中，W下方程可用于獲取對第一鏡頭310a和 第二鏡頭31化的選擇：
[0204] 、 ,、 方程（8)
[0205] 其中d為第一鏡頭310a和第二鏡頭31化產生的視差，Z為物距，且f為第一鏡頭310a 和第二鏡頭31化的校正焦距。在一些優選的實施方式中，選擇不小于10個像素的d。在一些 其他實施方式中，物距Z可為如上計算出的最小物距Zmin。在一種優選的實施方式中，在方 程8中滿足d〉10的條件下，選擇微鏡頭陣列中任意兩個鏡頭的最小可用距離作為基線T。在 初始選擇兩個鏡頭310a、310b后，可通過選擇不同的鏡頭102A來增加或減小視差。在一種優 選的實施方式中，視差僅需要增加。
[0206] 圖12說明一種用于執行同時定位及構圖（SLAM)的方法800的一種示例性實施方 式。在圖12的步驟810中，所述立體成像裝置(圖1中所示)獲取兩帖立體圖像。兩帖圖像可通 過任意合適的方式來獲取，包括根據上文參考圖1至圖11所述的任何方法。在步驟820中，可 計算出所關注物體198的物距Z。物距Z可通過任何合適的方式來計算，包括根據上文參考圖 1至圖11所述的任何方法。在步驟830中，通過匹配第一和第二帖上的特征點來匹配兩個帖。 在步驟840中，通過所述獲取的帖來估算=次平移運動和=次旋轉的六種運動。所述旋轉可 通過慣性測量單元（Inedial Measurement化it, IMU)來獲取從而獲得旋轉數據，并基于 旋轉數據來計算平移。
[0207] 在獲取所述旋轉和平移時，如W下部分中所述，對各帖應用測量，如在下面段落描 述的步驟850。同樣在步驟850中，獲取下一帖圖像且系統重復此過程，從而計算新獲取的 帖。此過程持續重復，從而實現不受干擾的構圖。
[0208] 圖13說明方法800(圖12中所示）的一種備選實施方式。如圖12中所說明，在步驟 811中，通過參考圖1至圖11所述的任意方法獲取兩個立體帖，即一個第一立體帖和一個第 二立體帖。如參考圖1至圖11所述，所述立體帖由多個立體點組成且每個點由x、y和Z坐標值 來表示。本文所述的兩帖是沿著所述立體成像裝置1〇〇(圖1中所示）的行進路徑，在不同的 時間點獲取的。
[0209] 步驟831中匹配第一帖和第二帖由兩個步驟組成。如831中的第一步驟，基于步驟 832中的第一帖{Pi，P2，P3. . .，Pn}獲取立體點云。每個P為第一帖的特征點。在x-y平面上，所 述立體點云可表示為{(Xll，yil)，（X2l，y2l)，{(X3l，y3l)，…，{(Xnl，ynl)}。基于處理的速度、帖 的大小、帖的分辨率W及控制器120的計算能力等，獲取不同的特征點數量。在本文掲露的 典型實施方式中，所述點的數量可在100至200的示例性范圍內。
[0210] 作為步驟831中匹配帖的第二步驟，在步驟834中，計算第二帖中的第二投影陣列 {(Xl2,yi2) , (X22，y22)，{(X32，y32)，???，{(Xm2，ym2)}。所述第二投影陣列中的每個點（Xi2,yi2)表 示匹配點，投影在x-y平面中，對應于所述第一帖的點云中的點P域（x/，y/)。如果云陣列 {Pl，P2，P3. . .，Pn}中的所有點均被匹配至所述第二帖上，則所述第二投影陣列的大小可與 云陣列的大小相同。然而，在大多數情況下，所述第二投影陣列的大小小于云陣列{Pi,P2， P3. ..，Pn}的大小，運是因為并非所有點都可匹配至第二帖上。第一帖與第二帖的點云匹配 可通過參考圖9所述的方法來完成，其中對3X3的像素進行比較W確定兩個點的相似度。
[0211] 接著，在步驟841中，測量第二立體帖相對于第一立體帖841的運動，由S個步驟組 成。在步驟842中，配置慣性測量單元150W用于測量旋轉運動，并將旋轉測量值傳遞給控制 器120。旋轉測量值由=維陣列R來表示。通過旋轉測量值陣列R，第一帖的點云陣列與第二 帖的投影點陣列之間的關系可表示為：
[0212] 方程（9)
[0213] 其中R為表示旋轉測量值的=維陣列，Pj為第一帖中的立體點，T表示待計算的第 二帖的平移的S維陣列，且y為充當因子的隨機數。
[0214] 為保證慣性測量單元150測量的相關旋轉陣列的準確度，獲取所述第一帖時的時 間點與獲取第二帖時的時間點之間的間隔相對短。視實際應用的需要而言，所述第一帖與 第二帖之間的間隔通常可在二十分之一秒至六十分之一秒的范圍內。
[0215] 在方程9中存在=個未知數(Tx，Ty，Tz);因此，通過數學原理，在步驟844中需要 = 個方程共同來解開所述具有=個未知數的陣列T。然而，每個投影點僅具有兩個值Xi及yi。因 此，為了解開T中的=個未知數，我們需要結合四個方程中的=個方程用于兩個所述點。
[0216] 在現實生活中，由于在匹配所述第一立體帖與第二立體帖之間的點中存在錯誤 和/或不準確，因此所述計算出的T可能不準確。在步驟846中，將所述計算出的平移陣列T引 入方程9中，并計算確定與所述方程中定義的關系一致的點的數量。然后，在844中解出T時 可使用另一對點，然后在步驟846中用于計算來確定與方程9的關系一致的點的數量。此過 程重復預定數量對的點，且結果為預定數量的Ts,同時每個T的點數量與方程9一致。
[0217] 在步驟548中，比較所述一致點的數量并選擇具有最大數量一致點的T。
[0218] 在步驟851中，使用所述計算的T和測量的R，我們可W使用修正方程9來獲取第二 立體帖的所沐畝化占另，
[0219] 方程（10)
[0220] 在步驟861中，所述計算的第二立體帖的立體點云與所述第一立體帖的立體點云 相結合。所述第一立體帖被所述第二立體帖取代且在下一時間點獲取新的第二立體帖。所 述參考圖13描述的步驟方法可再=重復從而執行連續的定位及構圖。
[0221] 所述實施方式適于各種修改和替代形式，且其具體實施例已在圖式中W實施例的 方式示出并在本文中詳細描述。然而應理解，所述實施方式不限于所掲露的特定形式或方 法，相反，本發明將涵蓋所有修改、等效物和替代物。
【主權項】
1. 一種用于建立具有微鏡頭陣列的立體成像系統的基線的方法，包括： 獲取所述微鏡頭陣列與所關注物體之間的物距；W及 基于所述獲取的物距動態地從所述微鏡頭陣列中選擇兩個鏡頭。2. 如權利要求1所述的方法，其中所述動態地選擇所述兩個鏡頭包括從所述微鏡頭陣 列的多個鏡頭中選擇第一鏡頭和第二鏡頭。3. 如權利要求2所述的方法， 其中所述獲取所述物距包括重復地獲取所述微鏡頭陣列與所關注物體之間變化的物 距；W及 其中所述從所述微鏡頭陣列的多個鏡頭中選擇所述第一鏡頭和所述第二鏡頭為基于 所述重復地獲取所述變化的物距。4. 如權利要求2或3所述的方法，其中還包括基于所述選擇所述第一鏡頭和所述第二鏡 頭建立所述基線。5. 如權利要求4所述的方法，其中還包括基于所述微鏡頭陣列與所述所關注物體之間 變化的物距來動態地調整所述基線。6. 如權利要求2所述的方法，其中所述獲取所述物距包括： 通過所述第一鏡頭獲取所述所關注物體的第一圖像； 通過所述第二鏡頭獲取所述所關注物體的第二圖像；W及 確定所述第一圖像與所述第二圖像之間的雙目視差;及 其中，所述獲取所述物距包括基于所述確定所述雙目視差來計算所述物距。7. 如權利要求6所述的方法，其中所述獲取所述物距還包括在所述確定所述雙目視差 之前基于所述第一鏡頭和所述第二鏡頭的焦距計算校正焦距。8. 如權利要求6或7所述的方法，其中所述獲取所述物距包括： 獲取所述第一圖像上的多個特征點；W及 使所述第一圖像的多個特征點與所述第二圖像上的點匹配。9. 如權利要求8所述的方法，其中所述特征點包括所述第一圖像或所述第二圖像的像 素。10. 如權利要求8或9所述的方法，其中所述確定所述雙目視差包括確定至少五個像素 且不超過圖像寬度五分之一的雙目視差。11. 如權利要求8至10中任一項所述的方法，其中所述匹配所述多個特征點包括： 掃描所述第二圖像來識別所述第二圖像上與所述第一圖像選定的特征點相匹配的點； W及 計算所述第一圖像選定的特征點與所述點之間的相似度。12. 如權利要求11所述的方法，其中所述計算所述相似度包括將所述第一圖像選定的 特征點與W所述第二圖像上的所述點為中屯、的3X3像素區域進行比較。13. 如權利要求12所述的方法，其中所述比較3X3像素區域包括將彩色圖像的每個像 素的每個彩色分量的差異總和或黑白圖像的每個像素的灰度值差異總和進行比較。14. 如前述權利要求中任一項所述的方法，其中所述獲取所述物距還包括： 確定所述微鏡頭陣列與每個所述特征點之間的各個特征距離；W及 使用所述特征距離確定所述物距。15. 如權利要求14所述的方法，其中所述確定所述物距包括基于所述特征距離的平均 值獲取所述物距。16. 如權利要求14或權利要求15所述的方法，其中所述確定所述物距包括選擇一個或 多個所述特征點并基于所述選定的特征點的特征距離來獲取所述物距。17. 如權利要求16所述的方法，其中所述選擇所述特征點包括選擇最靠近所述微鏡頭 陣列的預定百分比的特征點W及獲取所述物距作為距所述微鏡頭陣列最遠的所述選定特 征點的所述特征距離。18. 如前述權利要求中任一項所述的方法，其中所述動態地選擇所述兩個鏡頭包括： 基于可用于所述微鏡頭陣列的最小基線、校正焦距和預定的視差范圍來估算所述物距 的檢測范圍； 基于所述物距的所述估算檢測范圍來計算基線范圍；W及 當確定視差大于預定水平時，選擇最小基線。19. 如權利要求2至18中任一項所述的方法，其中所述選擇所述第一鏡頭與所述第二鏡 頭包括： 使用Z =巧(T/(xi-Xr))估算所述物距的檢測范圍（Zmin到Zmax)，其中Z為所述物距，f為 所述選定鏡頭的校正焦距，T為兩個最靠近鏡頭之間的基線，（X1-&)為兩個匹配點的視差； 使用T = Z(Vf計算可用基線的范圍，其中d=(Xl-Xr)為所述視差；W及 在確保所述視差關系為d〉10的情形下，選擇具有最小基線T的所述第一鏡頭和所述第 -鏡頭。20. 如權利要求2至19中任一項所述的方法，其中所述選擇所述第一鏡頭和所述第二鏡 頭包括增加所述基線直到所述第一鏡頭的視野與所述第二鏡頭的視野重疊至少50%。21. 如權利要求5所述的方法，其中還包括在所述基線自動調整后校準所述立體成像系 統的外部參數。22. 如權利要求21所述的方法，其中所述校準包括校準所述立體成像系統的平移外部 參數和/或轉動外部參數中的至少一個。23. 如權利要求22所述的方法，其中所述校準包括根據所述選擇的兩個鏡頭初始校準 所述平移外部參數。24. 如權利要求23所述的方法，其中所述校準包括在所述初始校準后進一步校準所述 外部參數W使所述外部參數最優化。25. 如權利要求5至23中任一項所述的方法，其中所述立體成像系統安裝于移動平臺 上，且其中所述自動調整取決于所述移動平臺的行進模式。26. 如權利要求24所述的方法，其中所述移動平臺為無人飛行器（unmanned aerial vehicle，UAV)，且其中所述行進模式為所述無人飛行器的飛行模式。27. -種立體成像系統，其用于根據權利要求1至26中任一項來執行基線的自動調整。28. -種計算機程序產品，其包括用于根據權利要求1至26中任一項自動調整具有微鏡 頭陣列的立體成像系統的基線的指令。29. -種裝置，用于建立立體成像系統的基線，其包括： 具有多個鏡頭的微鏡頭陣列，所述每個鏡頭用于單獨地或與一個或多個其他鏡頭任意 組合地用于獲取圖像;和 控制器，其用于基于所述獲取的所述微鏡頭陣列與所關注物體之間的物距來動態地選 擇兩個鏡頭。30. 如權利要求29所述的裝置，其中所述控制器用于從所述微鏡頭陣列的多個鏡頭中 選擇第一鏡頭和第二鏡頭。31. 如權利要求30所述的方法，其中所述控制器用于獲取所述微鏡頭陣列與所關注物 體之間的變化物距并基于所述重復獲取所述變化物距從所述微鏡頭陣列的多個鏡頭中選 擇所述第一鏡頭和所述第二鏡頭。32. 如權利要求31所述的裝置，其中所述控制器用于基于所述第一鏡頭和所述第二鏡 頭來建立所述基線。33. 如權利要求32所述的裝置，其中所述控制器用于基于所述微鏡頭陣列與所關注物 體之間的變化物距來動態地調整所述基線。34. 如權利要求31至33中任一項所述的裝置，其中所述控制器用于通過W下方式獲取 所述物距： 通過所述第一鏡頭獲取所述所關注物體的第一圖像； 通過所述第二鏡頭獲取所述所關注物體的第二圖像； 確定所述第一圖像與所述第二圖像之間的雙目視差；W及 基于所述確定的雙目視差來計算所述物距。35. 如權利要求34所述的方法，其中所述控制器用于在所述確定所述雙目視差之前，根 據所述第一鏡頭和所述第二鏡頭的焦距來計算校正焦距。36. 如權利要求34或35所述的裝置，其中所述控制器用于獲取所述第一圖像上的多個 特征點，并將所述第一圖像的所述多個特征點與所述第二圖像的點進行匹配。37. 如權利要求36所述的裝置，其中所述特征點包括所述第一圖像或所述第二圖像的 像素。38. 如權利要求36或37所述的裝置，其中所述控制器用于確定至少五個像素且不超過 圖像寬度五分之一的雙目視差。39. 如權利要求38所述的裝置，其中所述控制器用于掃描所述第二圖像來識別所述第 二圖像上與所述第一圖像的選定特征點相匹配的點，并計算所述第一圖像的所述選定特征 點與所述點之間的相似度。40. 如權利要求39所述的裝置，其中所述控制器用于將所述第一圖像的每個選定特征 點與W所述第二圖像上的所述點為中屯、的3X3像素區域進行比較。41. 如權利要求40所述的裝置，其中所述控制器用于將彩色圖像的每個像素的每個彩 色分量的差異總和或黑白圖像的每個像素的灰度值差異總和進行比較。42. 如權利要求36至41中任一項所述的裝置，其中所述控制器用于確定所述微鏡頭陣 列與每個所述特征點之間的各個特征距離，并使用所述特征距離確定所述物距。43. 如權利要求42所述的裝置，其中所述物距為所述特征距離的平均值。44. 如權利要求42或43所述的裝置，其中所述控制器用于選擇一個或多個所述特征點 并基于所述選定特征點的特征距離來獲取所述物距。45. 如權利要求44所述的裝置，其中W最靠近所述鏡頭陣列或距所述微鏡頭陣列最遠 的特征點的預定百分比來選擇所述特征點。46. 如權利要求30至45中任一項所述的裝置，其中所述控制器用于通過W下方式選擇 所述第一鏡頭和所述第二鏡頭： 基于可用于所述微鏡頭陣列的最小基線、校正焦距和預定的視差范圍來估算所述物距 的檢測范圍； 基于所述估算的物距檢測范圍來計算基線范圍；W及 在確保視差大于預定水平時，選擇最小基線。47. 如權利要求30至46中任一項所述的裝置，其中通過W下方式選擇所述第一鏡頭與 所述束^鏡頭： 由Z =巧(T/(xi-Xr))估算所述物距的檢測范圍（Zmiη至Zmax)，其中Z為所述物距，f為所 述選定的第一和第二鏡頭的校正焦距，T為兩個最靠近微鏡頭之間的基線，（xi-xr)為兩個匹 配點的視差； 由T = Z(Vf計算可用基線的范圍，其中d= (Xl-Xr)為所述視差；W及 在確保所述視差關系為d〉10的情形下，選擇具有最小基線T的所述第一鏡頭和所述第 -鏡頭。48. 如權利要求30至47中任一項所述的裝置，其中所述控制器用于增加所述基線直到 所述第一鏡頭的視野與所述第二鏡頭的視野重疊至少50%。49. 如權利要求33至48中任一項所述的裝置，其中所述控制器用于在所述基線調整后 校準所述立體成像系統的外部參數。50. 如權利要求49所述的裝置，其中所述外部參數包括所述立體成像系統的平移外部 參數和/或轉動外部參數中的至少一個。51. 如權利要求50所述的裝置，其中所述平移外部參數根據所述第一鏡頭和所述第二 鏡頭來初始校準。52. 如權利要求51所述的裝置，其中所述控制器用于在所述初始校準后校準所述外部 參數W使所述外部參數最優化。53. 如權利要求52所述的裝置，其中所述立體成像系統為無人飛行器(UAV)，且其中所 述基線調整取決于所述無人飛行器的飛行模式。54. 如權利要求30至53中任一項所述的裝置，其中所述立體成像系統為紅外成像系統。55. 如權利要求30至54中任一項所述的裝置，其中所述立體成像系統為X射線成像系 統。56. -種用于通過具有微鏡頭陣列的成像裝置進行同時定位及構圖（SLAM)的方法，包 括： 通過權利要求2至26中任一項所述的方法，使用所述微鏡頭陣列來獲取第一立體帖和 第二立體帖； 通過慣性測量單元（IMU)來測量所述第二帖相對于第一立體帖的旋轉而產生旋轉數 據；W及 通過將所述旋轉數據與所述第一和第二立體帖組合來匹配所述第一和第二立體帖， 其中所述第一立體帖與所述第二立體帖W預定的百分比相互重疊。57. 如權利要求56所述的同時定位及構圖的方法，其中所述獲取所述第一立體帖和所 述第二立體帖包括在不同的時間點獲取所述第一立體帖和所述第二立體帖。58. 如權利要求57所述的同時定位及構圖的方法，其中所述在不同的時間點獲取所述 第一立體帖和所述第二立體帖包括W不小于六十分之一秒且不大于二十分之一秒的間隔 獲取所述第一立體帖和所述第二立體帖。59. 如權利要求58所述的同時定位及構圖的方法，其中所述方法還包括： 基于所述第一立體帖獲取立體點云， 其中所述立體點云為立體特征點的陣列{ Pi，P2，P3· · ·，Pn}。60. 如權利要求59所述的同時定位及構圖的方法，其中所述方法還包括： 基于所述立體點云，在x-y平面上獲取第二投影陣列Kxi2，yi2)，（x22，y2 2)，{(x32， 732)，...，{(Xm2，ym2)}。61. 如權利要求60所述的同時定位及構圖的方法，其中所述獲取所述第二投影陣列包 括： 基于所述立體點云在x-y平面上獲取第一投影陣列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用如權利要求11至13中任一項的方法，將所述第一投影陣列的多個點匹配至所述第 二立體圖像上而產生所述第二投影陣列{(Xl2，yi2)，（X22，y22)，{(X32，y32)，'.'，{(Xm2，ym2)}。62. 如權利要求61所述的同時定位及構圖的方法，其中所述方法還包括： 基于所述旋轉數據、所述立體點云和所述第二投影陣列來計算平移陣列T。63. 如權利要求62所述的同時定位及構圖的方法，其中所述計算所述平移陣列T包括應 用關系式：其中R為旋轉測量的陣列，門為立體點，T表示待計算的平移陣列，且μ為隨機數。64. 如權利要求63所述的同時定位及構圖的方法，其中所述應用還包括 通過解開用于選自所述立體點云的至少兩個點及它們在第二投影陣列匹配的兩個點的一 組方程來計算Τ。65. 如權利要求62至64中任一項所述的同時定位及構圖的方法，其中還包括： 通過將Τ引入具有多個選自所述立體點云的點及其在所述第二投影陣列上的相應投影 點的方程雌·^來證實所述平移陣列Τ，從而得到匹配點的數量；W及 選擇具有最大數量匹配點的平移陣列Τ作為選定的平移陣列Τ。66. 如權利要求65所述的同時定位及構圖的方法，其中所述方法還包括： 采用所述旋轉數據、所述選定的平移Τ和所述關系式：來計算所述第二帖 的立體點云。67. 如權利要求56至66中任一項所述的同時定位及構圖的方法，其中所述方法還包括： 通過如權利要求2至26中任一項所述的方法，用所述微鏡頭陣列獲取另一立體帖；W及 將所述第二立體帖作為所述第一立體帖且w所述新獲取的立體帖作為所述第二立體 帖重復權利要求56至66中定義的步驟。68. -種同時定位及構圖系統，其用于根據權利要求56至67中任一項來進行自動定位 與構圖。69. -種計算機程序產品，包括用于根據權利要求56至67中任一項使用具有微鏡頭陣 列的立體成像系統自動進行同時定位及構圖的指令。70. -種使用具有微鏡頭陣列的成像裝置進行同時定位及構圖（SLAM)的裝置，包括： 慣性測量單元IMU，其用于測量與在第一時間點獲取的第一立體帖相關的在第二時間 點獲取的第二立體帖的旋轉;和 控制器，其用于： 通過如權利要求2至26中任一項所述的方法，使用所述微鏡頭陣列獲取所述第一立體 帖和所述第二立體帖； 由所述慣性測量單元獲取所述第二立體帖的旋轉數據；W及 通過將所述旋轉數據與所述第一和第二立體帖組合來匹配所述第一和第二立體帖， 其中所述第一立體帖與所述第二立體帖W預定的百分比相互重疊。71. 如權利要求70所述的用于同時定位及構圖的裝置，其中所述第一立體帖與所述第 二立體帖是在不同的時間點獲取的。72. 如權利要求71所述的用于同時定位及構圖的裝置，其中所述不同時間點之間的間 隔不小于六十分之一秒且不大于二十分之一秒。73. 如權利要求72所述的用于同時定位及構圖的裝置，其中所述控制器還用于基于所 述第一立體帖獲取立體點云，其中所述立體點云為立體特征點的陣列{ Pi，P2，P3 · · ·，Pn}。74. 如權利要求73所述的用于同時定位及構圖的裝置，其中所述控制器還用于基于所 述立體點云在X-y平面上獲取第二投影陣列{ (Xl2，yi2) , (X22,y22) , {(X32,y32),{(加 2，75. 如權利要求74所述的用于同時定位及構圖的裝置，其中所述控制器用于通過W下 方式獲取所述第二投影陣列： 基于所述立體點云在x-y平面上獲取第一投影陣列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用權利要求11至13中任一項所述的方法將所述第一投影陣列的多個點匹配至第二 立體圖像而產生所述第二投影陣列{ ( Χ?2，yl2 )，（ X22，y22 )，{ ( X32，)，…，{ ( ，ym2 ) }。76. 如權利要求75所述的用于同時定位及構圖的裝置，其中所述控制器還用于基于所 述旋轉數據、所述立體點云和所述第二投影陣列來計算平移陣列T。77. 如權利要求76所述的用于同時定位及構圖的裝置，其中所述平移陣列T通過應用W 下關系式來計算：其中R為旋轉測量的陣列，門為所述立體點云的立體點，T表示所述待計算的平移陣列， 且μ為隨機數。78. 如權利要求77所述的用于同時定位及構圖的裝置，其中所述平移陣列Τ通過選自所 述立體點云的至少兩個點及其在第二投影陣列中匹配的兩個點的方程組來解開。79. 如權利要求70至78中任一項所述的用于同時定位及構圖的裝置，其中所述控制器 用于通過將T引入具有多個選自所述立體點云的點及其在所述第二投影陣列上的相應投影 點的方程申來證實所述平移陣列T，從而得到匹配點的數量;W及 選擇具有最大數量匹配點的平移陣列T作為選定的平移陣列T。80. 如權利要求79所述的用于同時定位及構圖的裝置，其中所述控制器用于采用所述 旋轉數據、所述選定的平移T和所述關系式：?β十算所述第二帖的立體點云。81. 如權利要求70至80中任一項所述的用于同時定位及構圖的裝置，其中所述控制器 用于通過如權利要求2至26中任一項所述的方法，用所述微鏡頭陣列獲取另一立體帖，并W 所述第二立體帖作為所述第一立體帖且將所述新獲取的立體帖作為所述第二立體帖。
【文檔編號】G06T7/00GK105940674SQ201480074618
【公開日】2016年9月14日
【申請日】2014年12月31日
【發明人】張宏輝, 趙叢
【申請人】深圳市大疆創新科技有限公司