使用重疊區域優化光束法平差的制作方法
【專利說明】
[0001] 著作權聲明
[0002] 本專利文件的公開的一部分包括受到著作權保護的材料。著作權所有者不反對任 何人對如出現在專利和商標局專利文檔或記錄中的專利文件或專利公開的復制，但是在其 它方面無論如何都保留所有的著作權權利。
技術領域
[0003] 本公開總體涉及攝影影像分析，并且更特別地涉及用于提高攝影測量分析中的光 束法平差的效率的技術。
【背景技術】
[0004] 攝影測量法是一種計算技術，在該計算技術中可以使用多個圖像（例如立體圖 像）來確定在圖像中捕獲的點相對于捕獲該圖像的傳感器的位置的定位。然而，為了執行 該分析，多個圖像必須首先相對于彼此而定向；該定向限定了在捕獲的圖像中的兩個場景 之間的空間關系和角關系（或相反地，當捕獲各個圖像時在傳感器之間的空間關系和角關 系）。
[0005] -種用于定向多個圖像（例如立體圖像）的技術被稱為"光束法平差"，該"光束 法平差"為同時細化描述每一捕獲的圖像的場景幾何的三維坐標和/或細化捕獲該圖像的 一個或多個圖像捕獲系統的相對定向的技術。本質上，光束法平差試圖優化（最小化）觀 測到的圖像點和預測的圖像點的圖像位置之間的重投影誤差；該誤差可以表達為多個非線 性的實值函數的平方和。
[0006] 因此，光束法平差在計算上是昂貴的，這因為其需要首先識別數個圖像中的共輒 點（即，在所有的圖像中捕獲的具有相同真實世界特征的每一圖像中的網格位置），并且之 后對表達每一圖像中的那些共輒點的位置的等式優化。識別這些共輒點的步驟（被稱為 "共輒匹配"）尤其為計算密集型，這是因為其涉及對每一圖像中的多組相鄰像素中的類似 性的識別，這需要對每一圖像中大量像素彼此之間進行比較以識別共輒候選者，然后可以 分析上述共輒候選者以確定在每一圖像中由像素描繪的各個點實際上是否代表共輒點。
[0007] 當前，用于在立體圖像上的共輒點匹配的方法可以分為兩組：基于區域的匹配和 基于特征的匹配。基于區域的匹配的方法需要共輒候選者的非常精確的初始位置。基于特 征的匹配的方法還需要潛在候選者的大致區域。盡管采用對極幾何可以減小用于從二維到 一維的正確的共輒點的搜索范圍，但是對于大的圖像數據，一維搜索范圍仍然非常大。例 如，來自典型相機的單個圖像的尺寸為2592*1944。在沒有預定的搜索范圍的情況下，該方 法必須查看圖像之一上的極線上的每一像素，以識別在其它圖像上的點。因此，找到從一個 圖像捕獲位置/方向（即，"站"）到另一站的共輒點是涉及沿著整條極線的比較的處理極 其密集型的任務。
[0008] 為了緩解該問題，可以嘗試隨意地減小搜索范圍（S卩，針對共輒匹配被搜索的圖 像的一部分）。然而，不正確的搜索范圍導致不正確的匹配或匹配失敗，而大的搜索范圍可 能會增大錯誤匹配的可能性（由于大量的潛在的共輒候選者）以及增加計算時間。
[0009] 當前已知的基于特征的方法總是避免確定搜索范圍的問題，并且直接地開始于假 設共輒點的區域是已知的，或至少粗略地已知。基于區域的方法通常應用在航空圖像或衛 星圖像上的共輒點匹配中，其中，立體圖像之間的重疊、航空器的航行高度以及總的地形構 造是可得到的，這允許能夠準確地、相對低成本地計算正確的共輒點的位置。
[0010] 然而，這些種類的方法中沒有一種方法能夠有效地處理在地平面上所拍攝的全景 圖上的共輒匹配。例如，由Crasser等人在2012年10月5日提交的、名稱為"Enhanced PositionMeasurementSystemsandMethods" 的美國臨時專利申請No. 61/710, 486 以及 由Cliisser等人在 2011 年 12 月 21 日提交的、名稱為"EnhancedPositionMeasurement SystemsandMethods"的美國專利申請No. 13/332, 648(該兩個專利申請通過引用由此并 入到本文中，并且在本文中統稱為"并入的申請"）描述了以一套全景相機為特征的位置測 量系統，這套全景相機在某些情況下提供了圍繞捕獲點的高達360°的攝影覆蓋范圍。
[0011] 不同于幾乎在地平面上并且具有可預測的到航空器中的相機的距離的航空圖像 或衛星圖像中的目標，由這樣的基于地面的位置測量系統捕獲的距全景地面圖像中的目標 (例如，建筑物正面）的距離可以根據不同的目標而改變。結果是，幾乎不可能預測共輒點 在立體圖像中的位置。因此，傳統的點匹配方法（基于區域或基于特征）通常不能實現針對 這樣的全景圖的共輒點匹配，這因為搜索算法未給出關于在哪里搜索正確的匹配的線索。
[0012] 因此，需要更具魯棒性的點匹配技術。如果可以在全景立體圖像的背景下采用這 樣的技術，則該技術是特別有用的。
【發明內容】
[0013] 一組實施方式提供了用于限定一組圖像中的用于共輒點的搜索范圍的改進技術。 在一些實施方式的特定方面中，可以使用兩個圖像（例如，由圖像捕獲系統中相鄰的傳感 器捕獲的立體圖像、兩個圖像等）中的內部重疊區域來限定可以找到共輒點的搜索范圍； 在一個方面中，該搜索范圍可以被表達為距捕獲兩個圖像所處的站的距離范圍。可以使用 該距離范圍來大幅度地縮窄從另一站捕獲的圖像中的搜索范圍，大幅減少了識別共輒匹配 的計算時間以及減小了識別不正確匹配的可能性。
[0014] 各個實施方式提供的工具包括但不限于方法、系統和/或軟件產品。僅作為示 例，方法可以包括一個或多個步驟，這些步驟中的任一步驟或所有步驟由計算機系統來執 行。相應地，實施方式可以提供計算機系統，該計算機系統配置有根據由各個其它實施方式 提供的方法來執行一個或多個步驟的指令。類似地，計算機程序可以包括可由計算機系統 (和/或在其中的處理器）執行以進行這些操作的一組指令。在許多情況下，這樣的軟件程 序被編碼在物理的、有形的和/或永久性的計算機可讀介質（例如，僅舉幾個例子，光學介 質、磁性介質和/或諸如此類）上。
[0015] 僅僅作為示例，根據一組實施方式的系統可以包括圖像捕獲系統，該圖像捕獲系 統包括多個圖像傳感器。在一些情況中，當在第一站處被定向時，圖像捕獲系統可以配置成 利用具有第一投影中心的第一圖像傳感器來捕獲第一圖像和/或利用具有第二投影中心 的第二圖像傳感器來捕獲第二圖像。當在第二站處被定向時，圖像捕獲系統可以配置成利 用多個圖像傳感器中具有第三投影中心的一個圖像傳感器來捕獲第三圖像。（讀者應當注 意的是，除非上下文中另有清楚地指示，否則在此所使用的術語"第一"、"第二"等旨在區分 不同的圖像、不同的站等等，但不旨在意味著任何特定的時間順序）。
[0016] 在一個方面，該系統還可以包括計算機，該計算機可以包括處理器和永久性計算 機可讀介質，該永久性計算機可讀介質具有可由所述處理器執行以使得計算機執行一個或 多個操作的一組指令。僅作為示例，該組指令可以包括確定第一圖像和第二圖像中的內部 重疊區域的指令；在一個方面中，該內部重疊區域可以具有在第一圖像和第二圖像中的公 共視野和/或可以由第一傳感器的視野和第二傳感器的視野之間的重疊限定。在一些實施 方式中，該組指令還可以包括確定第一圖像、第二圖像和第三圖像中的相互間重疊區域的 指令；在一個方面中，該相互間重疊區域可以具有在第一圖像、第二圖像、第三圖像中的公 共視野。
[0017] 之后，該組指令可以包括識別在第一圖像和第二圖像的內部重疊區域中以及第一 圖像、第二圖像和第三圖像的相互間重疊區域中捕獲的共輒點在第一圖像中的第一坐標位 置的指令。在實施方式中，該組實施方式包括識別共輒點在第二圖像中的第二坐標位置的 指令。還可以有另外的計算在通用坐標系中從第一站到第一共輒點的估算距離范圍（即， 在真實世界中而非圖像中的距離）的指令；該計算可以至少部分地基于第一坐標位置和第 二坐標位置。在一個方面中，估算距離范圍可以對應于第三圖像的片段。
[0018] 相應地，該組指令可以包括至少部分地基于計算出的估算距離范圍以及圖像捕獲 系統在第一站和第二站處的初始相對定向，來限定在第三圖像中的搜索區域的指令。（可以 注意的是，這些初始相對定向可以是相對不精確的（和/或經受基于光束法平差的細調）， 但是這樣的粗略的定向仍然可以用于限定搜索區域）。該計算機還可以被編程有分析搜索 區域以識別共輒點在第三圖像中的第三坐標位置的指令。在一個方面中，對第三圖像的分 析可以限于對搜索區域的分析，并且對分析的限制可以大幅減少在第三圖像中的由計算機 分析的像素的數目。在一些情況中，該組指令還可以包括至少部分地基于共輒點的第一坐 標位置、第二坐標位置、和第三坐標位置，來執行光束法平差計算以將第三圖像相對于第一 圖像和第二圖像中的至少一者定向的指令。
[0019] 根據另一組實施方式的方法可以包括利用計算機識別共輒點在第一圖像中的第 一坐標位置，和/或利用計算機識別共輒點在第二圖像中的第二坐標位置。該方法還可以 包括利用計算機至少部分地基于第一坐標位置和第二坐標位置，來計算從第一圖像和第二 圖像中的至少一者的投影中心到第一共輒點的距離范圍。在一些實施方式中，該方法包括 利用計算機基于所計算出的距離范圍以及圖像捕獲系統在第一站和第二站處的相對定向， 來限定第三圖像中的搜索區域。該方法的特征還可以是利用計算機分析搜索區域以識別共 輒點在第三圖像中的第三坐標位置。
[0020] 在一些情況下，該方法也包括捕獲圖像。僅僅作為示例，該方法可以包括在第一站 處定向圖像捕獲系統（在一些實施方式中，該圖像捕獲系統可以包括多個圖像傳感器）、利 用第一圖像傳感器在第一站處捕獲第一圖像、和/或利用第二圖像傳感器在第一站處捕獲 第二圖像。該方法還可以包括在第二站處定向圖像捕獲系統以及利用多個圖像傳感器中的 一者在第二站處捕獲第三圖像。在一些情況下，該方法還可以包括至少部分地基于所計算 出的估算距離范圍以及圖像捕獲系統在第一站和第二站處的相對定向，從在第二站處捕獲 的多個圖像中識別第三圖像。
[0021] 根據另一組實施方式的計算機系統可以包括一個或多個處理器和/或與一個或 多個處理器通信的計算機可讀介質。在一方面，該計算機可讀介質可以具有在其上編碼的 可以由計算機系統執行以進行一個或多個操作的一組指令，該組指令包括但不限于根據由 其它實施方式提供的方法執行操作的指令。
[0022] 僅僅作為示例，該組指令可以包括識別共輒點在第一圖像中的第一坐標位置的指 令；識別共輒點在第二圖像中的第二坐標位置的指令；至少部分地基于第一坐標位置和第 二坐標位置，計算從第一圖像和第二圖像中的至少一者的投影中心到第一共輒點的估算距 離范圍的指令；基于所計算出的估算距離范圍以及圖像捕獲系統在第一站和第二站處的相 對定向來限定第三圖像中的搜索區域的指令；和/或分析搜索區域以識別共輒點在第三圖 像中的第三坐標位置的指令。
[0023] 根據另一組實施方式的設備還可以包括永久性計算機可讀介質，該永久性計算機 可讀介質具有在其上編碼的可由一個或多個計算機執行以進行一個或多個操作的一組指 令，該組指令包括但不限于根據由其它實施方式提供的方法執行操作的指令。僅僅作為示 例，該組指令可以包括識別共輒點在第一圖像中的第一坐標位置的指令；識別共輒點在第 二圖像中的第二坐標位置的指令；至少部分地基于第一坐標位置和第二坐標位置，計算從 第一圖像和第二圖像中的至少一者的投影中心到第一共輒點的估算距離范圍的指令；基于 所計算出的估算距離范圍以及圖像捕獲系統在第一站和第二站處的相對定向來限定第三 圖像中的搜索區域的指令；和/或分析搜索區域以識別共輒點在第三圖像中的第三坐標位 置的指令。
【附圖說明】
[0024] 參考剩余部分的說明書和附圖可以實現對特