基礎設施測繪系統和方法
【專利說明】
[0001] 相關申請的交叉引用
[0002] 本申請要求于2012年8月21日提交的序號為13/590, 735的美國專利申請（現 在被授權為美國專利第8, 483, 960號）的優先權，序號為13/590,735的美國專利申請是 于2010年4月13日提交的序號為12/798,899的美國專利申請的部分繼續申請案，序號為 12/798, 899的美國專利申請要求于2006年10月11日提交的序號為11/581，235的美國專 利申請（現在被授權為美國專利第7, 725, 258號）的優先權，序號為11/581,235的美國專 利申請要求于2003年9月18日提交的序號為10/664, 737的美國專利申請（現在被授權為 美國專利第7, 127, 348號）的優選權，序號為10/664, 737的美國專利申請要求于2002年9 月20日提交的序號為60/412, 504的美國臨時專利申請"VehicleBasedDataCollection andProcessingSystem(基于運載工具的數據收集和處理系統）"的優先權。于2013年8 月21日提交的序號為13/590,735的美國專利申請還是于2009年8月5日提交的序號為 12/462, 533的美國專利申請的部分繼續申請案，序號為12/462, 533的美國專利申請是于 2002年8月28日提交的序號為10/229, 626的美國專利申請（現在被授權為美國專利第 7, 893, 957號）的分案申請。
技術領域
[0003] 本發明總體上涉及遠程成像技術的領域，更具體地，涉及在很大的視場內，繪制高 分辨率、高精度、低失真數字圖像的系統。
【背景技術】
[0004] 遙感成像是廣泛應用的技術，其具有許多不同并且極其重要的實際應用例如地質 填圖和分析，以及氣象預報。基于航空和衛星的攝影和成像是特別有用的遠程成像技術，近 年來，這些遠程成像技術變得極為依賴于對數字圖像的數據包括光譜參數、空間參數、高程 參數以及運載工具或平臺的位置和方位參數的收集和處理。現在能夠以數字格式收集、處 理和傳送空間數據一一空間數據表征真實的房屋修建和房屋位置，道路和高速公路，環境 危害和狀況，公用事業基礎設施（例如，電話線，管道）和地球物理特征一一以便方便地為 各種應用（例如，動態GPS測繪）提供高度精確的測繪和偵測數據。高程數據可用于提高 整個系統的空間和位置精度，并且可以從現有的數字高程模型（DEM)數據集獲得，或者和 光譜傳感器數據一起從基于多普勒的主動輻射測量裝置來采集，或者從被動的立體攝影計 算來米集。
[0005] 遙感成像應用面對的主要挑戰是空間分辨率和光譜保真。諸如球面像差、散光、場 曲、失真和色差的攝影問題是在任何傳感器/成像應用中都必須處理的公知問題。某些應 用要求很高的圖像分辨率，通常具有英寸尺度的容差。取決于使用的特定系統（例如，汽 車、飛機、衛星、航天器或平臺），實際的數字成像裝置可以位于離其目標數英尺到數英里的 任何位置，導致極大的比例因子。提供具有極大比例因子還具有英寸尺度分辨率容差的圖 像對甚至最魯棒的成像系統也提出了挑戰。從而，常規系統通常必須在分辨率質量和能夠 成像的目標區域的大小之間作出折衷。如果系統被設計成提供高分辨率數字圖像，則成像 裝置的視場（FOV) -般較小。如果系統提供較大的FOV，則光譜和空間數據的分辨率通常被 降低并且失真增大。
[0006] 正射成像是為試圖解決該問題而使用的一種方法。通常，正射成像通過編輯目標 的各不相同的子圖像來繪制目標的合成圖像。一般來說，在航空成像應用中，具有有限的范 圍和分辨率的數字成像裝置順序地記錄目標區域的固定分區的圖像。隨后按照某種順序對 齊這些圖像，從而繪制目標區域的合成圖像。
[0007] 通常，這樣的繪制處理非常費時并且工作量巨大。在許多情況下，這些處理需要顯 著惡化圖像質量和分辨率的迭代處理，尤其是在繪制成千上萬的子圖像的情況下。在能夠 自動處理成像數據的情況下，該數據通常被反復變換和采樣，從而隨著每個連續操作降低 了色彩保真和圖像銳度。如果采用自動化的校正或均衡系統，則這樣的系統可能對圖像異 常（例如，反常地明亮或黑暗的物體）敏感，導致過度校正或校正不足和圖像數據的不可靠 判讀。在需要或者期望對圖像進行人工繪制的情況下，時間和勞動成本極大。
[0008] 因此，需要一種提供測量精度、穩定性和可重復成像的度量相機系統。特別是，需 要一種下述正射圖像繪制系統及可選的傾斜圖像繪制系統：該系統為包括基礎設施的極大 的FOV和相關的數據集提供高效且通用的成像，同時保持這種度量圖像的質量、精度、位置 精度和清晰度。另外，在計劃、采集、導航和處理所有相關操作的每個階段中大量應用了自 動化算法。
【發明內容】
[0009] 本發明涉及利用各種傳感器的遠程數據采集和處理系統。所述系統可包括實時地 控制運載工具和系統操作的計算機控制臺單元。系統還可包括鏈接到計算機控制臺并與計 算機控制臺通信的全球定位系統。另外，可以使用相機和/或相機陣列組件生成通過孔查 看的目標的圖像。相機陣列組件通信上連接到計算機控制臺。相機陣列組件具有安裝殼體 以及居中耦接到所述殼體并具有通過所述孔的第一焦軸的第一成像傳感器。相機陣列組件 還具有耦接到所述殼體并且沿著軸偏離第一成像傳感器的第二成像傳感器，第二成像傳感 器具有通過所述孔并且在相交區內與第一焦軸相交的第二焦軸。相機陣列組件具有耦接到 所述殼體并且沿著軸與第二成像傳感器相對地偏離第一成像傳感器的第三成像傳感器，第 三成像傳感器具有通過所述孔并且在相交區內與第一焦軸相交的第三焦軸。按照這種方 式，可以使用任意數目的1到n個相機，其中"n"可以是任意奇數或偶數。
[0010] 系統還可包括姿態測量單元（AMU)，例如通信上連接到計算機控制臺和相機陣列 組件的慣性、光學或類似測量單元。AMU可以確定飛行器在時間上的任意瞬間的橫擺、俯仰 和/或滾轉，連續的DGPS位置可用于測量相對于測地線北極的運載工具航向。使AMU數據 與精確DGPS數據結合，以產生魯棒的實時AMU系統。系統還可包括容置在計算機控制臺內 的鑲嵌模塊。鑲嵌模塊包括對輸入圖像進行初始處理的第一部件。鑲嵌模塊還包括確定輸 入圖像的地理邊界的第二部件，第二部件與第一部件協同地接合。鑲嵌模塊還包括以精確 的地理位置將輸入圖像繪制到復合圖像中的第三部件。第三部件與第一部件和第二部件協 同地接合。鑲嵌模塊中還包括對繪制到復合圖像中的輸入圖像的顏色進行均衡的第四部 件。第四部件可與第一部件、第二部件和第三部件協同地接合。另外，鑲嵌模塊可包括對繪 制到復合圖像中的相鄰輸入圖像之間的邊界進行融合的第五部件。第五部件與第一部件、 第二部件、第三部件和第四部件協同地接合。
[0011] 可以實現第六部件，即可選的前向傾斜和/或可選的向后傾斜相機陣列系統，該 系統采集傾斜圖像數據，并使用姿態和位置測量結果來合并該圖像數據，以便生成三維圖 像（即，3D點云）或數字高程模型（DEM)。3D點云或DEM是包括人造結構的地表面的表示。 可以使用立體攝影技術根據正射和/或傾斜影像來生成DEM，或者可替代地通過LIDAR或現 有的DEM來提供DEM。可以根據來自在時間上交疊的單個相機的任何交疊圖像或來自在空 間或時間上交疊的任何兩個相機的交疊圖像來生成DEM或3D點云。DEM或3D點云的生成 可以在運載工具上實時地進行，或者稍后后處理。第六部件與其他部件協同地工作。所有 部件可被安裝到剛性平臺上，以便提供傳感器數據的聯合配準。振動、湍流、溫度梯度和其 他因素會以生成傳感器之間的對準關系的誤差的方式作用于運載工具或平臺。與未利用這 種聯合配準體系結構的其他系統相比，對各個傳感器使用公共的剛性平臺安裝套管和/或 熱套管可帶來顯著的優點。
[0012] 此外，本發明可以采用一定程度的橫向過采樣來改善輸出質量，以及/或者采用 聯合安裝聯合配準過采樣來克服物理像素分辨率極限。
【附圖說明】
[0013] 為了更好地理解本發明，以及為了以示例的方式示出如何可以實現本發明，現在 參考本發明的詳細說明和附圖，在附圖中，不同圖中的對應附圖標記表示對應的部分，在附 圖中：
[0014] 圖1示出了本發明的基于運載工具的數據采集和處理系統；
[0015] 圖IA示出了圖1的基于運載工具的數據采集和處理系統的一部分；
[0016] 圖IB示出了圖1的基于運載工具的數據采集和處理系統的一部分；
[0017] 圖2示出了圖1的基于運載工具的數據采集和處理系統，同時更詳細地展示了本 發明的相機陣列組件；
[0018] 圖3A示出了根據本發明的某些方面的以跨軌道斜視方式配置的相機陣列組件；
[0019] 圖3B示出了根據本發明的某些方面的以長軌道斜視方式配置的相機陣列組件；
[0020] 圖3C-1示出了根據本發明的某些方面的以沿軌道斜視方式配置的相機陣列組 件；
[0021] 圖3C-2示出了根據本發明的某些方面的從以沿軌道斜視方式配置的相機陣列組 件獲得的圖像的序列；
[0022] 圖3D示出了根據本發明的某些方面的以跨軌道斜視方式和以沿軌道斜視方式配 置的相機陣列組件；
[0023] 圖3E示出了根據本發明的某些方面的以長軌道斜視方式和以跨軌道斜視方式配 置的相機陣列組件；
[0024] 圖4A示出了通過圖1和圖3A的相機陣列組件得到的成像模式的一個實施方式；
[0025] 圖4B示出了通過圖1和圖3B的相機系統得到的成像模式的一個實施方式；
[0026] 圖4C-1示出了通過圖1和圖3C-1的相機系統得到的成像模式的一個實施方式；
[0027] 圖4C-2示出了通過圖1和圖3C-2的相機系統得到的成像模式的一個實施方式；
[0028] 圖4D示出了通過圖1和圖3D的相機系統得到的成像模式的一個實施方式；
[0029] 圖4E示出了通過圖1和圖3E的相機系統得到的成像模式的一個實施方式； [0030]圖5描繪了示出本發明的某些方面的成像模式；
[0031] 圖6示出了根據本發明的圖像條帶；
[0032] 圖7示出了根據本發明的圖像條帶的另一實施方式；
[0033] 圖8示出了根據本發明的成像處理的一個實施方式；
[0034] 圖9以圖解的方式示出了可如何對齊利用相機陣列組件拍攝的照片，以制作單 幀；
[0035] 圖10是根據本發明的某些實施方式的處理邏輯的框圖；
[0036] 圖11示出了根據本發明的某些實施方式的從運載工具俯視的橫向過采樣；
[0037] 圖12示出了根據本發明的某些實施方式的從運載工具俯視的橫向過采樣；
[0038] 圖13示出了根據本發明的某些實施方式的從運載工具俯視的航線過采樣；
[0039] 圖14示出了根據本發明的某些實施方式的從運載工具俯視的航線過采樣；
[0040] 圖15示出了根據本發明的某些實施方式的從運載工具俯視的漸次放大；
[0041] 圖16示出了根據本發明的某些實施方式的從運載工具俯視的漸次放大；
[0042] 圖17示出了根據本發明的某些實施方式的從運載工具俯視的漸次放大；
[0043] 圖18是根據本發明的某些實施方式的系統體系結構的示意圖；
[0044] 圖19示出了根據本發明的某些實施方式的從運載工具俯視的單個相機陣列的旁 向交疊子像素區中的橫向聯合安裝聯合配準過采樣；
[0045] 圖20示出了根據本發明的某些實施方式的從運載工具俯視的兩個交疊的相機陣 列的旁向交疊子像素區中的橫向聯合安裝聯合配準過采樣；
[0046] 圖21示出了根據本發明的某些實施方式的從運載工具俯視的兩個立體相機陣列 的旁向交疊子像素區中的前向和橫向聯合安裝聯合配準過采樣；
[0047] 圖22A示出了圖3D的相機陣列的右后側立體圖；
[0048] 圖22B示出了圖3E的相機陣列的右前側立體圖；
[0049] 圖23示出了根據本發明的某些實施方式的以跨軌道斜視方式和以長軌道斜視方 式配置的凹或視網膜相機陣列組件的仰視圖；
[0050] 圖24示出了根據本發明的某些實施方式的傾斜相機陣列組件的一個實施方式；
[0051] 圖25示出了根據本發明的圖像條帶；
[0052] 圖26A示出了根據本發明的某些實施方式的以沿軌道斜視方式配置的相機陣列 組件的一個實施方式；以及
[0053] 圖26B示出了圖26A的相機陣列的仰視圖。
【具體實施方式】
[