一種基于動態匹配的無人機遙感影像快速拼接技術的制作方法
【技術領域】
[0001]本發明基于對RGB與HSI顏色空間的特性分析，提出一種根據顏色的色度和飽和度特征來度量象素顏色相似性的方法，同時提出了一種用于彩色圖像匹配中的特征模板提取方法，最終實現無人機遙感影像的快速無縫拼接。
【背景技術】
[0002]無人機即無人駕駛飛機，是一種由無線電遙控設備或自身程序控制裝置操縱的無人駕駛飛行器。無人機上一般裝備有自動駕駛儀、程序控制系統、遙控與遙測系統、自動導航系統、自動著陸系統等，通過這些系統實現遠距離控制飛行。20世紀80年代以來，隨著計算機技術、通訊技術以及傳感器技術的迅速發展口無人機的性能得到不斷提高，任務載荷和續航時間大大提升，這使得無人機的應用范圍和應用領域得到迅速擴展。目前世界范圍內各種性能指標的無人機類型己達數百種，被廣泛的應用于航空攝影測量、全球氣候變化、水利、減災救災等非軍事領域。
[0003]作為一種特殊的飛行載體，無人機多在某一局部地區完成監測任務，特殊目的下需要對地面目標進行實時跟蹤飛行，需要低空、盤旋飛行，飛行姿態多變，飛機與地面景物之間的相對運動顯著，成像載荷獲得的圖像產生著較大的畸變和直線、旋轉運動模糊。受特殊天氣和光照、相機離焦等因素的影響，獲取的遙感圖像會出現對比度低、模糊甚至遮擋現象。圖像質量的降低，不僅使地面人員無法清晰觀察地面情況，更不利于圖像的后續處理與分析，如目標跟蹤和定位等。隨著無人機飛行速度、遙感圖像的分辨率、數據采樣頻率和通訊頻帶寬度的不斷提高，海量遙感圖像數據的自動、高速、高質量的實時處理己成為急需解決的關鍵冋題。
[0004]由于無人機特殊的飛行特性和對圖像監控系統的特殊功能、性能要求，在無人機遙感圖像監控系統的構建和實現上都存在著很多需要進一步研究和解決的問題，對圖像的實時處理和分析這一研究領域帶來了一項艱巨挑戰。針對實時圖像處理的客觀迫切要求，20世紀70年代以來，國際上逐漸將數字圖像處理技術的研究重點同時放在實時圖像處理技術上，這是因為對動態圖像只有在實時處理時才更有實際應用價值。根據無人機實時圖像處理分析的要求，目前無人機實時圖像處理技術主要是指基于動態匹配技術的無人機遙感影像快速拼接，由于真彩色圖像由于具有更為豐富的可視化信息，如何提高拼接算法的效率也是需要特別考慮的問題。國內的武漢大學和解放軍測繪工程學院對該技術均有研究，主要應用方向為巡航彈的地理位置精確匹配，可將該技術用于無人機實時圖像處理分析。
【發明內容】
[0005]彩色圖像由于具有更為豐富的可視化信息，因此也得到了更為廣泛的應用。彩色圖像中像素顏色通常需要由3維顏色空間向量來表示，因此與灰度圖像相比，在圖像的表達方式和處理方法存在著較大差異，使得彩色圖像拼接具有更大的難度。以往的彩色圖像拼接方法大多首先將彩色圖像變換為灰度圖像，然后采用灰度圖像拼接的方法進行匹配計算。由于在彩色與灰度圖像變換過程中，必然會丟失大量有用的顏色信息，因此難以得到理想的拼接處理結果。彩色圖像平滑過程中可以通過對圖像的拼接縫作各種顏色過渡處理，但由于圖像整體上存在著顏色差異，使平滑后的圖像很難保證整體上的顏色一致性。人眼對于彩色具有更高的敏感程度，彩色圖像平滑也同樣成為圖像拼接中的另一個關鍵技術環節。由于彩色圖像數據量更大，如何提高拼接算法的效率也是需要特別考慮的問題。
[0006]基于對RGB與HSI顏色空間的特性分析，提出一種根據顏色的色度和飽和度特征來度量象素顏色相似性的方法，同時提出了一種用于彩色圖像匹配中的特征模板提取方法。通過待拼接的兩幅彩色圖像之間的重疊區域亮度關系分析，建立了圖像之間的亮度變化函數，全局化地調整兩幅圖像之間的顏色差異，消除拼接縫，增強視覺效果。
【附圖說明】
[0007]圖1是無人機航空遙感影像動態拼接流程圖。
【具體實施方式】
[0008]1.相鄰影像拼接
[0009](1)顏色空間變換
[0010]顏色空間是顏色的空間表達形式，包括多種類型，例如RGB，HSI和YUV等顏色空間把抽象的、主觀的視覺感受具體化為三維空間中的位置或向量，使各種彩色圖像、彩色設備的顏色特性都能實現可視化，成為顏色研究的重要工具。
[0011]為了克服RGB顏色空間的不均勻和不直觀的缺點，在彩色圖像處理中大多采用顏色空間變換方法，將RGB顏色空間轉換為其它的更為符合顏色視覺特性的顏色空間，再做進一步的處理，并將處理后的結果重新轉換為RGB顏色空間。顏色空間的轉換過程需要進行大量的計算，對彩色圖像處理的實時性有較大的影響。
[0012](2)色差計算
[0013]通過計算R，G，B三種顏色值，判定兩種顏色的色度和飽和度是近似相等的。由于色度、飽和度和亮度三個顏色分量中，色度和飽和度決定了顏色的主要類別，可取以上三項的和值作為度量兩種顏色色差大小的變量。
[0014](3)彩色圖像匹配
[0015]a.特征模板提取
[0016]圖像拼接要求待拼接的相鄰2幅圖像邊界必須存在重疊區域，重疊區域具有相同的景物內容。特征模板是指在一幅圖像的重疊區域中搜索到的，可進行有效圖像匹配計算的圖像區域。一般說來，圖像模板的選擇要滿足兩條原則:特征模板的尺寸選擇不宜過大，盡管大尺寸的特征模板可提高匹配計算的精度，但會使匹配過程所需的計算量也急劇增加；另外，要求特征模板中的圖像灰度或顏色信息較為豐富，以保證匹配計算的準確性。因此，特征模板的選擇在圖像匹配計算中較重要。對于彩色圖像來說，合理的特征模板所在的圖像區域應包含更多類別的顏色，具有更多的圖像紋理或邊緣。具體來說，要求特征模板中的像素顏色在RGB顏色空間內較為離散地分布，顏色與顏色之間具有較小的相關性。為了在圖像重疊區域中，搜索得到顏色分布合理的特征模板，這里引入多維數據的數字特征分析及相關矩陣計算，以實現有效的后續匹配運算。
[0017]b.匹配搜索策略
[0018]以特征模板為基準，在待拼接地圖像重疊區域中，采用顏色色差度量方法進行匹配計算，記錄所有匹配位置處的模板總體顏色相似度量數值，取其中最小的匹配位置為最佳匹配位置。
[0019](4)彩色圖像平滑
[0020]由于人眼對于彩色信息更為敏感，彩色圖像拼接中拼接縫或圖像整體顏色的不協調將使圖像的視覺效果受到影響，因此彩色圖像拼接中圖像顏色平滑的問題更為突出。常用的圖像顏色平滑方法包括基于圖像直方圖、基于圖像信息熵、基于相鄰圖像方差、均值的色調調整方法等。這些方法都是以相鄰圖像之間的重疊區域或相鄰圖像之間拼接縫為基礎，通過顏色的平滑過渡來消除人為的假邊緣和拼接縫。在相鄰圖像重疊區域較大的情況下，對于兩幅相鄰圖像拼接縫的消除都有一定的效果，但無法真正消除大幅面圖像的顏色差異。從根本解決這類問題的方法應是以一幅圖像為基準，通過建立序列圖像之間的顏色變換關系，全局調整其它整幅圖像的顏色分布，使合成的大幅面圖像顏色協調一致。前述的匹配運算是以色度和飽和度為標準來實現，可保證匹配后的兩幅圖像對應的像素色度和飽和度的一致性，但無法保證其亮度的一致性，因此需要對亮度上可能存在的差異進行調整，從而實現兩幅圖像顏色的一致性。以最小二乘方法為數學工具，通過引入伽馬校正，建立圖像之間的亮度變換函數，實現圖像的亮度平滑。
[0021]2.無人機影像的自動空中三角測量
[0022]由于操控特性及受風力等的影響，無人機遙感平臺沒有航空或航天攝影平臺的穩定性，相鄰影像間很可能存在很大的旋轉角和重疊度變化，使得影像匹配時初始視差的確定和同名點的搜索變得非常困難，傳統的影像匹配方法根本無法獲得準確可靠的同名點。因此需要突破無人機遙感影像的自動數據整理，無P0S情況下基于多種特征的智能匹配、大旋角單航帶應急攝影航空影像的智能匹配等關鍵技術，并采用多基線立體影像匹配、金字塔匹配等策略提高匹配成功率。
[0023]3.非常規攝影的無人機影像的區域網平差
[0024]無人機數碼影像的整體區域網平差是保證最終成果精度的最重要手段。無人機遙感影像的航向和旁向重疊度一般較大，理論上不僅可以提高整體平差的精度和可靠性，也非常有利于粗差觀測值的探測和剔除。但是，無人機數碼影像的重疊度和姿態角變化大，需要設法構建較為準確的自由區域網作為整體平差的初始值，保證區域網平差的快速收斂性。
[0025]4.大比例尺正射影像的快速拼接
[0026]快速拼接方式是選用每幅影像的最佳紋理區域填充到鑲嵌影像，利用每幅影像的地面覆蓋范圍來進行“最佳”紋理區域的判斷，最終實現影像的快速無縫拼接。
【主權項】
1.一種基于動態匹配的無人機遙感影像快速拼接技術，其特征包括: 無人機航空遙感影像動態拼接流程:將RGB顏色空間轉換為其它的更為符合顏色視覺特性的顏色空間，再做進一步的處理，并將處理后的結果重新轉換為RGB顏色空間；取色度、飽和度和亮度三個顏色分量的和值作為度量兩種顏色色差大小的變量；利用特征模板提取及匹配搜索策略進行彩色圖像匹配；以一幅圖像為基準，通過建立序列圖像之間的顏色變換關系，全局調整其它整幅圖像的顏色分布，使合成的大幅面圖像顏色協調一致進行圖像顏色平滑，完成相鄰影像的拼接；無人機影像的自動空中三角測量，突破無人機遙感影像的自動數據整理，基于多種特征的智能匹配、大旋角單航帶應急攝影航空影像的智能匹配等關鍵技術，并采用多基線立體影像匹配、金字塔匹配等策略提高匹配成功率；構建較為準確的自由區域網作為整體平差的初始值，保證非常規攝影的無人機影像的區域網平差；選用每幅影像的最佳紋理區域填充到鑲嵌影像，利用每幅影像的地面覆蓋范圍來進行“最佳”紋理區域的判斷，最終實現影像的快速無縫拼接。
【專利摘要】真彩色圖像由于具有更為豐富的可視化信息，如何提高拼接算法的效率也是需要特別考慮的問題。基于對RGB與HSI顏色空間的特性分析，提出一種根據顏色的色度和飽和度特征來度量象素顏色相似性的方法，同時提出了一種用于彩色圖像匹配中的特征模板提取方法。通過待拼接的兩幅彩色圖像之間的重疊區域亮度關系分析，建立了圖像之間的亮度變化函數，全局化地調整兩幅圖像之間的顏色差異，消除拼接縫，增強視覺效果。
【IPC分類】G06T5/50, G06T3/40
【公開號】CN105243653
【申請號】CN201510742154
【發明人】倪金生, 劉翔, 于飛
【申請人】北京航天泰坦科技股份有限公司
【公開日】2016年1月13日
【申請日】2015年11月5日