一種面向硬式空中加油的視覺測量方法

一種面向硬式空中加油的視覺測量方法
【專利摘要】本發明提出了一種面向硬式空中加油的視覺測量方法，一種面向硬式空中加油的視覺測量方法，該方法的步驟如下：步驟一：基于發光二極管(LED)的受油口目標識別；步驟二：LED標志點中心點匹配；步驟三：利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉矩陣進行求解。本方法利用視覺傳感器，對受油口位姿進行測量，利用測量得到的位姿關系對受油機以及加油桿實現精確控制，實現加油對接。本方法魯棒性好，精確性高，可大大提高硬式空中加油的安全性和可靠性。
【專利說明】-種面向硬式空中加油的視覺測量方法 【技術領域】
[0001] 本發明是一種面向硬式空中加油的視覺測量方法，屬于計算機視覺測量技術領 域。 【【背景技術】】
[0002] 空中加油是指在飛行過程中一架飛機向另一架或多架飛機(或直升機)傳輸燃油 的活動。空中加油自出現起，就W其在軍事行動中的重要作用而日益受到各國的廣泛重視。 長航時無人機進行一次空中加油，其續航時間能增加80% W上，運也為攜帶更多任務載荷 提供了可能;無人機進行一次空中加油，航時可提高30%~40%，從而為解決燃油與武器裝 載之間的矛盾提供了有效途徑。
[0003] 空中加油技術是提高飛機遠程作戰效能的關鍵技術之一，是增強戰斗力的放大 器。空中加油不僅改變了 W往的作戰模式，而且還可W提高戰績的綜合作戰效能，已成為先 進軍用飛機完成作戰任務不可缺少的保障措施。相對于軟管式加油，硬管式空中加油因為 加油量大、受油機操作負擔輕、受油機受油設備簡單等特點而具有明顯的優勢，因而成為未 來空中加油技術的發展方向。
[0004] 目前，空中加油技術中發展比較成熟并被廣泛采用的空中加油系統可分為下屬四 種:一種是插頭-錐套式(軟管)加油系統，另一種是飛巧式(硬管)加油系統，還有兩種方式 是將上述兩種系統結合起來的混合式及多系統式。
[0005] 自上世紀五十年代，人工操縱的空中加油技術已經比較成熟，但人工操縱的空中 加油技術效率較低、對飛行員的駕駛技術要求很高，易受到駕駛員屯、理和生理W及技術戰 術狀態的影響。因此開展自主空中加油技術的研究具有重要的意義。20世紀80年代W來，伴 隨著神經科學、計算神經科學、解剖學的發展，人類對腦科學有了更加深入的了解。在所感 知的外部世界信息中，大約80%的部分來自視覺，運種客觀的事實使得科學家對視覺信息 的各種處理機制進行了非常深入的研究，并取得了一系列的視覺信息處理理論成果。運些 成果的取得，使得計算機視覺科研人員有條件從事模擬生物視覺功能的研究，也為改善目 前的機器視覺識別性能提供了生物學上的依據。機器(計算機)視覺是指用計算機實現類生 物的視覺功能，即對客觀世界Ξ維場景的感知、識別、理解。因此，機器視覺是計算機科學和 智能科學交叉而形成的學科，是W模擬生物視覺功能或信息處理機制為主要研究內容，構 建仿生視覺的計算模型，利用計算機對描述自然景物的圖像數據進行處理，W實現類似于 生物視覺感知功能為目標。
[0006] 相對于其它導航方式，視覺傳感器具有輕便、低功耗、體積小、重量輕等優點，同時 能夠提供豐富的周圍環境信息。 【
【發明內容】
】
[0007] 1、發明目的：
[000引本發明提出了一種面向硬式空中加油的視覺測量方法，其目的是提供一種更具實 用價值的硬式空中加油測量方法，為自主空中加油系統提供精確可靠的測量信息，革新當 前的人工操縱加油技術，提高空中加油效率，最大程度避免因操作員誤操作造成的機毀人 亡的重大事故。
[0009] 2、技術方案：
[0010] 本發明針對硬式空中加油需求，提出了一種魯棒性強、精確度高的視覺測量方法， 前期工作需要對相機的參數進行確定和對空中硬式加油視覺測量圖像的獲取。該方法通過 對圖像序列進行圖像處理操作解算受油口相對相機的平移矩陣和旋轉矩陣。圖像序列是通 過可見光相機拍攝獲取的，相機的內參是解算位姿關系時的必備參數，相機參數可W通過 張正友標定法確定。測量方法步驟構成見附圖1所示。
[0011] -種面向硬式空中加油的視覺測量方法，該方法的步驟如下：
[001^ 步驟一:基于發光二極管(L邸)的受油口目標識別
[0013] 在視覺測量時，需要對受油口進行識別，在受油口附近設置7個紅色Lm)光標記點 的方法，利用計算機視覺實現對光標記點的檢測識別。
[0014] (1)將圖像序列進行彩色空間(RGB)到色相、飽和度和明度化SV)化處理：
[0015] 通過相機獲取光標記點的位圖像，將光標記點設置成紅色，利用運個顏色特征信 息進行點提取。首先，將相機采集到的RGB圖像變換到HSV空間。對于H、S、VS個通道的圖像， 選取其中光標記點最明顯的S通道圖像進行中值濾波，并由給定闊值進行分割，得到二值化 圖像。該二值化圖像可能存在噪聲，可W用腐蝕，膨脹等形態處理，將該噪聲去掉，檢測到光 斑區域，但光斑的數目及光斑中屯、點（光標記點）的坐標位置需要精確求解。根據均值平移 (meanshift)的聚類思想，采用mean shift聚類算法求解運些光標記點的圖像坐標，為最后 受油口與相機相對位置測量做準備。
[0016] 色調Η表示顏色的色相，用角度來度量，取值范圍為0°~360°，從紅色才是按逆時 針方向計算，紅色為0°，綠色為120°，藍色為240%飽和度S表示顏色的純度，其取值范圍為 0.0~1.0;亮度V表示顏色的亮度，取值范圍為0.0(黑色)~1.0(白色），圓錐的頂面對應于V =1，代表的顏色最亮。令max為R、G、B^個分量的最大值，min為Ξ個分量的最小值，r、g、b分 別表示Ξ個分量的值，RGB到HSV的變換的數學公式如下所示：
[0017]
[001 引
（2)
[0019] V=max (3)
[0020] (2)對顏色空間變換后的圖像分別在H、S、V通道進行闊值分割：
[0021] 由于檢測對象是受油口附近紅色光標記點，通過RGB顏色空間到HSV空間的變換得 到Ξ個通道H、S、V通道圖像，其中S通道光標記點最為明顯，選擇S通道的圖像進行特定闊值 分割，即可檢測到目標光斑。分割得到的二值圖可能存在噪聲點，可W通過中值濾波及形態 學的腐蝕膨脹算子進行處理。
[0022] (3)光標記點中屯、定位：
[0023] 在經過W上操作之后，能夠獲取Lm)標志點在圖像中的區域，在運一基礎上，還需 要確定每個區域的中屯、位置，也就是確定光標記點的中屯、。不同于背景像素有很多相似塊 區域分布在圖像各處，顯著點往往是聚集在一起。所W可W認為像素塊Pi和與其相似的塊 距離都很近，則Pi是顯著的，當相似塊都分布在較遠區域，則Pi的顯著性不高。因此用 dp〇sition(Pi ,Pj)來度重像素塊Pi和Pj之間的距罔，良P :
[0024]
(4)
[002引式中，dp0sition(Pi加）是像素塊Pi和像素塊W之間的距離，和巧表 示分別是像素塊Pi和像素塊W的圖像坐標。
[0026] 結合上面兩個特征，對于兩個像素塊，采用一個相異度計算方法：
[0027]
(5)
[002引式中C為系數，(^1*山。如瓜)含義與上式相同，山。1。如1加)表示像素塊口滿像素 塊W在顏色空間上的距離。
[0029] 在計算像素塊Pi的顯著程度時，選擇K個與它最相似的像素塊作為參考 集，如果它與參考集的差異度很大，則可認為它與圖像其他像素塊的相異度都很大。因此定 義顯著性
[0030]
脯
[0031] 式中r為尺度。
[0032] 1)多尺度顯著度增強
[0033] 由于背景像素塊在多尺度上有很多相似的塊，而顯著像素塊只在幾個尺度上有類 似的塊，故引入多尺度方法來加強顯著區域與非顯著區域的對比度。因此修正如下：
[0034]
巧
[0035] 其中rme {R|R={ri，r2. . .rM}}，rm為尺度，Μ為尺度的數目。
[0036] 可得出像素 Pi的顯著度為它在不同尺度上的均值：
[0037]
做
[0038] 2)區域顯著值修正
[0039] 根據Ξ分法(Rule of thirds)特性，可W認為在全局視角上，像素離交點的距離 越近，它的顯著度越高，所W顯著度公式修正為
[0040]
觀
[0041] 其中df DC1 (i)表示像素塊Pi離交點的距離。
[0042] 由上述方法可W找到顯著度最大的像素塊，取其中屯、作為光標記點中屯、。
[00創步驟二:L邸標志點中屯、點匹配
[0044] 將塊擬合之后的點與標志點的世界坐標進行擬合，計算每個提到的點的圖像坐標 與所有標志點的世界坐標轉換成圖像坐標之后的圖像坐標之間的歐式距離，與哪個標志點 最近，就認為提到的某點為該標志點，從而可W賦予其世界坐標進行后面的計算。
[0045] 特征點匹配(Point Fea化re Matching)，即匹配標記連續帖圖像對應特征點的位 置。因為已經給出了光標記點門在圖像上的投影方程，假定從攝像機采集圖像提取特征點 得到的檢測點集為山，口2，。'口。}，其中^ =(化乂^)是圖像坐標，而投影點集為(^，0,.);同 時設對應的投影點集為城，矣，…襲J，其中二的.，^)是利用針孔投影成像模型計 算得到的在像素坐標系中的坐標。
[0046] 當檢測特征點與投影特征點匹配上時，兩個點集的歐式距離最小。檢測點集{pi， P2，...Pn巧日投影點集{クl，Λ，...成}之間的歐式距離矩陣化r如下，其矩陣的維數為mXn。
[0047]
(化）
[0048] 點集間對應點的匹配問題可W用經典的數學指派問題來描述，可描述為：
[0049] 假設有兩個點集A，B，Sik表示集合A中的點i與集合B中的點k之間的歐式距離，求解 兩個點集的最小歐式距離，即可表示為如下公式：
[(Κ)加]
(II)
[0051] S={sy I sij = dist(ai,bj) ,aieA,bjeB,i = l...N, j = (12)
[0化2] sik、sij和dist(ai，bj)表示點之間的歐氏距離，xik為示性函數，當點匹配上時值為 1，否則為〇。
[0053] 求解上述最小歐式距離的解，可利用匈牙利算法化ngarian，限于求解方陣即點數 相同的兩個點集，W及改進算法Munkres，求解非方陣，即兩個點數不一樣多的點集。
[0054] 步驟Ξ:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉矩 陣進行求解
[0055] (1)相機成像模型及各個坐標系定義說明：
[0056] 針對硬管式空中加油問題，假定相機放置在加油機機身尾部下方伸縮管附近某一 特定位置，并事先已標定好。為了獲取受油機相對加油機的位置和姿態信息，可在受油口附 近設置多個光標記點，用于對受油機機背上受油口的識別和定位，并由事先標定好的光標 記點的相對幾何位置關系及攝像機成像系統模型來求解上述位置和姿態信息。
[0057] 基于視覺的導航系統為加油機和受油機的引導控制系統提供受油機相對加油機 的位置和姿態信息，對運些信息的求解首先需要定義加油機機體坐標系、受油機機體坐標 系、攝像機成像系統坐標系，及受油機坐標系，通過各個坐標系之間的關系來描述其相對幾 何位姿關系。各個坐標系的定義如下：
[005引Ob廣Xbiybizbi:受油機機體坐標系；
[0059] Ob廣亂2yb2Zb2:加油機機體坐標系
[0060] Oc-xcyczc:安裝在加油機上的攝像機(伸縮管附近)成像坐標系 [0061 ] Od-xdydZd:受油口（目標）坐標系
[00創 Oe-XeyeZe:大地坐標系
[0063] 視覺測量的主要功能就是求解受油機上的受油口坐標系Od-xdydZd的中屯、Od到加油 機伸縮管附近攝像機坐標系中屯、Oc的距離dD，最后轉換為受油機和加油機質屯、間的相對距 離和姿態。
[0064] 加油機上的相機成像原理可采用針孔攝像機數學模型來描述。為了從代數上描述 上述幾何投影關系，需要建立攝像機坐標系和圖像平面坐標系。空間中某一Ξ維空間點成 像到圖像平面之間的成像過程如附圖2所示。
[0065] 圖中攝像機坐標表示為Oc-xcyczc，攝像機的焦距為f。空間點Pc在攝像機坐標系中 的歐氏坐標記為(x。，y。，z。），它的像點p在圖像坐標系中的坐標記為(x，y)，根據Ξ角關系， 得到下述關系：
[0069] 而圖像坐標系與圖像物理坐標系的關系如附圖3所示。
[0070] 圖像物理坐標系W攝像機光軸與像平面的交點為原點，W毫米為單位。假設每一 個像素在X軸與y軸方向的物理尺寸為dx.dy，圖像物理坐標系原點在圖像坐標系中坐標為 (U0，V0)，則在圖像坐標系上的點(U，V)與圖像物理坐標系中對應點(X，y)的轉換關系可表示 為：
[007U
(巧)
[0072] 為了使用方便，用齊次坐標與矩形形式來表示：
[0073]
姐:）
[0074] 而攝像機坐標(X。，y。，Z。）同受油口坐標(xd，yd，zd)的坐標轉換是兩個Ξ維坐標系 之間的變換，可W用一個旋轉矩陣R與一個位移矩陣t來描述，轉換關系的數學表達式如下：
[0075]
(1巧
[0076] (2)基于高斯最小二乘微分校正算法的位姿測量
[0077] 高斯最小二乘微分校正算法將高斯-牛頓法應用于表示估計點與檢測點之間偏差 非線性代價函數的最小化上。選擇運種算法是因為它代表了一類廣泛用于攝影測量的算 法。高斯最小二乘微分校正算法結構簡單，實時性好，已經被應用于多種場景下的位姿估計 問題。
[0078]設圖像序列在k時刻檢測、標記的特征點j的坐標是[Uj vj 1]τ，旋轉矩陣R和位移 矩陣t均為未知向量X化)的估計值玄(&)的函數，利用義(/〇將第j個坐標點投影到成像平面， 記作權,，V, 。重新安排特征點坐標，得到：
[00 巧]G(玄 w)=防，巧，......，兩，?7", ] (15)
[0080] 式中克二反云[，訂，刖.一.個參數分別是偏航角、俯仰角、滾轉角，后S個參 數為相對位移在x，y，z方向上的投影。
[0081] k時刻處理算法提取達到的像素點集記為Go化），視覺估計誤差AG化)定義為：
[0082] Δ(7(7()二G；i(/()-G(丈'(/()) (16)
[0083] Go(k) = [ui,vi,......Vm] (17)
[0084] 高斯最小二乘微分校正算法迭代更新玄作），迭代公式為：
[0085] 一
(18)
[0086] 其中，i為迭代次數，W化)為控制矩陣，礦(/〇為Ri化)的逆，年W為Ai化)的轉置。 Ri化)和Ai化)定義如下：
[0089] 目為偏導數符號。
[0090] 迭代過程結束后，即估計點和檢測點的位置偏差充分小時，可得出估計值 文二反云去石。I的最優解，即解算出旋轉矩陣R和位移矩陣t，從而估計出飛機的位 姿。
[0091] 3、優點及效果：
[0092] 本發明提出了一種面向硬式空中加油的視覺測量方法，提出了從目標識別，到特 征點匹配，再到位姿測量的一整套測量方案，其目的是提供一種具有實用價值的硬式空中 加油測量方法。本方法利用視覺傳感器，對受油口位姿進行測量，利用測量得到的位姿關系 對受油機W及加油桿實現精確控制，實現加油對接。本方法魯棒性好，精確性高，可大大提 高硬式空中加油的安全性和可靠性。 【【附圖說明】】
[0093] 圖1為面向硬式空中加油的視覺測量系統示意圖。
[0094] 圖2為攝像機成像模型示意圖。
[00M]圖3為圖像坐標系與圖像物理坐標系關系圖。
[0096] 圖4為硬式空中加油受油口示意圖。
[0097] 圖5(a)、圖5(b)和圖5(c)為姿態角變化曲線。
[0098] 圖6(a)、圖6(b)和圖6(c)為位移變化曲線。
[0099] 圖7為重投影誤差曲線。
[0100] 圖中標號及符號說明如下：
[0101] R一一旋轉矩陣.
[0102] t--位移矩陣；
[0103] Y一一滿足條件(是）；
[01 04] OwXwYwZw--世界坐標系;OcXcYcZc-攝像機坐標系；
[01化]OoUV--圖像坐標系;0XY--圖像物理坐標系。 【【具體實施方式】】
[0106] 下面通過一個具體的視覺測量實例來驗證本發明所提出的設計方法的有效性。本 實例中使用兩架無人機做測試試驗，一架無人機作為加油機，一架作為受油機。受油機上安 裝如圖4所示的3D打印受油口模型作為測量對象，受油口周圍的7個凸臺涂上紅色作為測量 標志點，在加油機上安裝工業相機作為視覺傳感器獲取受油口的可見光圖像，使用機載微 型電腦搭建的視覺測量系統對獲取圖像序列進行處理。實例選取任意一帖圖像作為說明。 實驗計算機配置為巧-4210M處理器，2.60Ghz主頻，4G內存，軟件為visual studio 2010版 本。
[0107] 本實例的具體實現步驟如下：
[0108] 前期工作:相機的參數確定和空中硬式加油視覺測量圖像獲取
[0109] 通過張正友標定法確定公式（1 6 )中的相機參數矩陣為
[0110] 然后用標定好的相機拍攝，獲取加油相機序列，進行下一步圖像處理。
[0111] 步驟一:基于發光二極管(LED)的受油口目標識別
[0112] 本實例中，采用在受油口附近設置7個光標記點的方法，利用計算機視覺實現對光 標記點的檢測識別。
[0113] 通過攝像機獲取光標記點圖像，利用紅色標記點的顏色特征信息進行點的提取。 首先，進行顏色空間變換，攝像頭采集圖像進行彩色空間(RGB)到色相、飽和度和明度化SV) 化處理，得到H、S、VS個通道的圖像。RGB到HSV的變換數學公式見公式（1)-(3)。
[0114] 然后對變換之后的圖像進行闊值分割處理。選取其中光標記點最明顯的S通道圖 像進行中值濾波，并由給定闊值進行分割，得到二值化圖像。
[0115] 該二值化圖像可能存在噪聲，可W用腐蝕，膨脹等形態處理，將該噪聲去掉，檢測 到光斑區域，但光斑的數目及光斑中屯、點（光標記點）的坐標位置需要精確求解。根據mean shift的聚類思想，采用mean shift聚類算法求解運些光標記點的圖像坐標，為最后受油口 與攝像機相對位置測量做準備。
[0116] 最后，由公式(4)-(9)計算出光標記點區域每個像素在不同尺度上的顯著度均值， 由此得到每個光標記點區域的中屯、位置。每個標記點中屯、的圖像坐標為：
[0117]
[011引步驟二:L邸標志點中屯、點匹配
[0119] 在得到每個光標記點區域的中屯、坐標之后，需要將其與標志點的世界坐標進行擬 合才可W進行位姿的解算。
[0120] 利用公式（10)計算檢測點集{pi，化，…口。}和投影點集!A，知，之間的歐式距 離矩陣化r，利用公式（11)得到兩點集的歐式距離。再利用munkres算法，求解匹配結果。匹 配矩陣為：assi即=[1，2,3,4,5,6,7]τ。
[0121] 步驟Ξ:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉矩 陣進行求解
[0122] 要得到圖像坐標與攝像機坐標系的關系，首先需要知道相機參數，根據選用的相 機型號，公式16中的相機內參矩陣夫
[0123] 從公式（17)可W看出，對受油口位姿進行精確測量，實際上就是求解公式中的R和 Τ矩陣，設圖像序列在k時刻檢測、標記的特征點j的坐標是山vj UT，參數矩陣R和Τ為未知 向量X(k)的估計值ΧΟΗ的函數，利用克作)將第j個坐標點投影到成像平面，記作 咳；^ 利用公式（15)-(20),設置迭代最小偏差為IX 10-5,最大迭代次數為50,迭代 求解出受油口位姿。求解出該帖的位移矩陣為
利用計算得到的位姿關系，對7個標志點進行重投影，與Pi矩陣做差，得到重投影誤差為 0.07。
[0124] 接下來對連續圖像序列中的多幅圖像進行位姿求解，求解出的Ξ個姿態角變化曲 線見附圖5(a)、圖5(b)和圖5(c)所示，Ξ個方向的位移見附圖6(a)、圖6(b)和圖6(c)所示， 根據解算的結果通過重投影反解回標志點得到的中屯、點象素與步驟一得到的象素做差，可 計算得到重投影誤差，誤差曲線見附圖7。通過試驗結果可W發現，本發明能夠對硬式空中 加油模擬受油口的位姿進行精確測量。
【主權項】
1. 一種面向硬式空中加油的視覺測量方法，其特征在于，該方法的步驟如下： 步驟一:基于發光二極管LED的受油口目標識別 在視覺測量時，需要對受油口進行識別，在受油口附近設置7個紅色LED光標記點，利用 計算機視覺實現對光標記點的檢測識別； 1.1將圖像序列進行彩色空間RGB到色相、飽和度和明度HSV化處理： 通過相機獲取光標記點的位圖像，將光標記點設置成紅色，利用這個顏色特征信息進 行點提取;首先，將相機采集到的RGB圖像變換到HSV空間；對于Η、S、V三個通道的圖像，選取 其中光標記點最明顯的S通道圖像進行中值濾波，并由給定閾值進行分割，得到二值化圖 像;該二值化圖像存在噪聲，用腐蝕、膨脹的形態處理，將該噪聲去掉，檢測到光斑區域，但 光斑的數目及光斑中心點的坐標位置需要精確求解;根據均值平移mean shift的聚類思 想，采用mean shift聚類算法求解這些光標記點的圖像坐標，為最后受油口與相機相對位 置測量做準備； 色調Η表示顏色的色相，用角度來度量，取值范圍為0°~360°，從紅色才是按逆時針方 向計算，紅色為0°，綠色為120°，藍色為240° ;飽和度S表示顏色的純度，其取值范圍為0.0~ 1. 〇;亮度V表示顏色的亮度，取值范圍為0.0黑色~1.0白色，圓錐的頂面對應于V= 1，代表 的顏色最亮;令max為R、G、B三個分量的最大值，min為三個分量的最小值，r、g、b分別表示三 個分量的值，RGB到HSV的變換的數學公式如下所示：1.2對顏色空間變換后的圖像分別在H、S、V通道進行閾值分割： 由于檢測對象是受油口附近紅色光標記點，通過RGB顏色空間到HSV空間的變換得到三 個通道H、S、V通道圖像，其中S通道光標記點最為明顯，選擇S通道的圖像進行特定閾值分 害J，即檢測到目標光斑;分割得到的二值圖存在噪聲點，通過中值濾波及形態學的腐蝕膨脹 算子進行處理； 1.3光標記點中心定位： 在經過以上操作之后，能夠獲取LED標志點在圖像中的區域，在這一基礎上，還需要確 定每個區域的中心位置，也就是確定光標記點的中心；不同于背景像素有很多相似塊區域 分布在圖像各處，顯著點往往是聚集在一起;所以認為像素塊口:和與其相似的塊距離都很 近，則？1是顯著的，當相似塊都分布在較遠區域，則 ?1的顯著性不高；因此用cUmc^PuPj) 來度量像素塊pdPw之間的距離，即：式中，(^。^也心^^是像素塊口雨像素塊仍之間的距離^^&^和聲^^^表示分 別是像素塊Pi和像素塊Pj的圖像坐標； 結合上面兩個特征，對于兩個像素塊，采用一個相異度計算方法：式中c為系數，dpositiorXpi，Pj )含義與上式相同，cUlor (Pi，Pj )表示像素塊Pi和像素塊Pj在 顏色空間上的距離； 在計算像素塊Pl的顯著程度時，選擇K個與它最相似的像素塊作為參考集，如 果它與參考集的差異度很大，則認為它與圖像其他像素塊的相異度都很大；因此定義顯著 性式中r為尺度； 1.31多尺度顯著度增強 由于背景像素塊在多尺度上有很多相似的塊，而顯著像素塊只在幾個尺度上有類似的 塊，故引入多尺度方法來加強顯著區域與非顯著區域的對比度；因此修正如下：其中rme {R|R={ri，r2. . .γμ}}，rm為尺度，Μ為尺度的數目； 得出像素口:的顯著度為它在不同尺度上的均值：1.32區域顯著值修正 根據三分法的特性，認為在全局視角上，像素離交點的距離越近，它的顯著度越高，所 以顯著度公式修正為其中df _ (i)表示像素塊?1離交點的距離； 因此能找到顯著度最大的像素塊，取其中心作為光標記點中心； 步驟二:LED標志點中心點匹配 將塊擬合之后的點與標志點的世界坐標進行擬合，計算每個提到的點的圖像坐標與所 有標志點的世界坐標轉換成圖像坐標之后的圖像坐標之間的歐式距離，與哪個標志點最 近，就認為提到的某點為該標志點，從而賦予其世界坐標進行后面的計算； 特征點匹配即匹配標記連續幀圖像對應特征點的位置；因為已經給出了光標記點匕在 圖像上的投影方程，假定從攝像機采集圖像提取特征點得到的檢測點集為 中P』=(UhU)是圖像坐標，而投影點集為同時設對應的投影點集為 …兔j，其中為:= (?·},為)是利用針孔投影成像模型計算得到的在像素坐標系中 的坐標； 當檢測特征點與投影特征點匹配上時，兩個點集的歐式距離最小;檢測點集{Pl，p2，··· pn}和投影點免?/?,丨之間的歐式距離矩陣Err如下，其矩陣的維數為m Xη;點集間對應點的匹配問題用數學指派問題來描述，描述為： 假設有兩個點集A，Β，Slk表示集合Α中的點i與集合Β中的點k之間的歐式距離，求解兩個 點集的最小歐式距離，即表示為如下公式：S = {sij | sij = dist(ai,bj) ,aieA,bj eB, i = 1···Ν, j = 1···Μ} (12) Sik、Sij和dist(ai,bj)表示點之間的歐氏距離，Xik為示性函數，當點匹配上時值為1，否 則為〇; 求解上述最小歐式距離的解，利用匈牙利算法Hungarian，限于求解方陣即點數相同的 兩個點集，以及改進算法Munkres，求解非方陣，即兩個點數不一樣多的點集； 步驟三:利用高斯最小二乘微分校正算法對受油口相對相機的平移矩陣和旋轉矩陣進 行求解 3.1相機成像模型及各個坐標系定義說明： 針對硬管式空中加油問題，假定相機放置在加油機機身尾部下方伸縮管附近某一特定 位置，并事先已標定好;為了獲取受油機相對加油機的位置和姿態信息，在受油口附近設置 多個光標記點，用于對受油機機背上受油口的識別和定位，并由事先標定好的光標記點的 相對幾何位置關系及攝像機成像系統模型來求解上述位置和姿態信息； 基于視覺的導航系統為加油機和受油機的引導控制系統提供受油機相對加油機的位 置和姿態信息，對這些信息的求解首先需要定義加油機機體坐標系、受油機機體坐標系、攝 像機成像系統坐標系，及受油機坐標系，通過各個坐標系之間的關系來描述其相對幾何位 姿關系;各個坐標系的定義如下： Obi-xbiybizbi:受油機機體坐標系； Obl_Xb2yb2Zb2 :加油機機體坐標系； Oc-Xc^Z。:安裝在加油機上的攝像機成像坐標系； Od-xdydZd:受油口坐標系； Oe-xeyeze:大地坐標系； 視覺測量的功能就是求解受油機上的受油口坐標系Od-xdydZd的中心Od到加油機伸縮管 附近攝像機坐標系中心0。的距離dD，最后轉換為受油機和加油機質心間的相對距離和姿態； 加油機上的相機成像原理采用針孔攝像機數學模型來描述;為了從代數上描述上述幾 何投影關系，需要建立攝像機坐標系和圖像平面坐標系； 設攝像機坐標表示為〇c-Xcyczc，攝像機的焦距為f;空間點P c在攝像機坐標系中的歐氏 坐標記為(Mc^z。），它的像點p在圖像坐標系中的坐標記為(x，y)，根據三角關系，得到下 述關系：上式表述為：圖像物理坐標系以攝像機光軸與像平面的交點為原點，以毫米為單位;假設每一個像 素在X軸與y軸方向的物理尺寸為dx.dy，圖像物理坐標系原點在圖像坐標系中坐標為(u〇， vo)，則在圖像坐標系上的點(u，v)與圖像物理坐標系中對應點(X，y)的轉換關系表示為：為了使用方便，用齊次坐標與矩形形式來表示：而攝像機坐標(^。，2。）同受油口坐標(^，7<!，2(1)的坐標轉換是兩個三維坐標系之間 的變換，用一個旋轉矩陣R與一個位移矩陣t來描述，轉換關系的數學表達式如下：3.2基于高斯最小二乘微分校正算法的位姿測量 高斯最小二乘微分校正算法將高斯-牛頓法應用于表示估計點與檢測點之間偏差非線 性代價函數的最小化上； 設圖像序列在k時刻檢測、標記的特征點j的坐標是[uj Vj 1]τ，旋轉矩陣R和位移矩陣t 均為未知向量X(k)的估計值叉沐)的函數，利用無沃)將第j個坐標點投影到成像平面，記作 [W,巧1]%重新安排特征點坐標，得到：式1111 =[及外y，I.乂，^ 前三個參數分別是偏航角、俯仰角、滾轉角，后三個參數為 相對位移在X，y，z方向上的投影； k時刻處理算法提取達到的像素點集記為G〇(k)，視覺估計誤差AG(k)定義為：G〇(k) = [Ul，Vl，......Vm] (17) 高斯最小二乘微分校正算法迭代更新，迭代公式為：其中，i為迭代次數，W(k)為控制矩陣，礦⑷為心⑴的逆，的轉置^(k) 和Ai(k)定義如下：為偏導數符號； 迭代過程結束后，即估計點和檢測點的位置偏差充分小時，得出估計值 最優解，即解算出旋轉矩陣r和位移矩陣t，從而估計出飛機的位 姿。
【文檔編號】G06T7/00GK105825505SQ201610143150
【公開日】2016年8月3日
【申請日】2016年3月14日
【發明人】段海濱, 張聰, 李聰
【申請人】北京航空航天大學