飛行裝置、飛行控制系統及方法

飛行裝置、飛行控制系統及方法
【專利說明】飛行裝置、飛行控制系統及方法 【技術領域】
[0001] 本發明設及一種方法，尤其設及一種用于控制飛行裝置的飛行控制方法、飛行控 制系統及飛行裝置。 【【背景技術】】
[0002] 目前，無人機等飛行裝置由于其便捷性和安全性，已經廣泛應用于農業生產、地質 勘測、氣象監測、電力線巡查、搶險救災輔助、視頻拍攝、地圖繪建等領域。在無人機的控制 中，對無人機進行速度偵測及/或定位控制，是一個關鍵的技術。目前對無人機進行速度偵 測及/或定位控制大都通過GPS(global positioning system，全球定位系統)進行定位，然 而，當無人機處于GPS信號較弱或GPS信號未覆蓋的區域時，將無法對無人機進行速度偵測 及/或定位控制。此外，目前對無人機進行速度偵測及/或定位控制大都通過基于一通用場 景的算法進行，然而，當無人機實際處于場景與該通用場景差別較大時，基于通用場景的算 法往往導致無法準確地定位。 【
【發明內容】
】
[0003] 有鑒于此，本發明提供一種飛行裝置及飛行控制方法，不依賴GPS即可對飛行裝置 進行速度偵測及定位控制。
[0004 ]為解決上述技術問題，本發明提供W下技術方案。
[000引一方面，本發明提供一種飛行控制系統，用于控制一飛行裝置，該飛行控制系統包 括獲取模塊，用于獲取飛行裝置的相機模組采集的圖像W及獲取飛行裝置的距離傳感器感 測到的飛行裝置的高度;場景確定模塊，用于確定飛行裝置當前所處的場景；圖像偏移量確 定模塊，用于根據相機模組采集的兩帖相鄰圖像W及飛行裝置當前所處的場景，計算該兩 帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像X偏移量及圖像Y偏移量;偏移量校準 模塊，用于獲取飛行裝置的加速度傳感器偵測到的飛行裝置在Ξ維方向上的加速度及角速 度，并根據該飛行裝置的加速度及角速度對該圖像Χ、γ偏移量進行補償而得到包括校正后 的圖像X偏移量和圖像Υ偏移量的圖像校正偏移量；W及速度計算模塊，用于通過相機模組 的鏡頭焦距、飛行裝置的高度W及該圖像校正偏移量計算該圖像校正偏移量對應的世界坐 標的Χ、γ偏移量，并根據該兩帖相鄰圖像采集的時間間隔W及該世界坐標的Χ、γ偏移量求出 該飛行裝置的速度。
[0006] 在一些實施例中，所述飛行控制系統還包括一運行控制模塊，用于至少基于該飛 行裝置的速度對飛行裝置進行定位及/或懸停控制。
[0007] 在一些實施例中，所述場景確定模塊根據相機模組采集的圖像中的至少一個參數 確定飛行裝置所處的場景，所述圖像偏移量確定模塊根據飛行裝置所處場景對應的算法分 析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像 的圖像Χ、γ偏移量。
[0008] 在一些實施例中，所述至少一個參數包括紋理，所述場景確定模塊采用sobel梯度 算法對圖像進行處理，得到梯度矩陣，統計梯度矩陣中梯度大于第一預定闊值的像素的個 數，并判斷所統計像素的個數大于第二闊值時，當前場景為紋理豐富的場景，W及在判斷所 統計的像素的個數小于或等于第二閥值認為紋理比較少，當前場景為紋理較少的場景;所 述圖像偏移量確定模塊并在當前場景為紋理豐富的場景時采用灰度模板匹配算法分析該 兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖 像Χ、γ偏移量，W及在當前場景為紋理較少的場景時采用sobel梯度模板匹配算法分析該兩 帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像 Χ、Υ偏移量。
[0009] 在一些實施例中，所述至少一個參數還包括倒影，所述場景確定模塊根據連續多 帖圖像進行陰影統計，判斷是否有倒影，從而確定該場景為有倒影的場景或無倒影的場景， 所述圖像偏移量確定模塊在飛行裝置當前所處的場景為有倒影場景時，去除圖像中的陰 影，并去除陰影后，判斷是否為紋理豐富的場景，并在當前場景為紋理豐富的場景時采用灰 度模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像 相對于第一帖圖像的圖像Χ、Υ偏移量，W及在當前場景為紋理較少的場景時采用sobel梯度 模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像相 對于第一帖圖像的圖像Χ、Υ偏移量。
[0010] 在一些實施例中，所述至少一個參數還包括灰度，所述場景確定模塊根據圖像的 灰度值將圖像轉換為灰度直方圖并進行統計得到統計值，并將統計值與相應的闊值進行比 較，檢測出場景是否屬于偏暗、普通亮度、或者偏亮的場景，所述圖像偏移量確定模塊在飛 行裝置當前所處的場景為光照偏亮或者偏暗的場景時，對圖像進行直方圖均衡化，將圖像 亮度調為均勻，然后判斷是否為紋理豐富的場景，并在當前場景為紋理豐富的場景時采用 灰度模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖 像相對于第一帖圖像的圖像Χ、Υ偏移量，W及在當前場景為紋理較少的場景時采用sobel梯 度模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖像 相對于第一帖圖像的圖像Χ、Υ偏移量。
[0011] 在一些實施例中，所述至少一個參數還包括線條，所述場景確定模塊對圖像做梯 度檢測，進行二值化處理，然后使用hou曲直線檢測，判斷是否有直線，如果判斷有至少一條 直線且直線長度占圖像寬度至少1/2的，則判斷所述場景為線條豐富場景;所述圖像偏移量 確定模塊在飛行裝置當前所處的場景為線條豐富的場景時，劃分直線為水平方向的直線和 垂直方向的直線，在上一帖圖像中找一條和當前圖像檢測到的水平方向的直線角度差最小 的直線，計算兩條角度差最小的直線的距離得到第一距離，當第一距離不在[-R，R]時設置 為0,其中R是設定的移動范圍，在上一帖圖像中找一條和當前圖像檢測到的垂直方向的直 線的角度差最小的直線，計算所述兩條角度差最小的直線的距離得到第二距離，當第二距 離不在[-R，R]時設置為0,直線定位得到的第一距離、第二距離就是相鄰兩帖圖像的圖像X、 Y偏移量。
[0012] 在一些實施例中，所述圖像偏移量確定模塊在當前場景為紋理豐富的場景時采用 灰度模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二帖圖 像相對于第一帖圖像的圖像Χ、γ偏移量包括:所述圖像偏移量確定模塊設當前圖像寬高分 另IJ為W和Η，設定一模板圖Τ大小為Μχ X My，Μχ = W-8，My = Η-8，模板圖Τ從當前帖圖像[4，4 ]的 位置獲得;設定匹配圖s大小為NxXNy，其中Nx=W，Ny = H，匹配圖S從上一帖圖像獲得，所述 圖像偏移量確定模塊在匹配時將模板圖疊放在匹配圖上平移，模板圖覆蓋下的那炔基準圖 中的捜索子圖為S(i，j)，i，j為運塊子圖的左上角像點在匹配圖S中的位置，i和j在[-4,4] 范圍內取值，S(0,0)對應A的[4,4]位置，所述圖像偏移量確定模塊并在匹配時通過計算相 關函數SAD來找到與模板圖盡可能相似的捜索子圖W及它的坐標位置i和j，T和S(i，j)的 SAD最小的值為相鄰兩帖圖像的圖像Χ、Υ偏移量，其中，SAD是指將兩幅圖像每個位置對應像 素差值的絕對值進行累加求和的過程。
[0013] 在一些實施例中，所述圖像偏移量確定模塊在當前場景為紋理較少的場景時采用 sobel梯度模板匹配算法分析該兩帖圖像中的參數的變化而計算該兩帖相鄰圖像中的第二 帖圖像相對于第一帖圖像的圖像Χ、Υ偏移量包括:所述圖像偏移量確定模塊通過Sobel算子 進行邊緣檢測，并使用二維模板進行計算，二維模板包括用于水平方向差分運算的水平模 板和用于垂直方向差分運算的垂直模板;所述圖像偏移量確定模塊使用水平模板和垂直末 班進行平面卷積運算，分別計算水平方向卷積fx和垂直方向卷積fy，求其梯度值G為fx的平 方與fy的平方和的平方根，然后，分別對相鄰兩幅圖像做梯度運算得到梯度值矩陣A和B，其 中A為上帖圖像的Sobel梯度矩陣，B為當前帖圖像的Sobel梯度矩陣;所述圖像偏移量確定 模塊并設定模板圖T小為Mx X My，Mx=W-8，My = H-8，模板圖T從B的[4，4 ]位置獲得;所述圖 像偏移量確定模塊并設定匹配圖S大小為NxXNy，其中Nx=W，Ny = H，匹配圖S從A獲得;所述 圖像偏移量確定模塊在匹配時將模板圖疊放在匹配圖上平移，模板圖覆蓋下的那炔基準圖 中的捜索子圖為S(i，j)，i，j為運塊子圖的左上角像點在匹配圖S中的位置，i和j在[-4,4] 范圍內取值，S(0,0)對應A的[4,4]位置，對梯度值矩陣T和S(i，j)做差運算法，得到矩陣差 值矩陣C，將C矩陣中符合下面條件1和條件2的每個元素絕對值進行累加，得到和SS(i，j)， 其中，條件1為A[r，c]〉T、條件2為B[r，c]〉T;其中，A[r，c]是梯度值矩陣A中r，c位置的梯度 值，[r，c]是梯度值矩陣B中r、c位置的梯度值，'〉=0且六17，(3〉= 0且六版，1'是梯度闊值，其 中SS( i，j)最小的值對應的（i，j)位置為相鄰兩帖圖像的圖像X、Y偏移量。
[0014] 在一些實施例中，所述速度計算模塊根據公式l:xl/Xl = f/的十算所述世界坐標的 X偏移量，W及根據公式2:yl/Yl = f/H計算所述世界坐標的Y偏移量，其中，XI為校正后的圖 像X偏移量，yl為校正后的圖像Y偏移量，f為鏡頭焦距，Η為飛行裝置的高度，XI為世界坐標 的X偏移量，Υ1為世界坐標的Υ偏移量;所述速度計算模塊并根據該相機模組采集該兩帖相 鄰圖像的時間間隔為W及該世界坐標的Χ、Υ偏移量計算得出飛行裝置在X方向上的速率W 及在Υ方向上的速率。
[0015] 另一方面，本發明提供一種飛行控制方法，用于控制飛行裝置，所述飛行控制方法 包括:獲取飛行裝置的相機模組采集的圖像W及獲取飛行裝置的距離傳感器感測到的飛行 裝置的高度;確定飛行裝置當前所處的場景;根據相機模組采集的兩帖相鄰圖像W及飛行 裝置當前所處的場景，計算所述兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像X 偏移量和圖像Υ偏移量;獲取飛行裝置的加速度傳感器偵測到的飛行裝置在Ξ維方向上的 加速度及角速度，并根據所述飛行裝置的加速度及角速度對所述圖像X偏移量和圖像Υ偏移 量進行補償而得到包括校正后的圖像X偏移量和圖像Υ偏移量的圖像校正偏移量；W及通過 相機模組的鏡頭焦距、飛行裝置的高度W及所述圖像校正偏移量計算所述圖像校正偏移量 對應的世界坐標的Χ、Υ偏移量，并根據所述兩帖相鄰圖像采集的時間間隔W及所述世界坐 標的Χ、γ偏移量求出所述飛行裝置的速度。
[0016] 在一些實施例中，所述方法還包括步驟:至少基于所述飛行裝置的速度對飛行裝 置進行定位及/或懸停控制。
[0017] 在一些實施例中，所述步驟"確定飛行裝置當前所處的場景所述場景"包括:根據 相機模組采