無人機航拍視頻去抖方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種無人機航拍視頻去抖方法，特別是涉及 一種基于圖像邊緣檢測與霍夫變換的直線提取方法與基于直線角度直方圖的道路方向檢 測方法和基于道路方向旋轉(zhuǎn)圖像的校正方法，以實現(xiàn)圖像去抖的目的。
【背景技術(shù)】
[0002] 無人機因為具有機動性強、視野廣、飛行路線不受地形限制等優(yōu)點，而被廣泛應(yīng)用 于測繪、航拍、交通監(jiān)控等領(lǐng)域。兩軸和三軸穩(wěn)定云臺的應(yīng)用消除了航拍圖像由于無人機姿 態(tài)調(diào)整、外部條件(陣風)等造成的圖像抖動問題，但在很多應(yīng)用場景，如無人機高速路交通 監(jiān)控，由于無人機不具有智能識別道路的能力，造成無人機的飛行前進方向與道路方向的 夾角時刻變化，從而造成航拍圖像中道路抖動的問題，這種抖動不論是對地面人員通過圖 像監(jiān)控交通態(tài)勢，還是對基于圖像處理方法進行交通參數(shù)提取都帶來了很大的障礙。因此， 發(fā)明智能道路航拍圖像去抖方法就顯得尤其重要。
[0003] 目前，航拍圖像的圖像去抖方法主要有機械去抖和配準方法去抖兩種方式。硬件 去抖，即將圖像采集設(shè)備安裝于具有自增穩(wěn)功能的機械云臺上，這種方式消除的是航拍圖 像由于無人機姿態(tài)調(diào)整、外部條件(陣風)等造成的圖像抖動。圖像配準方法，通過跟蹤圖像 中的特征點獲取圖像背景的運動，從而通過仿射變換方法消除抖動，這類去抖需要提前選 取基礎(chǔ)配準幀。在實際的無人機交通監(jiān)控應(yīng)用中，用戶感興趣的是道路區(qū)域，需要獲取的是 穩(wěn)定的道路圖像，對于這種應(yīng)用場景，由于現(xiàn)有去抖方法無法感知道路區(qū)域，因此無法有針 對性的消除道路航拍圖像抖動問題。
【發(fā)明內(nèi)容】
[0004] 針對現(xiàn)有圖像去抖方法無法智能消除無人機道路航拍圖像中道路抖動的問題，本 發(fā)明提出了基于道路方向直方圖的圖像去抖方法，采用基于道路方向直方圖的方法進行道 路航拍圖像去抖。本發(fā)明為基于道路方向直方圖的道路航拍圖像去抖方法，首先通過道路 方向直方圖檢測提取道路方向，然后基于道路方向旋轉(zhuǎn)圖像，實現(xiàn)道路航拍圖像去抖。本發(fā) 明的圖像去抖方法能夠智能感知道路方向，從而實現(xiàn)現(xiàn)有方法所不能實現(xiàn)的圖像去抖。
[0005] 本發(fā)明以全新的研究著入點，提出一種可以普遍適用的道路航拍圖像去抖辦法， 通過下述步驟實現(xiàn)：
[0006] 步驟1:道路航拍圖像預(yù)處理
[0007] 對無人機航拍視頻進行解幀，獲取單幀RGB彩色道路航拍圖像，并將RGB彩色圖像 轉(zhuǎn)換為灰度圖；
[0008] 步驟2:基于航拍圖像提取直線
[0009] 采用Canny邊緣檢測算子處理上步中的灰度圖獲取邊緣輪廓圖，基于霍夫變換檢 測邊緣輪廓圖，獲取直線；
[0010] 步驟3:計算直線方向直方圖
[0011]計算上步中檢測到的直線的角度，然后計算直線相對角度直方圖。提取直方圖中 最大的峰值點對應(yīng)的角度，該角度即為該幀航拍圖像中道路的方向。
[0012]步驟4:航拍圖像校正去抖
[0013] 將道路航拍圖像順時針旋轉(zhuǎn)上步中獲得的角度的大小，即可將航拍圖像中朝向不 同的道路一致調(diào)整為水平方向，從而實現(xiàn)道路航拍圖像去抖。
[0014] 本發(fā)明的優(yōu)點在于：
[0015] (1)本發(fā)明利用無人機航拍道路圖像檢測提取出的直線大多與道路方向平行的特 點，建立直線相對角度直方圖，通過檢測直方圖最大的峰值點對應(yīng)的角度，可得到航拍圖像 中道路的方向，根據(jù)該角度旋轉(zhuǎn)圖像將道路調(diào)整為水平方向，實現(xiàn)航拍圖像去抖；
[0016] (2)本發(fā)明基于圖像處理技術(shù)，通過智能感知道路方向并旋轉(zhuǎn)航拍圖像，從而實現(xiàn) 無人機道路航拍圖像的去抖；
[0017] (3)本發(fā)明可適應(yīng)各種道路場景下的航拍圖像去抖，具有很好地魯棒性，運算速度 快且不需要外部數(shù)據(jù)支持(如GIS地圖數(shù)據(jù)），擁有多點創(chuàng)新。
【附圖說明】
[0018] 圖1為航拍圖像的灰度圖；
[0019] 圖2為基于Canny邊緣檢測算子檢測邊緣輪廓圖；
[0020] 圖3為基于霍夫變換檢測直線圖；
[0021] 圖4為圖像坐標系與直線角度方向定義圖；
[0022]圖5為直線方向相對直方圖；
[0023]圖6為基于道路方向水平校正圖；
[0024]圖7為本發(fā)明的方法流程圖。
【具體實施方式】
[0025]下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。
[0026]本發(fā)明提供一種基于道路方向直方圖的航拍圖像去抖方法，所述去抖方法首先對 提取的道路航拍圖像進行預(yù)處理轉(zhuǎn)換為灰度圖；然后基于Canny邊緣檢測算子檢測灰度圖 獲取邊緣輪廓圖，然后對邊緣輪廓圖進行霍夫變換檢測直線;計算檢測到的直線的角度并 計算直線方向相對角度直方圖，提取相對角度直方圖最大的峰值所對應(yīng)的直線的角度，即 獲得了道路方向；然后基于檢測到的道路方向?qū)⒃己脚膱D像進行瞬時針旋轉(zhuǎn)，可將道路 旋轉(zhuǎn)為水平方向，實現(xiàn)航拍圖像去抖。上述基于道路方向直方圖的航拍圖像去抖方法，流程 如圖7所示，具體處理步驟如下：
[0027]步驟1:道路航拍圖像預(yù)處理
[0028]對道路航拍視頻進行解幀獲取RGB彩色圖像，將RGB彩圖轉(zhuǎn)換為灰度圖，如圖1所 不。
[0029]步驟2:基于航拍圖像提取直線
[0030]獲得了灰度圖像后，接下來通過Canny邊緣檢測算子對灰度圖進行處理，獲得二值 的邊緣輪廓圖，如圖2所示，對圖2的輪廓圖進行霍夫變換，檢測并獲得直線圖，如圖3所示。 [0031]步驟3:計算直線方向直方圖
[0032]計算圖1中每條直線的角度，其中直線角度的定義如圖4所示，其中0(0,0)為圖像 像素坐標的原點，以〇(〇，〇)為起點，向右為圖像的列坐標軸，向下為圖像的行坐標軸。對圖3 中的任意一條直線i，其兩個端點分別為P1和P2,其中P1與P2的像素坐標分別為(ci_i，ri_i) 和( Ci_2，ri_2)，奶為直線i與水平方向的夾角，的表示將一條水平直線逆時針旋轉(zhuǎn)到與直線 i平行時所轉(zhuǎn)過的角度，任一直線i的角度機的計算方法如下式(1)所示：
[0034] 其中，<Ρ?為整數(shù)，計算時采用四舍五入的方法處理，且明e [0' 180%
[0035] 基于計算出的直線角度，計算相對角度直方圖，其詳細步驟如下所示：
[0036] (1)確認圖3中檢測到的直線的數(shù)量η;
[0037] (2)設(shè)置 180個小區(qū)間 θρθ·，其中：區(qū)間為 ^=[0。，1。），02=[1。，2。），…，0i = [(i-l)° ,?0),···,θ?80=[179° ,180°)；
[0038] (3)對于圖3中檢測到的η條直線(η為步驟（1)中確認得到），對直線角度進行統(tǒng)計， 若角度為的直線有m條，則認為角度0i出現(xiàn)的次數(shù)為 m次，這里用h(0i)代表直線角度01出 現(xiàn)的次數(shù)，即頻次。
[0039] (4)對步驟(3)中統(tǒng)計的直線角度出現(xiàn)的頻次ΜΘ,)進行歸一化處理，計算每個直 線角度1出現(xiàn)的相對頻率!1(0〇，計算方法為!1(0〇=]1(0〇/11。頻次11(0〇歸一化的目的是簡 化計算，縮小量值。
[0040] (5)繪制相對直線角度直方圖，如圖5所示，直方圖的橫軸表示直線方向角，其定義 域為[0°，180°)，縱軸表示直線角度出現(xiàn)的相對頻率，其值域為[0，1]。如圖5所示的直方圖 中，每個角度對應(yīng)的直線的高度值為步驟(4)中計算得到的相對頻率值H( )，圖5中高度 值最大的直線所對應(yīng)的相對頻率值稱為最大直方圖峰值。
[0041] (6)圖5中最大峰值 H(0k)通過式 算得到，其中9k為最大直方圖峰值所對應(yīng)的直線角度。
[0042]角度9k即為該幀圖像中道路的方向。道路方向的檢測原理是:在航拍圖像中，道路 及周邊結(jié)構(gòu)的輪廓線與道路方向是平行的，因此圖3中直線角度出現(xiàn)的相對頻率最大的角 度即為道路的方向，而且該原理對一般的直線道路都是適用的。
[0043]步驟4:航拍圖像校正去抖
[0044]將道路航拍圖像順時針旋轉(zhuǎn)9k度，即可將圖像中的道路校正為水平方向，校正后 的圖像如圖6所示。
[0045]通過將步驟1到步驟4重復(fù)進行，即可基于道路方向校正實現(xiàn)航拍視頻去抖的目 的。
【主權(quán)項】
1. 無人機航拍視頻去抖方法，包括以下幾個步驟： 步驟1:道路航拍圖像預(yù)處理 對無人機航拍視頻進行解幀，獲取單幀RGB彩色道路航拍圖像，并將RGB彩色圖像轉(zhuǎn)換 為灰度圖； 步驟2:基于航拍圖像提取直線 采用Canny邊緣檢測算子獲取灰度圖邊緣輪廓圖，基于霍夫變換檢測邊緣輪廓圖，獲取 直線； 步驟3:計算直線方向直方圖 計算直線的角度，然后計算直線相對角度直方圖，提取直方圖中最大的峰值點對應(yīng)的 角度9k，該角度即為該幀航拍圖像中道路的方向； 步驟4:航拍圖像校正去抖 將道路航拍圖像順時針旋轉(zhuǎn)角度9k，即將航拍圖像中朝向不同的道路一致調(diào)整為水平 方向，實現(xiàn)道路航拍圖像去抖。2. 根據(jù)權(quán)利要求1所述的無人機航拍視頻去抖方法，所述的步驟3具體為： 設(shè)邊緣輪廓圖的左上角為圖像像素坐標的原點〇(〇,〇)，以〇(〇,〇)為起點，向右為圖像 的列坐標軸，向下為圖像的行坐標軸，設(shè)任意一條直線i，其兩個端點分別為Pl和P2,其中Pl 與P2的像素坐標分別為(mi)和(ci_2，ri_2)肩為直線i與水平方向的夾角肩表不將一 條水平直線逆時針旋轉(zhuǎn)到與直線i平行時所轉(zhuǎn)過的角度，任一直線i的角度豹的計算方法如 下式(1)所示：其中，Φι為整數(shù)，計算時四舍五入，且(Pi e [0。, 180。); 基于計算出的直線角度，計算相對角度直方圖，具體為： (1) 設(shè)步驟2中獲取的直線數(shù)量為η; (2) 設(shè)置 180 個小區(qū)間Q1-Q18O,其中：區(qū)間為":=^^^；^=^'〗。)，···，!=^。 1)°4°)，···，θ 180=[179°，180°); (3) 對于η條直線，對直線角度進行統(tǒng)計，若角度為0,的直線有m條，則認為角度Q1出現(xiàn)的 次數(shù)為m次，采用Me 1)表示直線角度Q1出現(xiàn)的次數(shù)，即頻次； (4) 對步驟(3)中得到的直線角度出現(xiàn)的頻次I1(Q1)進行歸一化處理，計算每個直線角度 Qi出現(xiàn)的相對頻率H(Qi)，計算方法為H(0i)=h(0i)/n; (5) 繪制相對直線角度直方圖，直方圖的橫軸表示直線方向角，其定義域為[0°，180°)， 縱軸表示直線角度出現(xiàn)的相對頻率，其值域為[〇，1];相對角度直方圖中高度值最大的直線 所對應(yīng)的相對頻率值為直方圖峰值； (6) 直方圖最大峰值H(0k)通過式H(Qk)=MaxIH(Q1)，Η(Θ 2)，...，Η(θ〇，...，Η(θ18〇)}計 算得到，其中9k為直方圖峰值所對應(yīng)的直線角度； 角度Gk即為該幀圖像中道路的方向。
【專利摘要】本發(fā)明公開了一種無人機航拍視頻去抖方法，包括步驟1：道路航拍圖像預(yù)處理；步驟2：基于航拍圖像提取直線；步驟3：計算直線方向直方圖；步驟4：航拍圖像校正去抖；本發(fā)明利用無人機航拍道路圖像檢測提取出的直線大多與道路方向平行的特點，建立直線相對角度直方圖，通過檢測直方圖最大的峰值點對應(yīng)的角度，可得到航拍圖像中道路的方向，根據(jù)該角度旋轉(zhuǎn)圖像將道路調(diào)整為水平方向，實現(xiàn)航拍圖像去抖。本發(fā)明基于圖像處理技術(shù)，通過智能感知道路方向并旋轉(zhuǎn)航拍圖像，從而實現(xiàn)無人機道路航拍圖像的去抖。
【IPC分類】H04N9/04, H04N5/357
【公開號】CN105450950
【申請?zhí)枴緾N201510888639
【發(fā)明人】王云鵬, 徐永正, 余貴珍, 吳新開, 馬亞龍
【申請人】北京航空航天大學(xué)
【公開日】2016年3月30日
【申請日】2015年12月7日