動態圖像遮蔽系統和方法
【技術領域】
[0001]本公開總體涉及用于遠程感測圖像采集的系統和方法，更具體地涉及用于遠程感測圖像采集(諸如航空遠程感測圖像采集)的自動化動態圖像遮蔽系統和方法。
【背景技術】
[0002]遠程感測(諸如航空遠程感測)涉及傳感器和成像技術(諸如雷達成像系統、照相機成像系統、光檢測和測距(LIDAR)系統以及其他傳感器和成像系統)的使用，以獲得地面和地球表面以及遙遠物體的圖像。在航空遠程感測中普遍使用模擬航空攝影、錄像和數碼攝影來采集圖像。數碼攝影允許將遠程感測的數據實時地傳輸至地面或基站以進行直接分析，并且可以在計算機的幫助下分析并且解釋數字圖像。
[0003]然而，航空遠程感測圖像采集可能是繁重的，并且如果在圖像拍攝事件發生時成像系統未被正確地定位，則因此可能產生大量最低程度有用的信息。對于可以采集農田和農作物的圖像以確定植物健康和活力的精準農業(PA)類航空遠程感測任務而言，操作者必須能夠處理大面積的土地、圖像采集地點的唯一的和眾所周知分布、就范圍、飛行時間、海拔高度、位置和速度而言較好定義的飛行剖面、以及不同區域圖像的排除，如果不考慮，則其后者可以充分地阻礙精準農業(PA)類航空遠程感測操作。
[0004]例如，當飛行執行精準農業類航空遠程感測任務時，諸如無人駕駛飛行器(UAV)的飛行器可通過在其他居民區上方飛行而進入第一農場。可能不希望的是開始成像直至定位在第一農場上方，所以希望的是集成UAV的自動駕駛儀和成像系統并且允許自治操作。
[0005]用于航空遠程感測圖像采集的已知系統和方法可以包括在飛行員控制下飛行使飛行員定位在具有整個種植面積視野的局部田地中，并且因此不允許對于精準農業市場優選的自治操作。另外，沒有較好地定義的采集地帶，可以有太多土地或區域而不能成像，并且所采集的圖像數據的量可以完全蓋過傳感器和成像系統。進一步，被限制或出界并且不在定義的采集地帶中的數據可以無意中被成像并且采集。
[0006]此外，用于航空遠程感測圖像采集的已知系統和方法可以包括可被預編程(每η秒)或操作者觸發的手動操作快門控制。然而，對于精準農業市場使用的這類手動操作，可能需要進入指定為待成像的特定田地。這種選擇可能需要超過視線飛行以到達恰當的目的地，尤其當在低于地面高度以上400英尺的低海拔高度飛行時。然而，這類選擇可能是勞動密集型的、昂貴的，并且不會產生所希望的結果來解決精準農業市場。
[0007]另一種選擇可以是具有從成像照相機系統至地面控制器(飛行員和地面控制站操作者)的實況播送鏈接，其提供該區域的鳥瞰圖。當操縱時并且當拍照片時這可以用于提醒操作者。然而，這種選擇也可能是勞動密集型的并且不滿足對于精準農業市場的所有要求。
[0008]因此，在該領域中需要用于通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像并且用于提供遮蔽或改變像素的方法的動態圖像遮蔽系統的改進系統和方法，該像素對于圖像采集事件或任務(諸如精準農業任務)是不需要的或無關的，該改進的系統和方法提供優于已知的系統和方法的優點。
【發明內容】
[0009]本公開內容的示例性實施方式提供了一種通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像從而克服現有技術方案的局限性的動態圖像遮蔽系統的改進的系統和方法。如在以下詳細說明中所述，通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像的動態圖像遮蔽系統的改進的系統和方法可以提供優于現有系統和方法的顯著優勢。
[0010]在本公開內容的實施方式中，提供了一種用于通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像的動態圖像遮蔽系統。動態圖像遮蔽系統包括遠程感測平臺。
[0011]動態圖像遮蔽系統進一步包括與遠程感測平臺相關聯的成像系統。成像系統包括光學系統和圖像感測系統。
[0012]動態圖像遮蔽系統進一步包括與成像系統相關聯的多級安全系統。動態圖像遮蔽系統進一步包括位于成像系統和多級安全系統中的一個或多個圖像改變位置，其中，經由動態圖像遮蔽處理進行一個或多個圖像的改變。
[0013]動態圖像遮蔽系統進一步包括與成像系統相關聯的計算機系統。計算機系統包括看門人算法，被配置為將看門人命令發送至一個或多個控制器，該控制器通過動態圖像遮蔽處理來控制一個或多個圖像改變位置。
[0014]在本公開內容的另一個實施方式中，提供了一種用于通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像的方法。該方法包括給遠程感測平臺配備成像系統的步驟。該方法進一步包括指定用于成像的區域以獲得待成像的指定區域的步驟。該方法進一步包括在待成像的指定區域的表面上建立多個基準點的步驟。
[0015]該方法進一步包括將多個特定表面區域指定為不參考多個基準點成像的排除區域的步驟。該方法進一步包括控制覆蓋待成像的指定區域的預建立的采集計劃處理的步驟。
[0016]該方法進一步包括使用包含全球定位系統(GPS)、基于無線電的導航系統、基于光學的導航系統、慣性測量單元(MU)系統、配備有磁力儀的慣性測量單元(IMU)系統或其組合的導航系統來定位成像系統，從而使待成像的指定區域成像的步驟。該方法進一步包括使用成像系統來使由預建立的采集計劃處理覆蓋的待成像的指定區域成像的步驟。
[0017]該方法進一步包括使排除區域的一個或多個圖像中的一個或多個像素動態地無效的步驟。該方法進一步包括通過對待成像的指定區域進行動態圖像遮蔽來獲得過濾的自治遠程感測圖像的步驟。
[0018]在本公開內容的另一個實施方式中，提供了一種用于通過動態圖像遮蔽處理提供過濾的自治遠程感測圖像的方法。該方法包括給無人駕駛飛行器(UAV)配備成像系統的步驟。該方法進一步包括指定用于成像的區域以獲得待成像的指定區域的步驟。該方法進一步包括在待成像的指定區域的表面上建立多個基準點的步驟。
[0019]該方法進一步包括將多個特定表面區域指定為不參考多個基準點成像的排除區域的步驟。該方法進一步包括控制覆蓋待成像的指定區域的預建立的UAV飛行計劃的步驟。
[0020]該方法進一步包括使用包含全球定位系統(GPS)、基于無線電的導航系統、基于光學的導航系統、慣性測量單元(MU)系統、配備有磁力儀的慣性測量單元(IMU)系統或其組合的導航系統來定位成像系統，從而使待成像的指定區域成像的步驟。該方法進一步包括使UAV飛行在待成像的指定區域上方、并且使用成像系統來使由預建立的UAV飛行計劃覆蓋的待成像的指定區域成像的步驟。
[0021]該方法進一步包括使排除區域的一個或多個圖像中的一個或多個像素動態地無效的步驟。該方法進一步包括通過對待成像的指定區域的動態圖像遮蔽來獲得過濾的自治遠程感測圖像的步驟。
[0022]所討論的特征、功能、以及優點可以在本公開內容的各種實施方式中獨立實現或者可以在又一些其他實施方式中結合，參考下列描述和附圖可以獲得本公開內容的更多細
-K-
T O
【附圖說明】
[0023]參考結合示出了優選的和示例性的實施方式的附圖的以下詳細描述可更容易地理解本公開內容，但是附圖不必按比例繪制，在附圖中:
[0024]圖1是可在本公開內容的動態圖像遮蔽系統的實施方式以及方法的實施方式中使用的成像系統的系統框圖的示意圖；
[0025]圖2是具有圖1的成像系統的本公開內容的動態圖像遮蔽系統的實施方式的系統框圖，并且示出動態圖像遮蔽系統中的看門人算法和多個圖像改變位置的示意圖；
[0026]圖3是在本公開內容的動態圖像遮蔽系統實施方式中以及方法的實施方式使用的看門人算法的功能框圖的示意圖；
[0027]圖4A是本公開內容的動態圖像遮蔽系統的實施方式之一的系統框圖的示意圖；
[0028]圖4B是本公開內容的動態圖像遮蔽處理的實施方式之一的系統框圖的示意圖；
[0029]圖5A是本公開內容的方法實施方式的流程圖的示意圖；
[0030]圖5B是本公開內容的方法的另一個實施方式的流程圖的示意圖；
[0031]圖6是可在本公開內容的動態圖像遮蔽系統以及方法的實施方式中使用的無人駕駛飛行器(UAV)的示意性表示的示意圖；
[0032]圖7是飛機制造和保養方法的實施方式的流程圖的示意圖；并且
[0033]圖8是飛機的實施方式的功能框圖的示意圖。
【具體實施方式】
[0034]在下文中將參考附圖更為全面地描述所公開的實施方式，附圖中示出了一些但并非全部公開的實施方式。當然，可以提供多個不同的實施方式并且不得被解釋為局限于本公開中所闡述的實施方式。相反地，提供這些實施方式從而使本公開內容變得詳盡并且將本公開內容的范圍充分地傳達給本領域技術人員。
[0035]參考附圖，圖1是可在本公開內容的動態圖像遮蔽系統10(參考圖2)、方法150(參見圖5A)以及方法170(參見圖5B)的實施方式中使用的成像系統12的實施方式的系統框圖的示意圖。
[0036]如圖1所示，成像系統12與遠程感測平臺14相關聯，并且包括光學系統20和圖像感測系統22。諸如照相機20a(也參見圖4A)的光學系統20(參見圖1)表示全世界的光學取景(optical view)。采集計劃過程16(參見圖1)將采集計劃過程的輸出18(參見圖1)輸出至光學系統20(參見圖1)。光學系統20(參見圖1)將原始圖像數據輸出24輸出至焦點平面陣列子系統22a(參見圖1)的焦點平面陣列26(參見圖1)。
[0037]如圖1所示，圖像感測系統22(參見圖1)可以包括焦點平面陣列子系統22a(參見圖1)，并且焦點平面陣列子系統22a包括焦點平面陣列26、模數轉換器(A/D)30、易失性臨時存儲器34、數字信號處理器38以及數模轉換器(D/A)54。
[0038]焦點平面陣列26(參見圖1)讀取原始圖像數據24(參見圖1)并且將其28傳遞至模數轉換器30(參見圖1)。模數轉換器30(參見圖1)將模數轉換器輸出32(參見圖1)輸出至易失性臨時存儲器34(參見圖1)，在易失性臨時存儲器34中臨時地存儲圖像122(參見圖4A)(隨后的圖像改寫(overwrite，覆蓋)當前圖像)。易失性臨時存儲器34(參見圖1)然后將易失性臨時存儲器輸出36(參見圖1)輸出至數字信號處理器38(參見圖1)。在數字信號處理器38(參見圖1)中可以進行若干動作，包括例如讀取數字信號37(參見圖4B)、調整增益、通過拜爾(Bayer)過濾器(S卩，例如，用于將RGB(紅色、綠色、藍色)濾色器布置在光傳感器的正方形網格上以得到jpg文件格式的濾色器陣列(CFA))處理數字信號37(參見圖4B)、以及執行諸如邊緣銳化的圖像增強技術。在通過數字信號處理器38(參見圖1)將數字信號37(參見圖4B)處理為可讀圖像格式39(參見圖4B)之后，數字信號處理器38(參見圖1)輸出數字輸出40(參見圖1)從而存儲在多級安全系統42(參見圖1)的非易失性結果存儲器(resultantst0rage)44(參見圖1)中。如果有必要，可以從非易失性結果存儲器44(參見圖1)中將非易失性結果存儲器輸出46(參見圖1)輸出至多級安全系統42(參見圖1)的后處理過程48(postprocessing process)(參見圖1)從而進行后處理。后處理過程48(參見圖1)輸出經后處理的輸出產物49(參見圖1)。
[0039]如果光學系統20是模擬的，則數字信號處理器38(參見圖1)將數字信號處理器輸出信號52(參見圖1)輸出至數模轉換器54(參見圖1)，并且數模轉換器54(參見圖1)轉換信號為模擬的，并且輸出模擬輸出56(參見圖1)。可以在視頻編輯系統58(參見圖1)中使用或存儲模擬輸出56 (參見圖1)。
[0040]在本公開內容的實施方式中，提供了一種用于通過動態圖像遮蔽處理11(參見圖4A至圖4B)提供過濾的自治遠程感測圖像51(參見圖2、圖4A)的動態圖像遮蔽系統10(參見圖2、圖4A)。圖2是具有圖1的成像系統12的本公開內容的動態圖像遮蔽系統1的實施方式的系統框圖，并且示出在動態圖像遮蔽系統10中的看門人(GK)算法60和多個圖像改變位置90的示意圖。
[0041 ]圖2示出在其中可以改變一個或多個圖像122(參見圖4A)中的一個或多個像素126(參見圖4B)從而產生遮蔽的圖像50(諸如過濾的自治遠程感測圖像51)的圖像改變位置90。圖4A是本公開內容的動態圖像遮蔽系統10的實施方式中的一個的系統框圖的示意圖。圖4B是本公開內容的動態圖像遮蔽處理11的實施方式中的一個的系統框圖的示意圖。
[0042]在詳細地論述圖2和圖4A中示出的動態圖像遮蔽系統10之前，將論述看門人算法60(參見圖2、圖3、圖4B)。圖3是在本公開內容的動態圖像遮蔽系