專利名稱：多衛星遙感數據一體化并行地面預處理系統的制作方法
技術領域：
本發明涉及遙感數據地面預處理技術領域，特別涉及一種基于并行機群架 構的高性能多衛星遙感數據地面預處理系統。
背景技術：
遙感衛星地面預處理系統是集衛星數據存檔與管理、數據預處理與產品生 成于一體的綜合系統，是空間對地觀測系統的重要支撐系統，是關聯空間數據 獲取和地面應用之間的紐帶。隨著信息技術和傳感器技術的飛速發展，衛星遙 感影像空間分辨率、光譜分辨率和時間分辨率大大提高，星上數據釆集量增加
100-400倍，相應的數據處理計算量也增加了 1000-10000倍，針對如此海量數
據處理的壓力，基于小型機或工作站平臺的傳統地面預處理系統在性能擴展方 面受到制約。隨著可利用的遙感衛星數量及其相應的遙感器種類不斷增加，以 及人們對遙感數據應用的深度和廣度不斷提出新的要求，遙感衛星地面預處理 系統在靈活的重構特性和多種產品處理能力方面面臨新的挑戰與需求，人們希 望在預處理系統中盡可能多地完成自己的處理需求，遙感衛星地面預處理系統 在功能擴展方面受到制約。
如何在性能和功能擴展方面滿足遙感數據預處理的要求是一個需要迫切解 決的問題，有必要提供一種在性能和功能方面擴展性好多衛星遙感數據一體化 地面處理方法。
發明內容
本發明的目的在于提供一種多衛星遙感數據一體化并行地面預處理系統， 解決多衛星數據多級產品、海量數據快速處理問題。
實現本發明目的的技術方案是
一種多衛星遙感數據一體化并行地面預處理系統，包括硬件層，其提供預處理系統的硬件支撐，包括商品化機群系統、SAN/NAS 等存儲系統以及千兆以太網或infiniband等高性能網絡系統等硬件設施；
系統支撐層，提供系統軟件支撐環境，系統性能的擴展，遙感數據預處 理是復雜的計算密集、數據密集和網絡密集型應用，并且不同的處理功能對 計算、存儲和網絡性能的要求也不盡相同，該系統通過正交設計來實現并行 計算、并行存儲、并行網絡負載模塊，使得系統在處理性能、網絡性能、存 儲性能方面可以獨立擴展，并可以根據數據處理特點綜合優化三者性能，對 數據的處理、數據的歸檔和產品生產與分發提供了強大的系統性能支持，使 得系統性能高度擴展和高效運行，達到了在性能方面按需擴展的要求；
數據處理擴展層，具有多種衛星多種傳感器的抽象功能接口和公共的功 能組合邏輯，各類衛星和傳感器具體的處理算法通過繼承的手段實現和添加， 確保了算法功能按需擴展；
任務管理調度層，實現任務調度和流程管理，在該層通過集成高性能的 作業調度系統和工作流管理系統，實現了多種處理功能的工作負載均衡和流 程處理能力，在所述的工作流管理系統，同一流程會被加載兩次來共同完成 對任務的處理，第一次用于為各個階段處理任務生成相應的參數文件，第二 次用于執行各個階段處理任務完成特定的處理功能。
用戶處理功能組合層，為用戶提供了簡單易用的流程組合界面，用戶可 以組合各種復雜的包括數據處理、歸檔、產品生產和分發等多種功能在內的 處理流程。
本發明的有益效果通過數據處理功能擴展層和用戶處理功能組合層的 擴展，實現了系統在功能方面的按需擴展，不但可以增加新的多衛星遙感數 據處理算法和功能，還能組合各種基本的處理功能，使用戶可隨意定制遙感 數據處理流程，滿足用戶特定的數據處理需求；具有完全開放的運行平臺， 在性能方面，用戶在不修改處理程序的情況下，便可以方便均衡的擴展系統 的處理、存儲、網絡通信能力，提高程序的運行速度；在功能方面，當有新的衛星遙感數據進入系統需要處理、歸檔、產品生產和分發時，只需將相應 數據的處理^^塊才艮據一定的模板加入系統中即可完成功能的擴展。
下面根據附圖對本發明實施例作進一步詳細說明。
圖l是本發明實施例的系統結構示意圖。
具體實施例方式
如圖1所示，本發明實施例所述的多衛星遙感數據一體化并行地面預處理 系統，包括硬件層、系統支撐層、數據處理擴展層，任務管理調度層和用戶處
理功能組合層；其中硬件層提供預處理系統的硬件支撐，包括商品化機群系統、 SAN/NAS等存儲系統以及千兆以太網或infiniband等高性能網絡系統等硬件設 施；系統支撐層，提供系統軟件支撐環境，注重系統性能的擴展，通過正交設 計來實現并行計算、并行存儲、并行網絡負載模塊，使得系統在處理性能、網 絡性能、存儲性能方面可以獨立擴展，并可以根據數據處理特點綜合優化三者 性能，并行計算才莫塊包括MPI、 OpenMP、 PVM等，并行存儲模塊包括PVFS、 Lustre、 StorNext等，網絡負載模塊包括LVS、 BigIP等相關軟件的部署方法； 在數據處理擴展層，具有多種衛星多種傳感器的抽象功能接口和公共的功能組 合邏輯，各類衛星和傳感器具體的處理算法通過繼承的手段實現和添加，確保
算法功能按需擴展；在任務管理調度層，實現任務調度和流程管理，在該層通 過集成高性能的作業調度系統和工作流管理系統，實現多種處理功能的工作負 載均衡和流程處理能力；在用戶處理功能組合層，為用戶提供了簡單易用的流 程組合界面，用戶可以組合各種復雜的包括數據處理、歸檔、產品生產和分發 等多種功能在內的處理流程。
通常情況下用戶提交任務到系統，系統中的任務調度層收到任務，解釋任 務為工作流，提交給任務調度層的工作流管理層，由工作流管理層把任務分解 成階段性性任務，提交給作業調度層，作業調度層把階段性任務按照機群中的 負載情況調度到機群中的計算節點上，執行階段任務的計算任務。工作流層控制工作流的執行，重復調用作業管理層進行階段任務的調度工作，直到完成任 務單規定的任務。
用戶可以在原系統中增加新的任務流程。如以前的流程是零級數據獲取、 系統輻射校正、系統幾何校正、然后輸出產品，現在需要在系統輻射校正之前 增加去條帶的操作。實時方法很簡單，用戶在用戶子定義處理流程層定義好包 括零級數據獲取、去條帶、系統輻射校正、系統幾何校正、然后輸出產品在內 的工作流，把該工作流與一個任務名綁定。今后提交該任務名時，就可以執行 增加了去條帶的處理任務。
用戶可以在原有系統中增加新衛星載荷凄史據的處理功能。如現有系統可以 處理"北京一號，，小衛星數據的處理，現在要增加"環境與災害監測預報小衛 星"載荷的處理，用戶只需要按照"數據處理接口抽象設計層"規定的接口， 在"處理功能具體實現層，，增加新衛星數據的處理功能，該功能將自動加載到 該預處理系統中，實現對多衛星數據處理的功能擴展。
任務是由 一 系列階段子任務(功能模塊)有機組合而成的處理流程。為實現通 用衛星地面預處理系統對數據處理流程的靈活性要求，任務管理調度層引入了
工作流機制來最大化系統數據處理流程的靈活性與可擴展性。該處理流程用xml 文件格式進行描述，以配置文件形式存放，在運行任務時動態加載，因此可以 在數據處理流程中實現功能組件模塊的"熱插拔"。系工作流管理層將利用自身 引擎對描述文件進行解析，并按照預先定義好的規則對流程中的各階段任務進 行處理。在數據處理流程中，同一流程會凈皮加載兩次來共同完成對任務的處理。 第一次用于為各個階段處理任務生成相應的參數文件，第二次用于執行各個階 段處理任務完成特定的處理功能。同時，可以根據需要在流程中設立檢查點， 以檢測階段處理是否正確執行完成，沒有通過檢測的流程，檢測點后續的任務 功能將不再被執行，并且任務管理調度層還提供自定義檢查點檢測內容與失效 處理策略的擴展功能。系統在任務處理過程中，用戶可以有效地干預(掛起、恢 復、取消)流程處理狀態從而實現對系統中任務的有效控制、管理。任務處理同 時，系統會完整地記錄處理進度等日志信息，操作員可以通過圖形化界面查看任務流程處理進度及狀態等運行信息。
對于由一系列階段任務組合而成的數據處理流程，工作流引擎將把每個任 務中的全部階段任務解析為新的獨立的作業提交至系統任務調度服務器，并獲 得每個新的作業在調度服務器中對應的作業編號。隨后系統將根據此作業編號 查詢作業調度進展及狀態信息，同時也可根據調度指令利用此作業編號掛起、 恢復、取消、重做該作業。任務調度子系統支持任務優先級與任務并發性。調 度服務器中的管理服務將把所有任務請求放入任務調度池中，同時把任務請求 指令傳給調度策略服務，策略服務將根據可用計算資源負載情況，對任務池中 任務按照優先級高低次序進行調度，指派給系統根據預定義策略選擇出的運行 節點來執行任務。同時運行節點還將定期的把自身負載情況反饋給調度策略服 務，從而任務調度子系統即可在計算資源間自動實現負載均衡。為實現對衛星 數據快速預處理的特性，任務調度子系統提供兩種并行任務調度策略以實現最
高處理性能。對計算量不大的任務(如零級數據處理、產品發布等)，系統采用 任務級并行調度策略；對于算法復雜或大數據量處理等計算密集型任務(如波 段配準等)，系統則采用算法級并行策略。基于機群的通用任務調度機制雖然能 在各計算節點間實現動態負載均衡，但對于以大數據量處理為主的計算，通常 也會導致在各節點間大規模數據移動，導致系統處理性能的下降，甚至成為高 性能并行計算中的一個瓶頸。為消除數據移動對系統性能的影響，系統在由各 計算節點組成機群上部署并行文件系統。這不僅能有效地避免數據在計算節點 間的大規模移動，還可以極大的縮短高性能并行計算中數據分發與回收的時間， 以及提高系統基于并行計算的并行處理算法并發讀寫數據的效率。
權利要求
1、一種多衛星遙感數據一體化并行地面預處理系統，其特征在于，包括硬件層，其提供預處理系統的硬件支撐，包括商品化機群系統、SAN/NAS等存儲系統以及諸如千兆以太網或infiniband的高性能網絡系統；系統支撐層，提供系統軟件支撐環境及系統性能的擴展，通過正交設計來實現并行計算、并行存儲、并行網絡負載模塊，使得系統在處理性能、網絡性能、存儲性能方面可以獨立擴展，并可以根據數據處理特點綜合優化三者性能，對數據的處理、數據的歸檔和產品生產與分發提供了強大的系統性能支持，使得系統性能高度擴展和高效運行，達到了在性能方面按需擴展的要求；數據處理擴展層，具有多種衛星多種傳感器的抽象功能接口和公共的功能組合邏輯，各類衛星和傳感器具體的處理算法通過繼承的手段實現和添加，確保了算法功能按需擴展；任務管理調度層，實現任務調度和流程管理，在該層集成有作業調度系統和工作流管理系統，以實現多種處理功能的工作負載均衡和流程處理能力；用戶處理功能組合層，為用戶提供簡單易用的流程組合界面，用戶可以組合各種復雜的包括數據處理、歸檔、產品生產和分發等多種功能在內的處理流程。
2、 根據權利要求1所述的多衛星遙感數據一體化并行地面預處理系統，其 特征在于在所述系統支撐層中，所述并行計算模塊包括MPI、 OpenMP、 PVM， 所述并行存儲模塊包括PVFS、 Lustre、 StorNext,所述網絡負載模塊包括LVS、 BigIP的部署方法。
3、 根據權利要求1或2所述的多衛星遙感數據一體化并行地面預處理系統， 其特征在于在任務管理調度層的所述工作流管理系統中，同 一流程會被力口載 兩次來共同完成對任務的處理，第一次用于為各個階段處理任務生成相應的參 數文件，第二次用于執行各個階段處理任務完成特定的處理功能。
全文摘要
本發明涉及一種多衛星遙感數據一體化并行地面預處理系統，包括硬件層、系統支撐層、數據處理擴展層，任務管理調度層和用戶處理功能組合層；其中硬件層提供預處理系統的硬件支撐；系統支撐層提供系統軟件支撐環境；數據處理擴展層具有多種衛星多種傳感器的抽象功能接口和公共的功能組合邏輯；任務管理調度層實現任務調度和流程管理；用戶處理功能組合層為用戶提供簡單易用的流程組合界面。本發明有益效果為用戶在不修改處理程序的情況下便可方便均衡的擴展系統的處理、存儲、網絡通信能力，提高程序的運行速度；有新的衛星遙感數據進入系統需要處理、歸檔、產品生產和分發時只需將相應數據的處理模塊根據一定的模板加入系統中即可完成功能的擴展。
文檔編號G01S7/48GK101315424SQ20081013504
公開日2008年12月3日 申請日期2008年7月29日 優先權日2008年7月29日
發明者于文洋, 劉定生, 張萬軍, 李國慶, 李景山, 進 楊, 建 王, 章文毅, 趙靈軍, 甫 陳, 艷 馬, 馬廣彬, 方 黃, 鵬 黃, 黃克穎 申請人:中國科學院對地觀測與數字地球科學中心