專利名稱：具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統的制作方法
技術領域：
本發明涉及遙感衛星原始數據處理技術領域，尤其涉及一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統。
背景技術：
具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，實時記錄遙感衛星原始數據并通過網絡把記錄的數據實時的傳輸給外部的數據傳輸系統，完成原始數據實時記錄和實時傳輸。隨著我國在軌衛星數量的不斷增加，各個接收站研制和即將研制的記錄設備越來越多，每套記錄系統或者記錄設備都有各自的管理功能、各自的傳輸功能，每增加一套記錄設備，都要重復研制其管理、傳輸等相關軟硬件，不斷新增多套記錄設備缺乏統一管理系統和傳輸系統，并造成多套記錄設備可共用設備的重復建設和投資。針對以上問題，需要對記錄系統的管理、傳輸等軟硬件進行統一設計和研制，建立集中管理和實時傳輸共用平臺，解決記錄分系統中的集中管理、集中傳輸共用平臺和實時數據傳輸問題，提高記錄設備利用率和可靠性，并為記錄數據的實時傳輸提供有效的技術手段。
發明內容
本發明的目的是提供一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，解決記錄系統中管理、傳輸等相關軟硬件子系統重復建設問題，提高記錄設備利用率，并為記錄數據的實時傳輸提供有效的技術手段，以克服目前現有技術存在的上述不足。本發明的目的是通過以下技術方案來實現
一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，包括管理調度子系統、數據輸出子系統、若干記錄設備和操作終端，所述管理調度子系統和數據輸出子系統構成管理調度和數據輸出公用平臺，管理調度和數據輸出公用平臺通過網絡交換設備提供記錄任務管理和數據實時傳輸功能，管理調度子系統由兩臺管理調度服務器和共享存儲設備構成，兩臺管理調度服務器分別與共享存儲設備以及網絡交換設備連接；所述若干記錄設備在共用平臺上運行完成衛星數據實時記錄，所述記錄設備包括記錄服務器和快視終端， 快視終端與網絡交換設備連接，記錄服務器與接收系統以及網絡交換設備連接，記錄設備從接收系統接收數據并記錄在記錄服務器中，并把記錄數據實時傳輸給快視終端和數據輸出子系統，快視終端對記錄的原始數據進行快視顯示，數據輸出子系統由若干數據輸出服務器和共享存儲設備構成，若干數據傳輸服務器分別與共享存儲設備以及網絡交換設備連接，數據輸出服務器將數據傳輸給記錄設備之外的數據傳輸系統；數據輸出服務器還可以承擔記錄數據非實時傳輸功能，把記錄后的原始數據文件傳輸給外部的數據傳輸系統；操作終端與網絡交換設備連接，并提供對記錄系統的操作界面；網絡交換設備為共用平臺提供兩種網絡，一種是高速的Infiniband或者萬兆以太網網絡，提供衛星原始數據的在記錄系統內部的高速傳輸，另一種是千兆以太網網絡，提供記錄系統內部管理調度控制信息的傳輸。管理調度子系統通過千兆以太網對外提供單一 IP (Internet Protocol)地址，操作終端通過該IP地址與管理調度子系統通信，向該管理調度子系統提交管理調度任務，管理調度子系統調度多臺記錄設備，完成記錄任務。該子系統中的兩臺服務器通過網絡互相監聽，實現工作備份，共享存儲提供管理調度程序的公共存儲信息，主節點和備用節點均能夠獨立的訪問管理調度程序和信息。數據輸出子系統通過高速網絡對外提供單一 IP地址，記錄設備在實時數據傳輸的時候，向數據輸出子系統發送實時數據，數據輸出子系統根據數據輸出服務器資源占用情況，選擇其中的一臺數據輸出服務器接收實時傳輸的數據，同時把數據寫入共享存儲，并把該數據傳輸到外部數據傳輸系統。共享存儲提供傳輸數據的存儲信息，各個節點均能夠該共享存儲，確保了一臺傳輸服務器故障，其他接管的服務器可以從共享存儲中得到續傳的數據。本發明的有益效果為解決了遙感衛星接收站每增加一套記錄系統需要重復研制管理和傳輸等相關軟硬件問題，提高了設備利用率，提出的集中管理和實時傳輸高可用方案，使得記錄系統運行更加可靠，遙感衛星數據在記錄的同時可以實時傳輸數據，提高數據傳輸時效性。
下面根據附圖對本發明作進一步詳細說明。圖1是本發明實施例所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統的結構框圖2是本發明實施例所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統的數據記錄和實時傳輸流程圖。圖中
1、管理調度子系統；11、管理調度服務器；2、數據輸出子系統；21、數據輸出服務器； 22、共享存儲設備；3、記錄設備；31、記錄服務器；32、快視終端；4、操作終端；5、網絡交換設備；51、千兆以太網網絡；52、Infiniband或者萬兆以太網網絡；6、接收系統；7、數據傳輸系統。
具體實施例方式如圖1所示，本發明實施例所述的一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，包括管理調度子系統1、數據輸出子系統2、若干記錄設備3和操作終端4， 所述管理調度子系統1和數據輸出子系統2構成管理調度和數據輸出公用平臺，管理調度和數據輸出公用平臺通過網絡交換設備5提供記錄任務管理和數據實時傳輸信息，管理調度子系統1由兩臺管理調度服務器11和共享存儲設備22構成，兩臺管理調度服務器11分別與共享存儲設備22以及網絡交換設備5連接；若干記錄設備3在共用平臺上運行完成衛星數據實時記錄，記錄設備3包括記錄服務器31和快視終端32，其中快視終端32可選， 快視終端32與網絡交換設備5連接，記錄服務器31與接收系統6以及網絡交換設備5連接，記錄設備3從接收系統6接收數據并記錄在記錄服務器31中，并把記錄數據實時傳輸給快視終端32和數據輸出子系統2，快視終端32對記錄的原始數據進行快視顯示，數據輸出子系統2由若干數據輸出服務器21和共享存儲設備22構成，若干數據傳輸服務器21分別與共享存儲設備22以及網絡交換設備5連接，數據輸出服務器21將數據傳輸給記錄設備3之外的數據傳輸系統7 ；數據輸出服務器21還可以承擔記錄數據非實時傳輸功能，把記錄后的原始數據文件傳輸給外部的數據傳輸系統7 ；操作終端1與網絡交換設備5連接， 并提供對記錄系統的操作界面；網絡交換設備5為共用平臺提供兩種網絡，一種是高速的 Infiniband或者萬兆以太網網絡52，提供衛星原始數據的在記錄系統內部的高速傳輸，另一種是千兆以太網網絡51，提供記錄系統內部管理調度控制信息的傳輸。如圖2所示，數據記錄和實時傳輸流程如下在操作終端4上向管理調度子系統1 提交記錄計劃任務，管理調度子系統1解析記錄計劃后調度相應的記錄設備3進行數據記錄任務，同時把記錄的數據實時的傳輸給數據輸出子系統2，數據輸出子系統2選擇適當的輸出服務器把數據傳輸給記錄系統外部的數據傳輸系統7。所述管理調度子系統1通過網絡交換設備5中的千兆以太網對外提供單一 IP (Internet Protocol)地址，操作終端4通過該IP地址與管理調度子系統1通信，向該管理調度子系統1提交管理調度任務，管理調度子系統1調度多臺記錄設備3，完成記錄任務。 管理調度子系統1中的兩臺管理調度服務器11通過網絡互相監聽，實現工作備份，共享存儲設備22提供管理調度程序的公共存儲信息，主節點和從節點均能夠獨立的訪問管理調度程序和信息，當其中主節點出現問題時，備用節點能夠自動立即接替工作，使記錄系統的管理調度功能不受影響，提高了系統的可靠性。所述數據輸出子系統2由若干數據輸出服務器21和共享存儲設備22構成，由于網絡交換設備5采用的hfiniband網絡或者萬兆以太網絡，向外部數據傳輸系統輸出的網絡是千兆以太網，并且外部網絡可使用帶寬存在不確定性，會造成向外部網絡輸出數據時的外部網絡擁塞，為了避免由于內部數據帶寬高、外部帶寬低可能造成的數據丟失問題，采用共享存儲設備22把傳輸的數據存儲在共享存儲上；數據輸出子系統2通過高速網絡對外提供單一 IP地址，記錄設備3在實時數據傳輸的時候，向數據輸出子系統2發送實時數據， 數據輸出子系統2根據數據輸出服務器資源占用情況，選擇其中的一臺數據輸出服務器21 接收實時傳輸的數據，同時把數據寫入共享存儲設備22，并把該數據傳輸到外部數據傳輸系統7。當正在傳輸某軌數據的傳輸服務器發生故障，數據輸出子系統2中的其它傳輸服務器21可以接替該故障服務器，繼續完成剩余數據的傳輸。共享存儲設備22提供傳輸數據的存儲信息，各個節點均能夠該共享存儲，確保了一臺傳輸服務器故障，其他接管的服務器可以從共享存儲設備22中得到續傳的數據。該實時傳輸過程對數據實時傳輸過程是透明的， 多個記錄設備3共享多臺輸出服務器的聚合網絡帶寬，只要數據輸出子系統中有一臺服務器正常工作，其他的任何輸出服務器故障，均不影響正在傳輸的任務和下一軌道的傳輸任務。該數據輸出子系統大大提高了輸出設備利用率和傳輸的可靠性。所述若干記錄設備3在管理調度和數據輸出子系統構成的共用平臺上運行，記錄服務器通過以太網絡或者特別定制的記錄卡從接收系統接收數據到記錄服務器內存中，在內存中的數據分三路進行后續處理，第一路存服務器本地硬盤形成遙感衛星記錄文件，第二路通過高速網絡送快視顯示終端進行快視顯示，第三路通過高速網絡送數據輸出子系統向外部實時傳輸原始數據。把實時傳輸和實時快視運行的硬件從記錄服務器中分離出來，是為了最大限度的確保記錄服務器可以可靠的記錄衛星原始數據。如果把實時快視和實時傳輸功能在記錄服務器上實現，快視文件的保存、實時數據傳輸遇到網絡擁塞等會占用硬盤讀寫資源，影響原始數據在硬盤上記錄性能，甚至會丟失數據。采用共用的數據輸出子系統后，需要實時傳輸的數據通過高速網絡無阻塞發送給數據輸出子系統，避免了因為實時數據傳輸網絡擁塞影響記錄性能問題。進一步說明，第二路數據在送快視終端32顯示時，如果因為網絡或者快視終端故障等問題導致數據不能及時輸出，記錄服務器31上的數據發送程序會把該路實時數據丟棄，同時發送數據的程序會間隔幾秒鐘嘗試重新連接快視顯示終端上數據接收程序，故障恢復后，繼續發送數據，此故障期間送快視顯示終端的數據丟失，不再重新傳輸丟失的數據。第三路數據在送數據輸出子系統2程中，如果因為網絡或者正在工作的數據輸出服務器故障導致數據不能及時輸出，記錄服務器31上的數據發送程序將在內存中緩存大小的數據，同時送數據的程序會間隔幾秒鐘嘗試重新連接數據輸出子系統，由于數據輸出子系統2采用的網絡負載均衡方案，備用的數據輸出服務器21會立刻工作，第三路數據傳輸發送程序會重連成功，數據發送程序把內存緩存數據和后續數據按順序發送給數據輸出子系統2，確保數據輸出子系統2中數據傳輸服務器21發生故障時正在實時傳輸的當前軌道數據不丟失。如果在記錄服務器31設定的內存緩存數據填滿后，第三路數據仍然沒有恢復連接，記錄服務器31上的數據發送程序將對丟棄緩存數據。重新連接后，實時發送后續的實時數據，當整軌數據記錄完成后，數據發送程序再從記錄在硬盤的文件中獲得故障過程中丟失的數據，把該丟失數據發送給數據輸出子系統2，完成實時傳輸數據的補充傳輸。 第三路發送數據的數據采用數據包連續編號方法，使得數據輸出子系統和其他外部系統獲得的數據能夠根據數據包編號整理出記錄數據的先后關系，從而恢復出原始數據正確記錄順序。另外數據輸出子系統接收程序如果根據數據包編號整理數據后發現出現丟失數據包情況，可以向數據發送程序請求重新發送相應數據包數據，從而進一步確保實時傳輸數據的正確性。本發明有效的解決了遙感衛星接收站每增加一套記錄系統需要重復研制管理和傳輸等相關軟硬件問題，提高了設備利用率，提出的集中管理和實時傳輸高可用方案，使得記錄系統運行更加可靠并提高了數據傳輸時效性。本發明不局限于上述最佳實施方式，任何人在本發明的啟示下都可得出其他各種形式的產品，但不論在其形狀或結構上作任何變化，凡是具有與本申請相同或相近似的技術方案，均落在本發明的保護范圍之內。
權利要求
1.一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，包括管理調度子系統(1)、數據輸出子系統(2)、若干記錄設備(3)和操作終端(4)，其特征在于所述管理調度子系統(1)和數據輸出子系統(2)構成管理調度和數據輸出公用平臺，所述管理調度和數據輸出公用平臺通過網絡交換設備(5)提供記錄任務管理和數據實時傳輸功能；所述若干記錄設備(3)在所述管理調度和數據輸出公用平臺上運行完成衛星數據實時記錄，所述記錄設備(3)從接收系統(6)接收數據并把記錄的數據實時傳輸給數據輸出子系統(2)，操作終端(4 )與網絡交換設備(5 )連接。
2.根據權利要求1所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統， 其特征在于管理調度子系統(1)由主備管理調度服務器(11)和共享存儲設備(22)構成， 其中兩臺管理調度服務器(11)分別與共享存儲設備(22)以及網絡交換設備(5)連接；當主管理調度服務器(11)發生故障時管理調度子系統(1)進行主動切換，備用管理調度服務器 (11)接替故障服務器，繼續完成管理調度任務。
3.根據權利要求2所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統， 其特征在于數據輸出子系統(2)由若干數據輸出服務器(21)和共享存儲設備(22)構成， 其中所述若干數據傳輸服務器(21)分別與共享存儲設備(22)以及網絡交換設備(5)連接， 數據輸出服務器(21)將數據傳輸給記錄設備(3)之外的數據傳輸系統(7)，數據輸出子系統(2)根據記錄設備傳輸遙感衛星數據的負載情況均衡使用多臺傳輸服務器的網絡帶寬資源，在數據傳輸過程中，當正在傳輸某軌數據的輸出服務器發生故障，其他的輸出服務器可以接替故障服務器，繼續完成該軌剩余數據的傳輸。
4.根據權利要求2所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統， 其特征在于記錄設備(3)包括記錄服務器(31)和快視終端(32)，其中快視終端(32)與網絡交換設備(5)連接，記錄服務器(31)與接收系統(6)以及網絡交換設備(5)連接，記錄設備(3)運行在所述的管理調度和數據輸出共用平臺上，多個記錄設備公共的管理功能和數據傳送功能由共用平臺提供。
5.根據權利要求1-4任一項所述的具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，其特征在于所述網絡交換設備(5)由是高速的Infiniband或者萬兆以太網網絡(52)以及千兆以太網網絡(51)構成，Infiniband或者萬兆以太網網絡(52)提供衛星原始數據的在記錄系統內部的高速傳輸，千兆以太網網絡(51)提供記錄系統內部管理調度控制信息的傳輸。
全文摘要
本發明涉及一種具有集中管理和實時傳輸功能遙感衛星原始數據記錄系統，包括管理調度子系統、數據輸出子系統、若干記錄設備和操作終端，所述管理調度子系統和數據輸出子系統構成管理調度和數據輸出公用平臺，管理調度和數據輸出公用平臺通過網絡交換設備提供記錄任務管理和數據實時傳輸信息；若干記錄設備在共用平臺上運行完成衛星數據實時記錄，記錄設備從接收系統接收數據，并把記錄數據實時傳輸給數據輸出子系統，操作終端與網絡交換設備連接。本發明的有益效果為提高了設備利用率，提出的集中管理和實時傳輸高可用方案，使得記錄系統運行更加可靠，遙感衛星數據在記錄的同時可以實時傳輸數據，提高數據傳輸時效性。
文檔編號H04L12/24GK102412990SQ20111036999
公開日2012年4月11日 申請日期2011年11月18日 優先權日2011年11月18日
發明者張建國, 李景山, 林友明, 王建 申請人:中國科學院對地觀測與數字地球科學中心