一種web數據自動采集系統的制作方法
【專利摘要】本發明公開一種WEB數據自動采集系統，包括WEB 客戶端、WEB 服務器和應用服務器，所述WEB 客戶端包括索引圖，所述索引圖保存圖形和數據與鏈接之間的對應關系，所述WEB 客戶端將客戶點擊的圖形或數據對應的鏈接發送至WEB 服務器，所述WEB 服務器從應用服務器采集鏈接對應的圖形或數據，并將采集到的圖形或數據轉換成SVG 文件后返回至WEB 客戶端。本發明可以將半結構化和非結構化的數據變為結構化的元數據，實現航班數據的動態跟蹤與監測。
【專利說明】一種WEB數據自動采集系統
【技術領域】
[0001]本發明涉及一種數據采集系統，更確切地說是一種WEB數據自動采集系統。
【背景技術】
[0002]Web服務系統主要實現信息發布功能，是配網自動化系統的基本功能之一，客戶使用瀏覽器通過Web服務系統對配電網運行狀況進行了解和分析。目前在線運行的配網自動化系統基本上都是運行于EMS (Energy Manage System,能量管理系統)系統的I控制區，然后通過隔離裝置將數據同步到非控制III區，通過非控制III區對外提供Web月艮務。配網自動化系統對外提供的Web服務，大多是基于ActiveX控件技術或者Java控件技術，不管是基于哪種控件技術，都需要用戶下裝相應的控件，控件將配網自動化系統某一時刻的圖形與數據全部下載到客戶端，這樣用戶的查看請求可以快速得到響應，但用戶看到的并不是當前配網自動化系統的運行狀況。另外，為了系統安全，需要配網自動化系統在保護模式運行該控件，如果運行的權限沒有設置正確，會導致這些控件的功能失效，從而導致客戶端的用戶體驗不佳。
【發明內容】
[0003]本發明的目的是提供一種WEB數據自動采集系統，其可以解決現有技術產的上述缺點。
[0004]本發明采用以下技術方案:
[0005]一種WEB數據自動采集系統，包括WEB客戶端、WEB服務器和應用服務器，所述WEB客戶端包括索引圖，所述索引圖保存圖形和數據與鏈接之間的對應關系，所述WEB客戶端將客戶點擊的圖形或數據對應的鏈接發送至WEB服務器，所述WEB服務器從應用服務器采集鏈接對應的圖形或數據，并將采集到的圖形或數據轉換成SVG文件后返回至WEB客戶端；還包括一 Web無線數據采集控制系統，Web無線數據采集控制系統由數據采集發送模塊和數據接收模塊組成，數據采集發送模塊包括信號調理模塊、A/D轉換模塊、微控制器和無線模塊，采集到的信號經過信號調理模塊傳送到A/D轉換模塊，A/D轉換模塊連接微控制器；數據接收模塊包括無線模塊和微控制器，無線模塊輸入端連接數據采集發送模塊中的微控制器，無線模塊輸出端連接數據接收模塊中的微控制器，微處理器與PC連接。
[0006]所述WEB服務器包括:
[0007]鏈接解析模塊，用于解析WEB客戶端發來的鏈接得出鏈接的內容，并將SVG文件導出程序轉換的SVG文件返回給WEB客戶端；
[0008]圖形數據采集模塊，用于從應用服務器采集鏈接解析模塊解析出的內容對應的圖形或數據；
[0009]SVG文件導出程序，用于將圖形數據采集模塊采集的圖形或數據轉換為SVG文件并轉發給鏈接解析模塊。
[0010]所述WEB服務器還包括SVG文件拓撲著色程序，用于將轉換為SVG文件的廠站圖進行拓撲著色后輸出給所述鏈接解析模塊，所述鏈接解析模塊將拓撲著色后的SVG文件返回給WEB客戶端。
[0011]所述信號處理模塊包括信號放大電路和濾波電路，信號放大電路輸出端連接濾波電路；所述微控制器為STM32芯片。
[0012]本發明的優點是:可以將半結構化和非結構化的數據變為結構化的元數據，實現航班數據的動態跟蹤與監測。
【具體實施方式】
[0013]下面進一步闡述本發明的【具體實施方式】:
[0014]本發明公開一種WEB數據自動采集系統，包括WEB客戶端、WEB服務器和應用服務器，其特征在于，所述WEB客戶端包括索引圖，所述索引圖保存圖形和數據與鏈接之間的對應關系，所述WEB客戶端將客戶點擊的圖形或數據對應的鏈接發送至WEB服務器，所述WEB服務器從應用服務器采集鏈接對應的圖形或數據，并將采集到的圖形或數據轉換成SVG文件后返回至WEB客戶端；還包括一 Web無線數據采集控制系統，Web無線數據采集控制系統由數據采集發送模塊和數據接收模塊組成，數據采集發送模塊包括信號調理模塊、A/D轉換模塊、微控制器和無線模塊，采集到的信號經過信號調理模塊傳送到A/D轉換模塊，A/D轉換模塊連接微控制器；數據接收模塊包括無線模塊和微控制器，無線模塊輸入端連接數據采集發送模塊中的微控制器，無線模塊輸出端連接數據接收模塊中的微控制器，微處理器與PC連接。
[0015]所述WEB服務器包括:鏈接解析模塊，用于解析WEB客戶端發來的鏈接得出鏈接的內容，并將SVG文件導出程序轉換的SVG文件返回給WEB客戶端；圖形數據采集模塊，用于從應用服務器采集鏈接解析模塊解析出的內容對應的圖形或數據；SVG文件導出程序，用于將圖形數據采集模塊采集的圖形或數據轉換為SVG文件并轉發給鏈接解析模塊。
[0016]所述WEB服務器還包括SVG文件拓撲著色程序，用于將轉換為SVG文件的廠站圖進行拓撲著色后輸出給所述鏈接解析模塊，所述鏈接解析模塊將拓撲著色后的SVG文件返回給WEB客戶端。
[0017]所述信號處理模塊包括信號放大電路和濾波電路，信號放大電路輸出端連接濾波電路；所述微控制器為STM32芯片。
[0018]Web數據自動采集技術涉及到Web數據挖掘、Web信息檢索、信息提取、搜索引擎等技術。所謂Web數據自動采集是指從大量非結構化、異構的Web信息資源中發現有效的、新穎的、潛在可用的信息(包括概念、模式、規則、規律、約束及可視化等形式)的非平凡過程。包括Web內容挖掘、Web結構挖掘和Web使用挖掘。
[0019]通過本發明的WEB數據自動采集技術的表現為根據航班數據構成規則，對指定航空公司、OTA、GDS網站的海量航班數據進行信息檢索、信息提取、分析處理、查重去噪、整合數據，將半結構化和非結構化的數據變為結構化的元數據，實現航班數據的動態跟蹤與監測。
[0020]本發明可以將半結構化和非結構化的數據變為結構化的元數據，實現航班數據的動態跟蹤與監測。
[0021]以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。
【權利要求】
1.一種WEB數據自動采集系統，包括WEB客戶端、WEB服務器和應用服務器，其特征在于，所述WEB客戶端包括索引圖，所述索引圖保存圖形和數據與鏈接之間的對應關系，所述WEB客戶端將客戶點擊的圖形或數據對應的鏈接發送至WEB服務器，所述WEB服務器從應用服務器采集鏈接對應的圖形或數據，并將采集到的圖形或數據轉換成SVG文件后返回至WEB客戶端；還包括一Web無線數據采集控制系統，Web無線數據采集控制系統由數據采集發送模塊和數據接收模塊組成，數據采集發送模塊包括信號調理模塊、A/D轉換模塊、微控制器和無線模塊，采集到的信號經過信號調理模塊傳送到A/D轉換模塊，A/D轉換模塊連接微控制器；數據接收模塊包括無線模塊和微控制器，無線模塊輸入端連接數據采集發送模塊中的微控制器，無線模塊輸出端連接數據接收模塊中的微控制器，微處理器與PC連接。
2.根據權利要求1所述的WEB數據自動采集系統，其特征在于，所述WEB服務器包括: 鏈接解析模塊，用于解析WEB客戶端發來的鏈接得出鏈接的內容，并將SVG文件導出程序轉換的SVG文件返回給WEB客戶端； 圖形數據采集模塊，用于從應用服務器采集鏈接解析模塊解析出的內容對應的圖形或數據； SVG文件導出程序，用于將圖形數據采集模塊采集的圖形或數據轉換為SVG文件并轉發給鏈接解析模塊。
3.根據權利要求2所述的WEB數據自動采集系統，其特征在于，所述WEB服務器還包括SVG文件拓撲著色程序，用于將轉換為SVG文件的廠站圖進行拓撲著色后輸出給所述鏈接解析模塊，所述鏈接解析模塊將拓撲著色后的SVG文件返回給WEB客戶端。
4.根據權利要求1至3中任意一項所述的WEB數據自動采集系統，其特征在于，所述信號處理模塊包括信號放大電路和濾波電路，信號放大電路輸出端連接濾波電路；所述微控制器為STM32芯片。
【文檔編號】H04L29/08GK104283914SQ201310279488
【公開日】2015年1月14日 申請日期:2013年7月4日 優先權日:2013年7月4日
【發明者】不公告發明人 申請人:上海朗邁網絡科技有限公司