一種可視化數據接口集市實現方法與流程

本發明屬于數據處理領域，具體涉及一種可視化數據接口集市及其實現方法。

背景技術：

隨著企事業單位各種信息化建設，產生了大量的it信息化業務系統，這些信息化業務系統根據各單位的業務需求存在大量的相互之間數據傳輸、內容交換、數據轉換、數據收集等數據的使用，而不同的業務系統建設方不同，其輸出數據的方式、數據格式也大不相同。為了進行不同系統間的數據交叉使用，就必須進行大量的轉換工作；一個系統在使用其他系統數據的時候，現在業界通用的做法有兩種：1、要求數據輸出系統根據數據使用者的要求進行修改；2、數據使用者根據輸出系統的數據方式進行轉換適配。在實際處理中不管使用兩種方式中的哪一種，都需要修改者或轉換者根據原有系統的設計文檔、開發文檔、甚至測試文檔中去查詢原始數據的定義格式、獲取方式等等，然后才能夠定義相關的數據接口，再以文檔的形式進行交換。這樣存在著工作量大、接口定義及使用不清楚、不及時、不準確，甚至錯誤的情況。

如果一個已有系統的相關設計、開發、測試文檔已經遺失或者文檔本身同真實系統間有一定的偏差，則不管原有系統的開發人員，還是使用該系統數據的另外系統的開發人員根據這些相關文檔定義出來的接口就會存在不能使用、數據錯誤的情況發生；而一旦沒有相關文檔或者文檔記錄不全面，要進行接口定義則需要花費巨大的人力物力對原有系統的數據進行分析甚至調試原有系統，這不僅浪費了人力物力還有可能造成原有系統的不穩定。

技術實現要素：

發明目的：針對現有技術中存在的問題，本發明公開了一種可視化數據接口集市實現方法，采用可視化的定義及查詢的方式進行數據接口定義，為第三方系統使用本系統中的數據提供極其方便的手段。

技術方案：一種可視化數據接口集市實現方法，包括以下步驟：

步驟1、查詢所有數據表的基本信息并顯示在前臺客戶端圖形界面，選擇需要注冊的數據源；

步驟2、在前臺客戶端圖形界面顯示選擇的數據源里存儲的數據內容字段；

步驟3、根據數據接口使用要求，設置每個數據內容字段為顯示字段或條件字段，并設置內容轉換方式；

步驟4、根據設置信息和轉換規則生成需要的接口定義。

優選地，所述數據表存儲在hive中。

優選地，所述內容轉換方式包括預先定義的內容格式轉換和調用自定義腳本進行的特殊轉換。

優選地，還包括以文件形式展示生成接口的具體信息。

所述文件的生成方法包括如下步驟：

步驟51、新增一個空白的文件，生成一個2列的表格，優先寫入公共的表頭信息：接口的url，接口的名稱，請求參數的格式；

步驟52、讀取接口定義注冊時選擇的相關調用參數存入list內，遍歷list行寫入表格；

步驟53、將生成的表格寫入文件中，并存放于指定路徑中，查看此文件可以將接口信息在系統中展示出來。

有益效果：與現有技術相比，本發明公開的可視化數據接口實現方法具有以下優點：1、由本發明公開的可視化數據接口實現方法得到的數據接口集市，可以把底層數據存儲系統中的數據注冊為需要的接口，并展示在該數據接口集市中；2、通過該數據接口集市，可以非常清晰的了解各個數據接口的定義、調用方式、調用路徑、所需要的參數、接口可以返回的數據，以及數據的格式等；3、系統可以把數據集市中的接口信息根據需要開放給其他需要的第三方系統，第三方系統就可以根據該接口調用獲取需要的相關數據并進行對應的解析使用；4、本發明以可視化的方式定義及使用業務系統間進行數據交換的接口，減少接口定義錯誤。

附圖說明

圖1為實施例中的系統組成示意圖；

圖2為本發明公開的可視化數據接口集市實現方法的流程圖；

圖3為實施例中接口信息的文本展示示意圖；

圖4為實施例中接口信息文件中的公共表頭信息；

圖5為實施例中讀取接口定義注冊時選擇的相關調用參數生成的表格；

圖6為實施例中接口信息文件保存的最終內容；

圖7為第三方系統使用生成接口的流程圖。

具體實施方式

下面結合附圖和具體實施方式，進一步闡明本發明。

當業務數據匯聚到了本系統的數據存儲系統中，系統提供了可視化數據接口集市，在該數據接口集市中集中展示了所有的相關數據接口定義。本實施例以外部關系數據庫中數據導入本系統并存儲在hive中為例，進行操作示例來說明本發明所公開方法的具體實現步驟。如圖1所示，本系統的業務數據存儲于數據存儲系統中，第三方系統通過調用可視化數據接口集市中的接口來訪問數據存儲系統中的數據，從而訪問本系統的數據。本實施例中數據存儲系統采用hive架構實現。

如圖2所示，為本發明公開的可視化數據接口集市實現方法的流程圖，包括如下步驟：

步驟1、查詢所有數據表的基本信息并顯示在前臺客戶端圖形界面，選擇需要注冊的數據源；其中數據表存儲在hive中；

前臺jsp(javaserverpages，java服務器頁面)用ajax(asynchronousjavascriptandxml，異步javascript和xml)向后臺發送請求，分頁查詢到所有匯集到hive的表的基本信息，并用js(javascript)渲染列表信息顯示在前臺頁面，點擊可查看各個hive表的詳情信息，用戶根據可視化的展現列表在列表頁選擇需要注冊的數據源；

步驟2、在前臺客戶端圖形界面顯示選擇的數據源里存儲的數據內容字段；

步驟3、根據數據接口使用要求，設置每個數據內容字段為顯示字段或條件字段，并設置內容轉換方式；設置可以采用勾選的方式；

內容轉換方式包括預先定義的內容格式轉換和調用自定義腳本進行的特殊轉換。

步驟4、根據設置信息和轉換規則生成需要的接口定義。

系統保存所有設置信息，然后根據在圖形化界面中的選擇設置，經過相應的計算、轉換、規則處理等操作，如字段名大小寫轉換、中文字段轉化拼音加上序號生成新的字段名、根據字段類型查出字段長度限制存儲在字段對應的外部表結構內作為驗證、勾選的調用字段和返回字段都在外部對應表加上勾選標志位等，生成需要的接口定義。

生成接口后即可供第三方系統調用。為了可視化地展現具體接口定義的詳細內容，在系統數據接口集市里可以統一展示所有的注冊接口信息，以pdf或文本形式展示接口信息的具體信息。如圖3所示，以pdf方式展示某個接口信息，在該信息里面有接口的各種相關信息，包括請求路徑、請求參數、相關參數說明，以及返回值等信息。

可視化數據接口信息文件的生成包括如下步驟：

步驟51、新增一個空白的文件，如pdf文件或txt文件，生成一個2列的表格，優先寫入公共的表頭信息：接口的url，接口的名稱，請求參數的格式，如圖4所示；

步驟52、讀取接口定義注冊時選擇的相關調用參數存入list內，遍歷list行寫入表格，如圖5所示；

步驟53、將生成的表格寫入文件中，并存放于指定路徑中，查看此文件可以將接口信息在系統中展示出來，如圖6所示。

通過這種可視化的方式可以直接訪問系統中hive數據庫里面的數據。

如圖7所示，第三方系統使用生成的接口，包括如下步驟：

步驟61、在第三方業務系統中根據注冊生成的接口規范，調用該接口，開發相關的業務代碼；

步驟62、第三方業務調用接口后，本系統會進行驗證及鑒權處理，包括參數的有效性，校驗是否是本系統接口，校驗密保參數是否正確，全部校驗完成后才可以進行后續處理；

步驟63、系統根據參數信息拼接處理sql的查詢數據源和查詢條件部分，根據接口定義時相關參數的定義規則拼接sql的查詢結果部分，最終生成一個查詢sql語句；

步驟64、把生成的sql語句放到spark查詢工具類上面運行，查詢出hive內存儲的數據；

步驟65、生成的數據以list<map<string,object>>格式組裝返回給第三方系統客戶端。