一種跨idc的數據共享緩存方法
【專利摘要】本發明公開一種跨IDC的數據共享緩存方法，該方法包括步驟：(1)建立本地共享緩存，初始化數據；(2)注冊，建立各互聯網數據中心的共享緩存網絡連接；(3)進行數據寫入及同步；(4)向其它互聯網數據中心提供數據服務。本發明將多個互聯網數據中心的共享緩存連接為一個整體進行數據寫入及同步，并向其它互聯網數據中心提供數據服務，所以能夠使多個互聯網數據中心的數據在短時間內完成數據同步，保證數據的一致性，保證各地互聯網數據中心可以獲取全國的數據并以此提供數據服務，顯著提高服務質量和服務響應速率。
【專利說明】一種跨IDC的數據共享緩存方法
【技術領域】
[0001]本發明涉及互聯網數據處理的【技術領域】，具體地涉及一種跨IDC的數據共享緩存方法，即在不同的互聯網數據中心(IDC，Internet Data Center)之間進行數據的共享緩存。
【背景技術】
[0002]互聯網的共享緩存服務為實時服務提供數據支持，通常基于內存數據庫，如redis，mongodb等開發，可以快速響應查詢，廣泛為互聯網企業采用。跨IDC的數據共享緩存方法對于要求提供大范圍服務、需要全面數據的領域，尤其如交通領域，來說十分重要。
[0003]現有的跨IDC的數據共享緩存方法的設計思路如下:
[0004]1.以本地數據為基礎，定期地同步異地數據，如24小時整體同步一次異地數據。
[0005]2.服務僅僅針對本地服務，不能實時同步其他互聯網數據中心的數據。
[0006]因此，以上跨IDC的數據共享緩存方法存在明顯的技術不足:
[0007]1.共享緩存只支持本地服務；
[0008]2.不能實時同步異地數據中心數據；
[0009]3.在沒有同步異地數據之前不能提供與之相關的服務；
[0010]4.不同數據中心之間數據一致性差；
[0011]5.受廣域網傳輸限制，傳輸效率不高；
[0012]6.缺乏實時性，或者僅同步靜態數據，如用戶基本信息，不能同步用戶實時位置的動態信息。
[0013]但是，隨著人類社會的發展和進步，人們越來越多地采用汽車作為交通工具，道路上的汽車增長迅猛，不同區域的互聯網數據中心之間的數據常常需要被實時地傳輸，以供不同區域的用戶查看分析。
【發明內容】
[0014]本發明的技術解決問題是:克服現有技術的不足，提供一種跨IDC的數據共享緩存方法，其能夠使多個互聯網數據中心的數據在短時間內完成數據同步，保證數據的一致性，保證各地互聯網數據中心可以獲取全國的數據并以此提供數據服務，顯著提高服務質量和服務響應速率。
[0015]本發明的技術解決方案是:這種跨IDC的數據共享緩存方法，該方法包括以下步驟:
[0016](I)建立本地共享緩存，初始化數據；
[0017](2)注冊，建立各互聯網數據中心的共享緩存網絡連接；
[0018](3)進行數據寫入及同步；
[0019](4)向其它互聯網數據中心提供數據服務。
[0020]本發明將多個互聯網數據中心的共享緩存連接為一個整體進行數據寫入及同步，并向其它互聯網數據中心提供數據服務，所以能夠使多個互聯網數據中心的數據在短時間內完成數據同步，保證數據的一致性，保證各地互聯網數據中心可以獲取全國的數據并以此提供數據服務，顯著提高服務質量和服務響應速率。
[0021]還提供了一種跨IDC的數據共享緩存方法，該方法包括以下步驟:
[0022](I)開始；
[0023](II)獲取配置信息；
[0024](III)初始化系統，建立路由表；
[0025](IV)初始化網絡連接；
[0026](V)連接本地數據庫；
[0027](VI)啟動服務；
[0028](VII)判斷響應請求是否終止，是則執行步驟(XIV)，否則執行步驟(VIII);
[0029](VIII)監聽請求，如果是讀取請求則執行步驟(IX)，如果是寫入請求則執行步驟(XI)；
[0030](IX)查詢本地數據庫；
[0031](X)響應請求，跳轉步驟(VII)；
[0032](XI)判斷是否為本地請求，是則執行步驟(XII)，否則執行步驟(XIII);
[0033](XII)路由分流，本地數據寫入其它互聯網數據中心；
[0034](XIII)寫入本地數據庫，跳轉步驟⑴；
[0035](XIV)結束。
【專利附圖】
【附圖說明】
[0036]圖1為根據本發明的跨IDC的數據共享緩存方法的一個優選實施例的流程圖。
【具體實施方式】
[0037]這種跨IDC的數據共享緩存方法，該方法包括以下步驟:
[0038](I)建立本地共享緩存，初始化數據；
[0039](2)注冊，建立各互聯網數據中心的共享緩存網絡連接；
[0040](3)進行數據寫入及同步；
[0041](4)向其它互聯網數據中心提供數據服務。
[0042]本發明將多個互聯網數據中心的共享緩存連接為一個整體進行數據寫入及同步，并向其它互聯網數據中心提供數據服務，所以能夠使多個互聯網數據中心的數據在短時間(正常網絡狀態時為50ms)內完成數據同步，保證數據的一致性，保證各地互聯網數據中心可以獲取全國的數據并以此提供數據服務，顯著提高服務質量和服務響應速率。
[0043]另外，所述步驟(I)中初始化數據是從其它互聯網數據中心同步數據。當然，也可以采取其它方式來初始化數據。
[0044]另外，所述步驟(3)包括以下分步驟:
[0045](3.1)確定各個互聯網數據中心之間的邏輯關系，依照邏輯關系判定是否本地數據需要同步到那些數據中心，建立路由表；
[0046](3.2)數據接入，經過路由表，判定需要寫入的數據中心；
[0047](3.3)查詢路由表，選擇路由通道；
[0048](3.4)寫入本地共享緩存；
[0049](3.5)通過路由技術讀取緩存數據，分發數據；
[0050](3.6)經過數據平臺開發套件DPDK服務器(即分發中心)，修改原始報頭，發送到其它互聯網數據中心的DPDK服務器；
[0051](3.7)其它互聯網數據中心的DPDK服務器接收報文，恢復為原始報頭，寫入當地共享緩存。
[0052]另外，所述步驟(3)還包括以下分步驟:
[0053](3.8)提供查詢服務；
[0054](3.9)實時同步，當本地數據中心有寫入操作時，將該操作的操作名以及數據，序列化為byte流，進行傳輸；異地數據中心接收該消息后反序列化得到操作數據，執行該操作完成問步。
[0055]如圖1所示，還提供了一種跨IDC的數據共享緩存方法，該方法包括以下步驟:
[0056](I)開始；(圖1中未示出此步驟)
[0057](II)獲取配置信息；
[0058](III)初始化系統，建立路由表；
[0059](IV)初始化網絡連接；
[0060](V)連接本地數據庫；
[0061](VI)啟動服務；
[0062](VII)判斷響應請求是否終止，是則執行步驟(XIV)，否則執行步驟(VIII);
[0063](VIII)監聽請求，如果是讀取請求則執行步驟(IX)，如果是寫入請求則執行步驟(XI);(此時其它互聯網數據中心的數據寫入本地)
[0064](IX)查詢本地數據庫；
[0065](X)響應請求，跳轉步驟(VII)；
[0066](XI)判斷是否為本地請求，是則執行步驟(XII)，否則執行步驟(XIII);
[0067](XII)路由分流，本地數據寫入其它互聯網數據中心；
[0068](XIII)寫入本地數據庫，跳轉步驟(X);
[0069](XIV)結束。
[0070]另外，所述步驟(XII)中:數據分發中心根據路由規則分發至其它數據中心；其它數據中心監聽到新的命令，解析該命令，并在所在數據中心執行該命令，完成數據同步。
[0071]相對于現有技術，本方法有如下創新點:
[0072]1.基于內存數據庫；
[0073]2.基于為共享緩存建立數據分發的路由機制；
[0074]3.基于DPDK技術保證共享緩存數據同步的高速率，將數據包的分發集中到專業的網絡服務器上，配合壓縮算法，可顯著提高服務器和帶寬的利用率；
[0075]4.插件化設計，可以數據復制分發策略可以由用戶選擇，僅影響效率，不影響功能實現。
[0076]以上所述，僅是本發明的較佳實施例，并非對本發明作任何形式上的限制，凡是依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬本發明技術方案的保護范圍。
【權利要求】
1.一種跨IDC的數據共享緩存方法，其特征在于:該方法包括以下步驟: (1)建立本地共享緩存，初始化數據； (2)注冊，建立各互聯網數據中心的共享緩存網絡連接； (3)進行數據寫入及同步； (4)向其它互聯網數據中心提供數據服務。
2.根據權利要求1所述的跨IDC的數據共享緩存方法，其特征在于:所述步驟(I)中初始化數據是從其它互聯網數據中心同步數據。
3.根據權利要求1或2所述的跨IDC的數據共享緩存方法，其特征在于:所述步驟(3)包括以下分步驟: (3.1)確定各個互聯網數據中心之間的邏輯關系，依照邏輯關系判定是否本地數據需要同步到那些數據中心，建立路由表； (3.2)數據接入，經過路由表，判定需要寫入的數據中心； (3.3)查詢路由表，選擇路由通道； (3.4)寫入本地共享緩存； (3.5)通過路由技術讀取緩存數據，分發數據； (3.6)經過數據平臺開發套件DPDK服務器，修改原始報頭，發送到其它互聯網數據中心的DPDK服務器； (3.7)其它互聯網數據中心的DPDK服務器接收報文，恢復為原始報頭，寫入當地共享緩存。
4.根據權利要求3所述的跨IDC的數據共享緩存方法，其特征在于:所述步驟(3)還包括以下分步驟: (3.8)提供查詢服務； (3.9)實時同步，當本地數據中心有寫入操作時，將該操作的操作名以及數據，序列化為byte流，進行傳輸；異地數據中心接收該消息后反序列化得到操作數據，執行該操作完成同步。
5.一種跨IDC的數據共享緩存方法，其特征在于:該方法包括以下步驟: (I)開始； (II)獲取配置信息； (III)初始化系統，建立路由表； (IV)初始化網絡連接； (V)連接本地數據庫； (VI)啟動服務； (VII)判斷響應請求是否終止，是則執行步驟(XIV)，否則執行步驟(VIII); (VIII)監聽請求，如果是讀取請求則執行步驟(IX)，如果是寫入請求則執行步驟(XI)； (IX)查詢本地數據庫； (X)響應請求，跳轉步驟(VII)； (XI)判斷是否為本地請求，是則執行步驟(XII)，否則執行步驟(XIII); (XII)路由分流，本地數據寫入其它互聯網數據中心； (XIII)寫入本地數據庫，跳轉步驟(X); (XIV)結束。
6.根據權利要求5所述的跨IDC的數據共享緩存方法，其特征在于:所述步驟(XII)中:數據分發中心根據路由規則分發至其它數據中心；其它數據中心監聽到新的命令，解析該命令，并在所在數據中心執行該命令，完成數據同步。
【文檔編號】H04L29/08GK104519130SQ201410784343
【公開日】2015年4月15日 申請日期:2014年12月16日 優先權日:2014年12月16日
【發明者】張博, 余效偉, 李旭陽, 胡道生 申請人:北京中交興路車聯網科技有限公司