本發明屬于數據處理技術領域,尤其涉及一種基于云服務平臺的大規模數據計算加速系統。
背景技術:
數據(data)是事實或觀察的結果,是對客觀事物的邏輯歸納,是用于表示客觀事物的未經加工的的原始素材。數據是信息的表現形式和載體,可以是符號、文字、數字、語音、圖像、視頻等。數據和信息是不可分離的,數據是信息的表達,信息是數據的內涵。數據本身沒有意義,數據只有對實體行為產生影響時才成為信息。數據可以是連續的值,比如聲音、圖像,稱為模擬數據。也可以是離散的,如符號、文字,稱為數字數據。在計算機系統中,數據以二進制信息單元0,1的形式表示。現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。阿里巴巴創辦人馬云來臺演講中就提到,未來的時代將不是it時代,而是dt的時代,dt就是datatechnology數據科技。
綜上所述,現有技術存在的問題是:目前大規模數據處理存在處理速度慢,降低云服務平臺工作效率。
技術實現要素:
針對現有技術存在的問題,本發明提供了一種基于云服務平臺的大規模數據計算加速系統。
本發明是這樣實現的,一種基于云服務平臺的大規模數據計算加速系統,所述基于云服務平臺的大規模數據計算加速系統包括:
云服務平臺,用于接收來自企業網管模塊的應用服務請求,從加速管理和控制平臺獲得加速策略,根據加速策略將應用的加速模塊下載到企業網關模塊進行緩存;
所述云計算平臺的信任值計算方法包括以下步驟:
步驟一,采集節點間不同時間片的交互次數,根據得到的數據建立時間序列,通過三次指數平滑法來預測節點間下一個時間片的交互次數,將交互次數預測值與實際值的相對誤差作為節點的直接信任值;采集網絡觀測節點i與節點j之間的n個時間片的交互次數:
選取一定時間間隔t作為一個觀測時間片,以觀測節點i和被測節點j在1個時間片內的交互次數作為觀測指標,真實交互次數,記作yt,依次記錄n個時間片的yn,并將其保存在節點i的通信記錄表中;
預測第n+1個時間片的交互次數:
根據采集到的n個時間片的交互次數建立時間序列,采用三次指數平滑法預測下一個時間片n+1內節點i和j之間的交互次數,預測交互次數,記作
預測系數an、bn、cn的取值可由如下公式計算得到:
其中:
α是平滑系數(0<α<1),體現信任的時間衰減特性,即離預測值越近的時間片的yt權重越大,離預測值越遠的時間片的yt權重越小;一般地,如果數據波動較大,且長期趨勢變化幅度較大,呈現明顯迅速的上升或下降趨勢時α應取較大值(0.6~0.8),增加近期數據對預測結果的影響;當數據有波動,但長期趨勢變化不大時,α在0.1~0.4之間取值;如果數據波動平穩,α應取較小值(0.05~0.20);
計算直接信任值:
節點j的直接信任值tdij為預測交互次數
步驟二,采用多路徑信任推薦方式而得到的計算式計算間接信任值;收集可信節點對節點j的直接信任值:
節點i向所有滿足tdik≤φ的可信關聯節點詢問其對節點j的直接信任值,其中φ為推薦節點的可信度閾值,根據可信度的要求精度,φ的取值范圍為0~0.4;
計算間接信任值:
綜合計算所收集到的信任值,得到節點j的間接信任值trij,
步驟三,由直接信任值和間接信任值整合計算得出綜合信任值,綜合信任值(tij)的計算公式如下:tij=βtdij+(1-β)trij,其中β(0≤β≤1)表示直接信任值的權重,當β=0時,節點i和節點j沒有直接交互關系,綜合信任值的計算直接來自于間接信任值,判斷較客觀;當β=1時,節點i對節點j的綜合信任值全部來自于直接信任值,在這種情況下,判斷較為主觀,實際計算根據需要確定β的取值;
加速管理和控制模塊,用于接收企業網關模塊的處理能力,根據企業網關的處理能力和應用的加速模塊確定加速策略,將加速策略發送給云服務平臺;
企業網管模塊,用于向加速管理和控制模塊注冊處理能力;緩存應用的加速模塊,接收來自用戶的應用服務請求,通過應用的服務端和緩存的應用的加速模塊為用戶提供服務;
客戶計算機,用于接受企業網管模塊的服務和云服務平臺的申請應用服務請求;
所述客戶計算機設置有無線網絡模塊,所述無線網絡模塊的網絡節點部署方法包括:
步驟一,無線網絡節點部署:無線網絡工作區域中包括1個源節點n,1個目的節點sink和n個中間節點b={b1,b2,…,bn};其中,源節點n負責生成含水印數據包,目的節點sink負責接收數據包,中間節點b={b1,b2,…,bn}負責將源節點n生成的含水印數據包傳輸到目的節點sink,每個中間節點包括能量、安全度及位置三個屬性,其中第i個中間節點的屬性分別記為能量ei∈[0,0.2],安全度si∈[0,10]及位置(xi,yi);
步驟二,生成含水印數據包:首先源節點n生成原始數據包data={data1,data2,…,datai,…,data8},其中第i個數據項datai由28位二進制序列組成;然后生成32位原始水印序列w={w1,w2,…wi,…,w8},其中第i個水印項wi由4位二進制序列組成;再次,將第i個水印項wi追加到第i個數據項datai后,得到32位的第i個含水印數據項wdatai,最后重復這一過程直到得到含水印數據包wdata={wdata1,wdata2,…,wdatai,…,wdata8},i=1,2,…8;
步驟三,選擇鄰居節點;
(3a)選定源節點n作為當前節點,記為u;
(3b)按照下式,計算當前節點u到目的節點sink的距離dusink:
其中(xu,yu)為當前節點u的位置,(xsink,ysink)為目的節點sink的位置;
(3c)根據公式tr=πr2計算當前節點u的傳輸范圍tr,并將當前節點u傳輸范圍tr內的所有中間節點作為候選鄰居節點,得到候選鄰居節點集合bm={bm1,bm2,…,bmi,…,bmm},其中π為圓周率3.14,r為當前節點u的傳輸半徑,即當前節點u能夠傳輸數據的最大距離;
(3d)按照下式,計算第i個候選鄰居節點bmi到目的節點sink的距離di并將其與當前節點u到目的節點sink的距離dusink進行比較,
如果di<dusink,則將第i個候選鄰居節點bmi作為鄰居節點放入鄰居節點集合bh中,其中(xi,yi)為候選鄰居節點bmi的位置,i=1,2,…m,(xsink,ysink)為目的節點sink的位置;
(3e)重復步驟(3d),直到處理完候選鄰居節點集合bm={bm1,bm2,…,bmi,…,bmm}中的所有候選鄰居節點,得到鄰居節點集合bh={bh1,bh2,…,bhi,…,bhh};
步驟四,轉發含水印數據包;
步驟五,水印提取和檢測;
步驟六,重復步驟二~步驟五,直到無線網絡中任一中間節點找不到滿足條件的下一跳節點進行數據包轉發時終止;
所述無線網絡模塊的快速喚醒關聯方法包括:
步驟一,hub根據當前通信的需要設置sss、asso_ctrl域為相應的值,構造wakeup幀;在發送wakeup幀后,向節點發送t-poll幀;
步驟二,節點收到喚醒幀后,獲得本次關聯的配置信息以及hub的公鑰pkb,然后選擇自己的私鑰ska長為256比特,計算公鑰計算公鑰pka=ska×g,計算出公鑰后,節點再計算基于口令的公鑰,pka'=pka-q(pw),q(pw)=(qx,qy),qx=232×pw+mx;節點根據收到的wakeup幀中的nonce_b以及自身選擇的nonce_a計算:
kmac_1a
=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)
kmac_2a
=cmac(temp_1,add_badd_anonce_bnonce_asss,64);
利用上述計算的信息pka、kmac_2a構造第一關聯請求幀,并向hub發送;
步驟三,hub收到第一關聯請求幀后,首先復原當前節點的公鑰pka=pka'+q(pw),q(pw)=(qx,qy),qx=232×pw+mx;mx為使qx滿足橢圓曲線上的點的最小非負整數;計算dhkey=x(skb×pka)=x(ska×skb×g),這里x()函數是取橢圓曲線密鑰的x坐標值,temp_1=rmb_128(dhkey),根據收到的信息以及計算得到的信息計算:
kmac_1b
=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)
kmac_2b
=cmac(temp_1,add_badd_anonce_bnonce_asss,64)
對比收到的kmac_2a和計算得到的kmac_2b,如果相同則繼續構造第二關聯請求幀并進入本次關聯請求的步驟五,如果不同則取消本次關聯請求;
步驟四,節點收到第二關聯請求幀,對比在步驟二中計算的kmac_1a與收到的kmac_1b,如果不同則取消本次關聯請求,如果相同則進入本次關聯的步驟五步;
步驟五,節點與hub計算mk=cmac(temp_2,nonce_anonce_b,128),temp_2=lmb(dhkey),為dhkey的最左128位;雙方完成喚醒關聯。
進一步,所述企業網管模塊的數據加密方法包括:
1)設定初始密鑰x0;
2)給定一組數據碼xn,n=1,...,n,n為欲加密的數據碼總數;
3)不可逆轉換步驟,用于將輸入的一組p位二進制位的數據碼xn轉換為q位二進制位的轉換碼zm,即zm=u(xn-1);
4)暫存步驟,暫存所述轉換后的數據碼zm以將其延遲一個工作周期;
5)組合步驟,接收延遲的轉換后的數據碼zm,并將其組合成為p位二進制位碼后輸出;
6)異或邏輯運算步驟,接收所述組合步驟的輸出和所述數據碼xn作為輸入,經過異或邏輯操作后輸出加密后的所述數據碼yn:
yn=(xnxoru(xn-1))。
進一步,所述無線網絡模塊的無線接入點及局域網交換機在實時數據傳輸時隙參數碼指定的時鐘到達發送實時數據傳輸啟動碼時間時,檢測原局域網傳輸協議傳輸工作狀態,當原局域網傳輸協議下傳輸狀態為用戶終端數據發送結束時,無線接入點及局域網交換機向實時數據用戶終端發送實時數據傳輸啟動碼;激活時分vlan路由表中的各個相關局域網交換機的相關端口在指定的子時隙中呈現為集線器工作模式,即當激活時分vlan路由表中所包含的一個交換機的相關端口有輸入數據時,將該數據復制到激活時分vlan路由表中所包含的相關交換機的相關端口予以輸出;當激活vlan路由表所包含的某些無線實時數據用戶終端在同一個無線接入點接入時,該無線接入點將在對應的無線子時隙上行傳輸通道收到的無線上行數據碼通過無線子時隙下行傳輸通道發送出去;無線接入點及局域網交換機在發送的信道標識碼中保持空閑子時隙及應急子時隙編號及對應子時隙的位置不變,對接收到的的實時數據碼分配占用子時隙編號及對應子時隙位置。
本發明的優點及積極效果為:在企業網關模塊上運行云計算的加速模塊,通過加速管理和控制模塊進行加速策略維護,并由云服務平臺根據加速策略調度加速模塊,充分利用企業網關模塊的位置優勢和計算能力,對云服務平臺進行優化,提高系統的運行效率。
附圖說明
圖1是本發明實施例提供的基于云服務平臺的大規模數據計算加速系統結構示意圖;
圖中:1、云服務平臺;2、加速管理和控制模塊;3、企業網管模塊;4、客戶計算機。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白,以下結合實施例,對本發明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅僅用以解釋本發明,并不用于限定本發明。
下面結合附圖對本發明的應用原理作詳細的描述。
如圖1所示,本發明實施例提供的基于云服務平臺的大規模數據計算加速系統包括:云服務平臺1、加速管理和控制模塊2、企業網管模塊3、客戶計算機4。
云服務平臺1,用于接收來自企業網管模塊3的應用服務請求,從加速管理和控制平臺獲得加速策略,根據加速策略將應用的加速模塊下載到企業網關模塊3進行緩存。
加速管理和控制模塊2,用于接收企業網關模塊3的處理能力,根據企業網關的處理能力和應用的加速模塊確定加速策略,將加速策略發送給云服務平臺1。
企業網管模塊3,用于向加速管理和控制模塊2注冊處理能力;緩存應用的加速模塊,接收來自用戶的應用服務請求,通過應用的服務端和緩存的應用的加速模塊為用戶提供服務。
客戶計算機4,用于接受企業網管模塊3的服務和云服務平臺1的申請應用服務請求。
所述云計算平臺1的信任值計算方法包括以下步驟:
步驟一,采集節點間不同時間片的交互次數,根據得到的數據建立時間序列,通過三次指數平滑法來預測節點間下一個時間片的交互次數,將交互次數預測值與實際值的相對誤差作為節點的直接信任值;采集網絡觀測節點i與節點j之間的n個時間片的交互次數:
選取一定時間間隔t作為一個觀測時間片,以觀測節點i和被測節點j在1個時間片內的交互次數作為觀測指標,真實交互次數,記作yt,依次記錄n個時間片的yn,并將其保存在節點i的通信記錄表中;
預測第n+1個時間片的交互次數:
根據采集到的n個時間片的交互次數建立時間序列,采用三次指數平滑法預測下一個時間片n+1內節點i和j之間的交互次數,預測交互次數,記作
預測系數an、bn、cn的取值可由如下公式計算得到:
其中:
α是平滑系數(0<α<1),體現信任的時間衰減特性,即離預測值越近的時間片的yt權重越大,離預測值越遠的時間片的yt權重越小;一般地,如果數據波動較大,且長期趨勢變化幅度較大,呈現明顯迅速的上升或下降趨勢時α應取較大值(0.6~0.8),增加近期數據對預測結果的影響;當數據有波動,但長期趨勢變化不大時,α在0.1~0.4之間取值;如果數據波動平穩,α應取較小值(0.05~0.20);
計算直接信任值:
節點j的直接信任值tdij為預測交互次數
步驟二,采用多路徑信任推薦方式而得到的計算式計算間接信任值;收集可信節點對節點j的直接信任值:
節點i向所有滿足tdik≤φ的可信關聯節點詢問其對節點j的直接信任值,其中φ為推薦節點的可信度閾值,根據可信度的要求精度,φ的取值范圍為0~0.4;
計算間接信任值:
綜合計算所收集到的信任值,得到節點j的間接信任值trij,
步驟三,由直接信任值和間接信任值整合計算得出綜合信任值,綜合信任值(tij)的計算公式如下:tij=βtdij+(1-β)trij,其中β(0≤β≤1)表示直接信任值的權重,當β=0時,節點i和節點j沒有直接交互關系,綜合信任值的計算直接來自于間接信任值,判斷較客觀;當β=1時,節點i對節點j的綜合信任值全部來自于直接信任值,在這種情況下,判斷較為主觀,實際計算根據需要確定β的取值;
所述客戶計算機4設置有無線網絡模塊,所述無線網絡模塊的網絡節點部署方法包括:
步驟一,無線網絡節點部署:無線網絡工作區域中包括1個源節點n,1個目的節點sink和n個中間節點b={b1,b2,…,bn};其中,源節點n負責生成含水印數據包,目的節點sink負責接收數據包,中間節點b={b1,b2,…,bn}負責將源節點n生成的含水印數據包傳輸到目的節點sink,每個中間節點包括能量、安全度及位置三個屬性,其中第i個中間節點的屬性分別記為能量ei∈[0,0.2],安全度si∈[0,10]及位置(xi,yi);
步驟二,生成含水印數據包:首先源節點n生成原始數據包data={data1,data2,…,datai,…,data8},其中第i個數據項datai由28位二進制序列組成;然后生成32位原始水印序列w={w1,w2,…wi,…,w8},其中第i個水印項wi由4位二進制序列組成;再次,將第i個水印項wi追加到第i個數據項datai后,得到32位的第i個含水印數據項wdatai,最后重復這一過程直到得到含水印數據包wdata={wdata1,wdata2,…,wdatai,…,wdata8},i=1,2,…8;
步驟三,選擇鄰居節點;
(3a)選定源節點n作為當前節點,記為u;
(3b)按照下式,計算當前節點u到目的節點sink的距離dusink:
其中(xu,yu)為當前節點u的位置,(xsink,ysink)為目的節點sink的位置;
(3c)根據公式tr=πr2計算當前節點u的傳輸范圍tr,并將當前節點u傳輸范圍tr內的所有中間節點作為候選鄰居節點,得到候選鄰居節點集合bm={bm1,bm2,…,bmi,…,bmm},其中π為圓周率3.14,r為當前節點u的傳輸半徑,即當前節點u能夠傳輸數據的最大距離;
(3d)按照下式,計算第i個候選鄰居節點bmi到目的節點sink的距離di并將其與當前節點u到目的節點sink的距離dusink進行比較,
如果di<dusink,則將第i個候選鄰居節點bmi作為鄰居節點放入鄰居節點集合bh中,其中(xi,yi)為候選鄰居節點bmi的位置,i=1,2,…m,(xsink,ysink)為目的節點sink的位置;
(3e)重復步驟(3d),直到處理完候選鄰居節點集合bm={bm1,bm2,…,bmi,…,bmm}中的所有候選鄰居節點,得到鄰居節點集合bh={bh1,bh2,…,bhi,…,bhh};
步驟四,轉發含水印數據包;
步驟五,水印提取和檢測;
步驟六,重復步驟二~步驟五,直到無線網絡中任一中間節點找不到滿足條件的下一跳節點進行數據包轉發時終止;
所述無線網絡模塊的快速喚醒關聯方法包括:
步驟一,hub根據當前通信的需要設置sss、asso_ctrl域為相應的值,構造wakeup幀;在發送wakeup幀后,向節點發送t-poll幀;
步驟二,節點收到喚醒幀后,獲得本次關聯的配置信息以及hub的公鑰pkb,然后選擇自己的私鑰ska長為256比特,計算公鑰計算公鑰pka=ska×g,計算出公鑰后,節點再計算基于口令的公鑰,pka'=pka-q(pw),q(pw)=(qx,qy),qx=232×pw+mx;節點根據收到的wakeup幀中的nonce_b以及自身選擇的nonce_a計算:
kmac_1a
=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)
kmac_2a
=cmac(temp_1,add_badd_anonce_bnonce_asss,64);
利用上述計算的信息pka、kmac_2a構造第一關聯請求幀,并向hub發送;
步驟三,hub收到第一關聯請求幀后,首先復原當前節點的公鑰pka=pka'+q(pw),q(pw)=(qx,qy),qx=232×pw+mx;mx為使qx滿足橢圓曲線上的點的最小非負整數;計算dhkey=x(skb×pka)=x(ska×skb×g),這里x()函數是取橢圓曲線密鑰的x坐標值,temp_1=rmb_128(dhkey),根據收到的信息以及計算得到的信息計算:
kmac_1b
=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)
kmac_2b
=cmac(temp_1,add_badd_anonce_bnonce_asss,64)
對比收到的kmac_2a和計算得到的kmac_2b,如果相同則繼續構造第二關聯請求幀并進入本次關聯請求的步驟五,如果不同則取消本次關聯請求;
步驟四,節點收到第二關聯請求幀,對比在步驟二中計算的kmac_1a與收到的kmac_1b,如果不同則取消本次關聯請求,如果相同則進入本次關聯的步驟五步;
步驟五,節點與hub計算mk=cmac(temp_2,nonce_anonce_b,128),temp_2=lmb(dhkey),為dhkey的最左128位;雙方完成喚醒關聯。
所述企業網管模塊的數據加密方法包括:
1)設定初始密鑰x0;
2)給定一組數據碼xn,n=1,...,n,n為欲加密的數據碼總數;
3)不可逆轉換步驟,用于將輸入的一組p位二進制位的數據碼xn轉換為q位二進制位的轉換碼zm,即zm=u(xn-1);
4)暫存步驟,暫存所述轉換后的數據碼zm以將其延遲一個工作周期;
5)組合步驟,接收延遲的轉換后的數據碼zm,并將其組合成為p位二進制位碼后輸出;
6)異或邏輯運算步驟,接收所述組合步驟的輸出和所述數據碼xn作為輸入,經過異或邏輯操作后輸出加密后的所述數據碼yn:
yn=(xnxoru(xn-1))。
所述無線網絡模塊的無線接入點及局域網交換機在實時數據傳輸時隙參數碼指定的時鐘到達發送實時數據傳輸啟動碼時間時,檢測原局域網傳輸協議傳輸工作狀態,當原局域網傳輸協議下傳輸狀態為用戶終端數據發送結束時,無線接入點及局域網交換機向實時數據用戶終端發送實時數據傳輸啟動碼;激活時分vlan路由表中的各個相關局域網交換機的相關端口在指定的子時隙中呈現為集線器工作模式,即當激活時分vlan路由表中所包含的一個交換機的相關端口有輸入數據時,將該數據復制到激活時分vlan路由表中所包含的相關交換機的相關端口予以輸出;當激活vlan路由表所包含的某些無線實時數據用戶終端在同一個無線接入點接入時,該無線接入點將在對應的無線子時隙上行傳輸通道收到的無線上行數據碼通過無線子時隙下行傳輸通道發送出去;無線接入點及局域網交換機在發送的信道標識碼中保持空閑子時隙及應急子時隙編號及對應子時隙的位置不變,對接收到的的實時數據碼分配占用子時隙編號及對應子時隙位置。
本發明實施例提供的基于云服務平臺的大規模數據計算加速方法包括:
步驟一,企業網關登錄網絡后,到云服務平臺中的加速管理和控制模塊注冊,注冊的內容包括冗余處理能力。
步驟二,客戶計算機申請應用服務,應用服務請求經過企業網關模塊轉發到云服務平臺。
步驟三,云服務平臺查看客戶申請的應用是否存在加速模塊,如果存在,云服務平臺向加速管理和控制模塊申請加速,攜帶企業網關模塊和應用的加速模塊信息。
步驟四,加速管理和控制模塊根據企業網關的處理能力,加速模塊的能力確定加速策略,將加速策略發送給云服務平臺。
步驟五,云服務平臺根據加速策略將加速模塊下載到企業網關模塊進行緩存。
步驟六,企業網關模塊上應用的加速模塊和云服務平臺上應用的服務端共同為客戶提供服務。
以上所述僅為本發明的較佳實施例而已,并不用以限制本發明,凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等,均應包含在本發明的保護范圍之內。