專利名稱:數(shù)據(jù)處理方法、緩存節(jié)點(diǎn)、協(xié)作控制器及系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本申請涉及網(wǎng)絡(luò)通信領(lǐng)域,特別是涉及一種數(shù)據(jù)處理方法、緩存節(jié)點(diǎn)、協(xié)作控制器及系統(tǒng)。
背景技術(shù):
隨著寬帶接入的普及以及基于流媒體的寬帶應(yīng)用的迅速發(fā)展,CDN被發(fā)現(xiàn)是一種能夠有效緩解流媒體傳輸?shù)母咄掏侣蕦?duì)骨干網(wǎng)絡(luò)帶來的壓力,同時(shí)提升流媒體服務(wù)質(zhì)量的有效手段。因此,近年來,CDN得到越來越多的重視,并在國內(nèi)外得到廣泛的部署,而流媒體內(nèi)容也取代Web內(nèi)容成為CDN的主要承載對(duì)象。⑶N的核心思想是將數(shù)據(jù)內(nèi)容從中心網(wǎng)絡(luò)推到邊緣靠近用戶的地方,這樣,不但有效提高了用戶訪問內(nèi)容的性能,而且有效減輕了中心設(shè)備和骨干網(wǎng)絡(luò)的壓力,通過⑶N可以將內(nèi)容從原來的單一中心結(jié)構(gòu)變?yōu)榉植际降慕Y(jié)構(gòu)。單個(gè)CDN服務(wù)器相當(dāng)于一個(gè)緩存節(jié)點(diǎn),其緩存和服務(wù)能力有限,因此需要建立一個(gè)由多個(gè)CDN服務(wù)器組成的緩存節(jié)點(diǎn)群組通過協(xié)同緩存的方式進(jìn)行協(xié)同工作,充分利用各個(gè)CDN服務(wù)器彼此的緩存空間提高命中率、分散熱點(diǎn)數(shù)據(jù)、均衡各服務(wù)器負(fù)載,避免單點(diǎn)出錯(cuò)和解決瓶頸問題。現(xiàn)有的CDN緩存節(jié)點(diǎn),其內(nèi)部的單一存儲(chǔ)空間即存儲(chǔ)用于本地訪問的本地?cái)?shù)據(jù)內(nèi)容又存儲(chǔ)用于非本地訪問的協(xié)作數(shù)據(jù)內(nèi)容,且在參與協(xié)作的過程中,只考慮協(xié)作的全局目標(biāo),參與協(xié)作的CDN緩存節(jié)點(diǎn)完全對(duì)等,忽略了緩存的本地優(yōu)化的不同需求。
發(fā)明內(nèi)容
為解決上述技術(shù)問題,本申請實(shí)施例提供一種數(shù)據(jù)處理方法、緩存節(jié)點(diǎn)、協(xié)作控制器及系統(tǒng),綜合協(xié)作的全局及單個(gè)緩存節(jié)點(diǎn),有效的對(duì)參與的協(xié)作的數(shù)據(jù)進(jìn)行處理。技術(shù)方案如下一種數(shù)據(jù)處理方法,基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間;所述方法包括接收客戶端數(shù)據(jù)請求的被訪問緩存節(jié)點(diǎn)對(duì)與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容進(jìn)行查找;當(dāng)在所述被訪問緩存節(jié)點(diǎn)的本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表;所述數(shù)據(jù)內(nèi)容目錄列表中設(shè)置有數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的本地替換空間。一種緩存節(jié)點(diǎn),應(yīng)用于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組中,包括控制模塊、本地替換空間和協(xié)作替換空間;其中所述本地替換空間用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存;所述協(xié)作替換空間用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存;所述控制模塊用于接收客戶端發(fā)送的數(shù)據(jù)請求,并在所述本地替換空間中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的的數(shù)據(jù)內(nèi)容;當(dāng)在所述本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí), 查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系,依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間中。一種數(shù)據(jù)處理方法,基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間;所述方法包括獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐?;依?jù)所述鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。一種協(xié)作控制器,包括獲取模塊,用于獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐?;調(diào)整模塊,用于依據(jù)所述獲取模塊獲取的鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。一種數(shù)據(jù)處理系統(tǒng),包括由緩存節(jié)點(diǎn)組成的緩存節(jié)點(diǎn)群組及一種協(xié)作控制器。由以上本申請實(shí)施例提供的技術(shù)方案可見,本發(fā)明提供的一種數(shù)據(jù)處理方法及執(zhí)行所述方法的緩存節(jié)點(diǎn)、協(xié)作控制器及數(shù)據(jù)處理系統(tǒng),基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中的任意緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間,以上兩種存儲(chǔ)空間分別存儲(chǔ)本地及非本地不同客戶端所要訪問的數(shù)據(jù)內(nèi)容,使緩存節(jié)點(diǎn)的內(nèi)部存儲(chǔ)空間細(xì)分化,客戶端在訪問緩存節(jié)點(diǎn)的過程中對(duì)數(shù)據(jù)的獲取更加準(zhǔn)確直接,滿足了緩存節(jié)點(diǎn)本地優(yōu)化的不同需求。各個(gè)緩存節(jié)點(diǎn)的構(gòu)造一致,當(dāng)某一客戶端訪問本地緩存節(jié)點(diǎn)未能查找到所需的數(shù)據(jù)內(nèi)容時(shí),可通過數(shù)據(jù)協(xié)作訪問其它客戶端的緩存節(jié)點(diǎn)獲取所需數(shù)據(jù),在保證了緩存節(jié)點(diǎn)群組中全局?jǐn)?shù)據(jù)緩存的基礎(chǔ)上,對(duì)單個(gè)緩存節(jié)點(diǎn)的數(shù)據(jù)獲取進(jìn)行了優(yōu)化。同時(shí),當(dāng)所述緩存節(jié)點(diǎn)的存儲(chǔ)空間到達(dá)某一閾值,如存儲(chǔ)空間已滿等情況時(shí),對(duì)于緩存節(jié)點(diǎn)獲取的將要存儲(chǔ)到本地替換空間或協(xié)作替換空間中的內(nèi)容執(zhí)行替換操作,將本地替換空間或協(xié)作替換空間中被訪問頻率最低的數(shù)據(jù)內(nèi)容替換為獲取的數(shù)據(jù)內(nèi)容,保證了客戶端對(duì)所需數(shù)據(jù)內(nèi)容進(jìn)行獲取的順暢性與及時(shí)性。另外,為了保證數(shù)據(jù)內(nèi)容的可重復(fù)使用及節(jié)約鏈路資源,還包括將從緩存節(jié)點(diǎn)的某一替換空間替換出的數(shù)據(jù)內(nèi)容在滿足某一條件的基礎(chǔ)上加入到另一替換空間的過程,是各個(gè)緩存節(jié)點(diǎn)的空間利用率在最大程度上得到利用。在上述方法的執(zhí)行過程中,當(dāng)某一緩存節(jié)點(diǎn)所在鏈路的鏈路利用率偏高超過某一預(yù)設(shè)閾值時(shí),將該緩存節(jié)點(diǎn)協(xié)作替換空間中參與協(xié)作的被訪問頻率較高的一些數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移,從而降低本緩存節(jié)點(diǎn)的鏈路利用率,平衡緩存節(jié)點(diǎn)群組中的整體鏈路利用率,使數(shù)據(jù)的協(xié)作過程平衡穩(wěn)定。在緩存節(jié)點(diǎn)及數(shù)據(jù)處理處理方法的基礎(chǔ)上,本申請實(shí)施例還提供了一種協(xié)作控制器,用于對(duì)緩存節(jié)點(diǎn)群組中的各個(gè)緩存節(jié)點(diǎn)參與協(xié)作的過程進(jìn)行監(jiān)測控制,統(tǒng)計(jì)各個(gè)緩存節(jié)點(diǎn)中參與協(xié)作的數(shù)據(jù)內(nèi)容并將數(shù)據(jù)內(nèi)容列表分發(fā)到緩存節(jié)點(diǎn)群組中的各個(gè)緩存節(jié)點(diǎn),調(diào)整各個(gè)緩存節(jié)點(diǎn)的協(xié)作比例,使數(shù)據(jù)緩存過程更加優(yōu)化。
為了更清楚地說明本申請實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1為本申請實(shí)施例提供的一種數(shù)據(jù)處理方法的方法流程圖;圖2為本申請實(shí)施例提供的數(shù)據(jù)處理方法中確定目標(biāo)緩存節(jié)點(diǎn)的方法流程圖;圖3為本申請實(shí)施例提供的數(shù)據(jù)處理方法的一詳細(xì)流程圖;圖4為本申請實(shí)施例提供的數(shù)據(jù)處理方法的另一詳細(xì)流程圖;圖5為本申請實(shí)施例提供的數(shù)據(jù)處理方法中將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的處理流程圖;圖6為本申請實(shí)施例提供的數(shù)據(jù)處理方法中將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的一詳細(xì)處理流程圖;圖7為本申請實(shí)施例提供的數(shù)據(jù)處理過程中對(duì)協(xié)作替換空間中數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的方法流程圖;圖8為本申請實(shí)施例提供的數(shù)據(jù)處理過程中從目標(biāo)緩存節(jié)點(diǎn)獲取數(shù)據(jù)內(nèi)容的方法流程圖;圖9為本申請實(shí)施例提供的將獲取的數(shù)據(jù)內(nèi)容保存至本地替換空間的處理流程圖;圖10為本申請實(shí)施例提供的將獲取的數(shù)據(jù)內(nèi)容保存至本地替換空間的一詳細(xì)處理流程圖;圖11為本申請實(shí)施例提供的緩存節(jié)點(diǎn)的應(yīng)用環(huán)境示意圖;圖12為本申請實(shí)施例提供的緩存節(jié)點(diǎn)的結(jié)構(gòu)示意圖;圖13為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第一結(jié)構(gòu)示意圖;圖14為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第二結(jié)構(gòu)示意圖;圖15為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第三結(jié)構(gòu)示意圖;圖16為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第四結(jié)構(gòu)示意圖;圖17為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第五結(jié)構(gòu)示意圖18為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第六結(jié)構(gòu)示意圖;圖19為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第七結(jié)構(gòu)示意圖;圖20為本申請實(shí)施例提供的緩存節(jié)點(diǎn)中控制模塊的第八結(jié)構(gòu)示意圖;圖21為本申請實(shí)施例提供的應(yīng)用在協(xié)作控制器端的數(shù)據(jù)處理方法;圖22為本申請實(shí)施例提供的數(shù)據(jù)處理方法中對(duì)緩存節(jié)點(diǎn)的協(xié)作比例進(jìn)行調(diào)整的方法流程圖;圖23為本申請實(shí)施例提供的控制緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的方法流程圖;圖M為本申請實(shí)施例提供的控制緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的一詳細(xì)流程圖;圖25為本申請實(shí)施例提供的協(xié)作控制器的第一結(jié)構(gòu)示意圖;圖沈?yàn)楸旧暾垖?shí)施例提供的協(xié)作控制器的第二結(jié)構(gòu)示意圖;圖27為本申請實(shí)施例提供的協(xié)作控制器的第三結(jié)構(gòu)示意圖;圖觀為本申請實(shí)施例提供的協(xié)作控制器的第四結(jié)構(gòu)示意圖;圖四為本申請實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。為了圖示的簡單和清楚,以上附圖示出了結(jié)構(gòu)的普通形式,并且為了避免不必要的模糊本發(fā)明,可以省略已知特征和技術(shù)的描述和細(xì)節(jié)。另外,附圖中的單元不必要按照比例繪制。例如,可以相對(duì)于其他單元放大圖中的一些單元的尺寸,從而幫助更好的理解本發(fā)明的實(shí)施例。不同附圖中的相同標(biāo)號(hào)表示相同的單元。說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”、“第三”、“第四”等(如果存在)是用于區(qū)別類似的單元,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本發(fā)明的實(shí)施例例如能夠以除了在這里圖示的或否則描述的那些以外的順序?qū)嵤?。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,以便包含一系列單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于那些單元,而是可以包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它單元。
具體實(shí)施例方式為了使本技術(shù)領(lǐng)域的人員更好地理解本申請方案。下面將結(jié)合本申請實(shí)施例中的附圖,對(duì)本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本申請一部分實(shí)施例,而不是全部的實(shí)施例?;诒旧暾堉械膶?shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。本申請實(shí)施例提供的一種數(shù)據(jù)處理方法的方法流程圖如圖1所示,該方法基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間; 其中協(xié)作替換空間中的數(shù)據(jù)內(nèi)容參與所述緩存節(jié)點(diǎn)群組中的全局協(xié)作。所述方法包括步驟SlOl 接收客戶端數(shù)據(jù)請求的被訪問緩存節(jié)點(diǎn)對(duì)與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容進(jìn)行查找;
緩存節(jié)點(diǎn)群組中的每個(gè)緩存節(jié)點(diǎn)都有與其相對(duì)應(yīng)的客戶端,客戶端發(fā)送數(shù)據(jù)請求到其對(duì)應(yīng)的緩存節(jié)點(diǎn)獲取需求的數(shù)據(jù)內(nèi)容;步驟S102 當(dāng)在所述被訪問緩存節(jié)點(diǎn)的本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表;所述數(shù)據(jù)內(nèi)容目錄列表中設(shè)置有數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;緩存節(jié)點(diǎn)的本地替換空間中存儲(chǔ)有本地客戶端訪問的數(shù)據(jù)內(nèi)容,被訪問的緩存節(jié)點(diǎn)接收到緩存節(jié)點(diǎn)發(fā)送的數(shù)據(jù)請求后,在其本地替換空間中查找與所述客戶端發(fā)送的數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容,當(dāng)在被訪問緩存節(jié)點(diǎn)的本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),表明被訪問緩存節(jié)點(diǎn)的本地替換空間中未保存有本地客戶端需求的數(shù)據(jù)內(nèi)容;此時(shí)執(zhí)行緩存節(jié)點(diǎn)群組中的數(shù)據(jù)協(xié)作過程,查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表,所述數(shù)據(jù)內(nèi)容目錄列表中設(shè)置有數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;步驟S103 依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);依據(jù)數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的對(duì)應(yīng)關(guān)系,查詢與本地客戶端發(fā)送數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容所存儲(chǔ)的緩存節(jié)點(diǎn)的物理位置,將查詢得到的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);步驟S104 從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的本地替換空間;從所述確定的目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述客戶端需求的數(shù)據(jù)內(nèi)容并將所述獲取的數(shù)據(jù)內(nèi)容保存至本地被訪問緩存節(jié)點(diǎn)的本地替換空間中。對(duì)于上述方法中步驟S103及步驟S104的執(zhí)行過程中,當(dāng)依據(jù)所述對(duì)應(yīng)關(guān)系查詢得出,在本地被訪問的緩存節(jié)點(diǎn)的協(xié)作替換空間中存儲(chǔ)有與所述客戶端發(fā)送數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容時(shí),則本地被訪問的緩存節(jié)點(diǎn)即為目標(biāo)緩存節(jié)點(diǎn),直接將本地被訪問緩存節(jié)點(diǎn)協(xié)作替換空間中存儲(chǔ)的與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容發(fā)送至本地客戶端,并將所述數(shù)據(jù)內(nèi)容從所述協(xié)作替換空間加入到本地替換空間。對(duì)于步驟S103中從緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中確定目標(biāo)緩存節(jié)點(diǎn)的過程是在被訪問緩存節(jié)點(diǎn)中不存在與所述客戶端發(fā)送數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容的情況下執(zhí)行的。上述數(shù)據(jù)處理方法執(zhí)行過程中,所查詢的數(shù)據(jù)內(nèi)容目錄列表中記錄有緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)中參與協(xié)作的數(shù)據(jù)內(nèi)容及所述數(shù)據(jù)內(nèi)容在某一時(shí)間區(qū)域內(nèi)被訪問的頻率等,數(shù)據(jù)緩存節(jié)點(diǎn)群組中的任一緩存節(jié)點(diǎn)中都實(shí)時(shí)預(yù)設(shè)有數(shù)據(jù)內(nèi)容目錄列表,該目錄列表可有處理設(shè)備實(shí)時(shí)預(yù)設(shè),本申請實(shí)施例提供的數(shù)據(jù)處理方法中各個(gè)緩存節(jié)點(diǎn)中的數(shù)據(jù)內(nèi)容目錄列表優(yōu)選的由寫作控制器進(jìn)行預(yù)設(shè),并且協(xié)作控制器在所述數(shù)據(jù)處理方法的執(zhí)行過程中與各個(gè)緩存節(jié)點(diǎn)之間實(shí)時(shí)進(jìn)行交互,為各個(gè)緩存節(jié)點(diǎn)群組中的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行更新。本申請實(shí)施例提供的數(shù)據(jù)處理方法中,所述數(shù)據(jù)內(nèi)容目錄列表的存在方式有多種,如上述可為協(xié)作控制器實(shí)時(shí)將更新的數(shù)據(jù)內(nèi)容目錄列表預(yù)設(shè)在各個(gè)緩存節(jié)點(diǎn)內(nèi)部;也可為協(xié)作控制器將更新的數(shù)據(jù)內(nèi)容目錄列表預(yù)設(shè)在協(xié)作控制器內(nèi)部,當(dāng)各個(gè)緩存節(jié)點(diǎn)需要查詢所述數(shù)據(jù)內(nèi)容目錄列表時(shí),向所述協(xié)作控制器請求查詢;還可以由協(xié)作控制器將所述數(shù)據(jù)內(nèi)容目錄列表預(yù)設(shè)在第三方設(shè)備中,當(dāng)各個(gè)緩存節(jié)點(diǎn)需要查詢所述數(shù)據(jù)內(nèi)容目錄列表時(shí),向所述第三方設(shè)備請求查詢。
通過預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表,當(dāng)在被訪問緩存節(jié)點(diǎn)的本地替換空間中未找到與所述客戶端發(fā)送數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容時(shí),確定所述數(shù)據(jù)內(nèi)容所在其它緩存節(jié)點(diǎn)的過程如本申請實(shí)施例提供的圖2所示,包括步驟S201 查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;步驟S202 當(dāng)查找到與所述客戶端所請求數(shù)據(jù)內(nèi)容相對(duì)應(yīng)的緩存節(jié)點(diǎn)時(shí),將所述緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn)。在圖2執(zhí)行的基礎(chǔ)上,本申請實(shí)施例提供的數(shù)據(jù)處理方法的一詳細(xì)流程圖如圖3 所示,包括步驟S301 接收客戶端數(shù)據(jù)請求的被訪問節(jié)點(diǎn)對(duì)與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容進(jìn)行查找;步驟S302 判斷在所述被訪問緩存節(jié)點(diǎn)的本地替換空間中是否查找到所述數(shù)據(jù)內(nèi)容,當(dāng)未查找到所述數(shù)據(jù)內(nèi)容時(shí),執(zhí)行步驟S303,否則,執(zhí)行步驟S310 ;步驟S303 查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表,所述數(shù)據(jù)內(nèi)容目錄列表中設(shè)置有數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;步驟S304:判斷是否在所述數(shù)據(jù)內(nèi)容目錄列表中查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系,如果是,執(zhí)行步驟S305,否則,執(zhí)行步驟S307 ;步驟S305 依據(jù)所述對(duì)應(yīng)關(guān)系將緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);步驟S306 從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的本地替換空間;步驟S307 將接收的本地客戶端發(fā)送的數(shù)據(jù)請求轉(zhuǎn)發(fā)至遠(yuǎn)程的內(nèi)容源服務(wù)器;所述內(nèi)容源服務(wù)器為各個(gè)客戶端所需內(nèi)容的起始位置,包含所有客戶端需求的數(shù)據(jù)內(nèi)容;步驟S308 從所述內(nèi)容源服務(wù)器獲取與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;步驟S309 將所述獲取的數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間中;由于在數(shù)據(jù)內(nèi)容目錄列表中未查找到所述對(duì)應(yīng)關(guān)系,即所述緩存節(jié)點(diǎn)群組中所有緩存節(jié)點(diǎn)的協(xié)作替換空間中均未保存與所述本地客戶端發(fā)送數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容, 所以將從所述內(nèi)容源服務(wù)器獲取的數(shù)據(jù)內(nèi)容加入到被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間中參與全局?jǐn)?shù)據(jù)協(xié)作,以便有其它緩存節(jié)點(diǎn)需要所述數(shù)據(jù)內(nèi)容時(shí),能夠及時(shí)對(duì)所述數(shù)據(jù)內(nèi)容進(jìn)行獲??;步驟S310 將所述查找到數(shù)據(jù)內(nèi)容返回至所述本地客戶端。對(duì)與圖3所示的數(shù)據(jù)處理方法,在將從所述內(nèi)容源服務(wù)器獲取的數(shù)據(jù)內(nèi)容加入到被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間后,還包括對(duì)數(shù)據(jù)內(nèi)容目錄列表的更新過程,如本申請實(shí)施例提供的圖4所示,包括步驟S311 對(duì)所述協(xié)作替換空間保存的數(shù)據(jù)內(nèi)容的目錄列表進(jìn)行更新,并將更新的目錄列表發(fā)送至協(xié)作控制器。將獲取的數(shù)據(jù)內(nèi)容加入到被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間中,則被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間中有新的數(shù)據(jù)內(nèi)容參與數(shù)據(jù)的全局協(xié)作,所以需要更新數(shù)據(jù)內(nèi)容目錄列表,此時(shí)的數(shù)據(jù)內(nèi)容目錄列表為協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表。由于協(xié)作控制器是對(duì)緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)中協(xié)作替換空間中參與協(xié)作的數(shù)據(jù)內(nèi)容進(jìn)行管理控制的, 所以,本申請實(shí)施例提供的協(xié)作控制器主要對(duì)各個(gè)緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行更新。需要特別強(qiáng)調(diào)的是本申請實(shí)施例提供的數(shù)據(jù)處理方法執(zhí)行過程中,緩存節(jié)點(diǎn)群組中的任一緩存節(jié)點(diǎn)的協(xié)作替換空間中的數(shù)據(jù)內(nèi)容發(fā)生變化時(shí),無論是增加了新的內(nèi)容還是刪除了已有的內(nèi)容,緩存節(jié)點(diǎn)均對(duì)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行更新,并將更新的數(shù)據(jù)內(nèi)容目錄列表發(fā)送至協(xié)作控制器,由協(xié)作控制器對(duì)數(shù)據(jù)緩存節(jié)點(diǎn)群組中所有緩存節(jié)點(diǎn)協(xié)作替換空間中的上數(shù)據(jù)內(nèi)容目錄列表進(jìn)行更新。所述更新不受本申請實(shí)施例提供的數(shù)據(jù)處理方法中的步驟限制。本申請實(shí)施例提供的數(shù)據(jù)處理方法處理過程中,將從內(nèi)容源服務(wù)器獲取的數(shù)據(jù)內(nèi)容保存至被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間的過程中,由于緩存節(jié)點(diǎn)的協(xié)作替換空間的存儲(chǔ)能力是有限的,當(dāng)協(xié)作替換空間的存儲(chǔ)能力達(dá)到某一預(yù)設(shè)閾值時(shí),如協(xié)作替換空間的存儲(chǔ)空間已滿,則需要對(duì)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行替換,其執(zhí)行過程如本申請實(shí)施例提供的圖5所示,具體為步驟S401 將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的過程中,實(shí)時(shí)執(zhí)行步驟 S402 判斷協(xié)作替換空間的存儲(chǔ)空間是否達(dá)到預(yù)設(shè)閾值,如果否,執(zhí)行步驟S403,否則,執(zhí)行步驟S404 ;步驟S403 直接將所述獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間中;步驟S404 讀取協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表;協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表中記錄有協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容參與緩存節(jié)點(diǎn)群組協(xié)作過程被訪問的頻率值;步驟S405 查詢所述目錄列表中記錄的非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;由于協(xié)作替換空間的數(shù)據(jù)內(nèi)容主要為參與緩存節(jié)點(diǎn)群組中的數(shù)據(jù)協(xié)作,所以在替換過程中首先考慮非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容,所述的非本地客戶端訪問頻率最低也可為協(xié)作替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容無論是本地客戶端訪問頻率還是非本地客戶端的訪問頻率;步驟S406 將所述訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述獲取的數(shù)據(jù)內(nèi)容。本申請實(shí)施例為了不使數(shù)據(jù)資源浪費(fèi)并節(jié)約鏈路利用率,將圖5中協(xié)作替換空間中被替換的數(shù)據(jù)內(nèi)容進(jìn)行重新處理,如圖6所示,在圖5中步驟S406之后包括步驟S407 讀取緩存節(jié)點(diǎn)本地替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢所述目錄列表中記錄的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;本申請實(shí)施例提供的緩存節(jié)點(diǎn)的本地替換空間中同樣設(shè)置有數(shù)據(jù)內(nèi)容目錄列表, 用于對(duì)本地替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行記錄,同時(shí)記錄有本地替換空間中存儲(chǔ)的各個(gè)數(shù)據(jù)內(nèi)容被本地客戶端訪問的頻率及各個(gè)數(shù)據(jù)內(nèi)容的更新時(shí)間;步驟S408 判斷協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問時(shí)間是否晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間且本地替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值,如果是,執(zhí)行步驟S409,否則,執(zhí)行步驟S410 ;
步驟S408執(zhí)行包含兩個(gè)判斷條件,一是協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問時(shí)間是否晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間,二是本地替換空間的存儲(chǔ)空間是否達(dá)到預(yù)設(shè)閾值;本申請實(shí)施例中執(zhí)行步驟S409的條件為協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問時(shí)間晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間且本地替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值;本申請實(shí)施例中執(zhí)行步驟S410的條件為協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問時(shí)間晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間且本地替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值;由此可知步驟S409及步驟S410的執(zhí)行過程中,協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問時(shí)間必須晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間,當(dāng)不滿足該條件時(shí),將協(xié)作替換空間中替換出的數(shù)據(jù)內(nèi)容進(jìn)行刪除;步驟S409 將所述協(xié)作替換空間中被替換出的訪問頻率最低的數(shù)據(jù)內(nèi)容加入本地替換空間中進(jìn)行保存;步驟S410 將所述本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容。上述本申請實(shí)施例提供的數(shù)據(jù)處理方法執(zhí)行過程中,當(dāng)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容被訪問頻率過高時(shí)會(huì)使協(xié)作替換空間中的數(shù)據(jù)內(nèi)容的替換頻繁;協(xié)作替換空間中的內(nèi)容與本地替換空間中的內(nèi)容交替頻繁;從而導(dǎo)致該緩存節(jié)點(diǎn)的工作負(fù)擔(dān)過大,負(fù)載過高,所述緩存節(jié)點(diǎn)所在的鏈路利用率過大;這表明在緩存節(jié)點(diǎn)群組中,某一緩存節(jié)點(diǎn)參與協(xié)作的比例過大,其它緩存節(jié)點(diǎn)可能出于空閑狀態(tài),為了使整個(gè)緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的協(xié)作比例均衡,本申請實(shí)施例提供的數(shù)據(jù)處理方法中,當(dāng)某一緩存節(jié)點(diǎn)所在鏈路的利用率超過預(yù)設(shè)鏈路利用率時(shí),將所述緩存節(jié)點(diǎn)中參與協(xié)作的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移,如圖7所示步驟S501 統(tǒng)計(jì)當(dāng)前被訪問緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率從高到底的N個(gè)數(shù)據(jù)內(nèi)容,所述N個(gè)數(shù)據(jù)內(nèi)容為被訪問頻率值超過預(yù)設(shè)訪問頻率值的全部數(shù)據(jù)內(nèi)容;某一緩存節(jié)點(diǎn)所在的鏈路利用率高,表明該緩存節(jié)點(diǎn)的工作負(fù)載過大,參與協(xié)作的數(shù)據(jù)內(nèi)容過多,此時(shí),統(tǒng)計(jì)被訪問緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率較高的數(shù)據(jù)內(nèi)容, 即參與協(xié)作較為頻繁的數(shù)據(jù)內(nèi)容;所述被訪問頻率較高的數(shù)據(jù)內(nèi)容在某一預(yù)設(shè)訪問頻率值的范圍內(nèi),假設(shè)有N個(gè)數(shù)據(jù)內(nèi)容的被訪問頻率超過所述預(yù)設(shè)訪問頻率值;步驟S502 將所述N個(gè)數(shù)據(jù)內(nèi)容的內(nèi)容列表發(fā)送至協(xié)作控制器;步驟S503 接收所述協(xié)作控制器發(fā)送的轉(zhuǎn)移指令,所述轉(zhuǎn)移指令包括鏈路利用率低的目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的物理地址;協(xié)作控制器接收到需要轉(zhuǎn)移的N個(gè)數(shù)據(jù)內(nèi)容的目錄列表后,查詢總的記錄列表, 確定參與協(xié)作比例較低,即鏈路利用率較低的緩存節(jié)點(diǎn)為目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn),并將該目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的物理地址發(fā)送至所述被訪問緩存節(jié)點(diǎn);步驟S504:依據(jù)所述物理地址將所述N個(gè)數(shù)據(jù)內(nèi)容轉(zhuǎn)移至所述鏈路利用率的目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的協(xié)作替換空間。通過將負(fù)載較高的緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移,從而降低了改緩存節(jié)點(diǎn)所在鏈路的鏈路利用率,使該緩存節(jié)點(diǎn)的負(fù)載均衡,并且平衡了緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)的鏈路利用率。對(duì)于圖7所述的方法,在數(shù)據(jù)內(nèi)容轉(zhuǎn)移結(jié)束后,各個(gè)緩存節(jié)點(diǎn)同樣更新協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表,并將所述數(shù)據(jù)內(nèi)容目錄列表發(fā)送至協(xié)作控制器。以上各個(gè)方法實(shí)施例主要介紹對(duì)緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容的處理過程,對(duì)于緩存節(jié)點(diǎn)本地替換空間中的數(shù)據(jù)的處理過程如下首先當(dāng)經(jīng)過查詢數(shù)據(jù)內(nèi)容目錄列表確定目標(biāo)緩存節(jié)點(diǎn)后,如本申請實(shí)施例提供的圖8所示,包括步驟S601 將本訪問緩存節(jié)點(diǎn)接收的客戶端數(shù)據(jù)請求轉(zhuǎn)發(fā)至所述目標(biāo)緩存節(jié)點(diǎn);步驟S602 接收所述目標(biāo)緩存節(jié)點(diǎn)返回的其協(xié)作替換空間中保存的與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容。在接收到所述目標(biāo)緩存節(jié)點(diǎn)返回的數(shù)據(jù)內(nèi)容后,將所述數(shù)據(jù)內(nèi)容加入本地替換空間的過程中,執(zhí)行過程如圖9所示,還包括步驟S603 判斷本地替換空間的存儲(chǔ)空間是否達(dá)到預(yù)設(shè)閾值,如果否,執(zhí)行步驟 S604 ;否則,執(zhí)行步驟S605 ;緩存節(jié)點(diǎn)中的本地替換空間的存儲(chǔ)空間容量和協(xié)作替換空間是一樣,都是有限的;步驟S604 直接將所述數(shù)據(jù)內(nèi)容保存至本地替換空間中;步驟S605 讀取本地替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢本地替換空間中記錄的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;當(dāng)存入到本地替換空間中的內(nèi)容達(dá)到一定閾值時(shí),新獲取的數(shù)據(jù)內(nèi)容需要對(duì)以往存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行替換;此時(shí),將本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容進(jìn)行替換;步驟S606 將所述本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述從目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取的數(shù)據(jù)內(nèi)容。本申請實(shí)施例提供的數(shù)據(jù)處理方法中,本地替換空間中被替換出的數(shù)據(jù)內(nèi)容不是直接被刪除的,而是經(jīng)過重新處理的,如圖10所示,在圖9的基礎(chǔ)上,步驟S606執(zhí)行之后, 包括步驟S607 讀取協(xié)作替換空間的數(shù)據(jù)內(nèi)容目錄列表,,并查詢所述目錄列表中記錄的非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;步驟S608 判斷是否所述數(shù)據(jù)內(nèi)容目錄列表中未記錄所述本地替換空間中被替換的數(shù)據(jù)內(nèi)容且所述協(xié)作替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值;如是,執(zhí)行步驟S609 ;否則,執(zhí)行步驟S610;上述步驟S609的執(zhí)行條件為所述協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表中未記錄所述本地替換空間中被替換的數(shù)據(jù)內(nèi)容且協(xié)作替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值;上述步驟S610的執(zhí)行條件為所述協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表中記錄有所述本地替換空間中被替換的數(shù)據(jù)內(nèi)容或協(xié)作替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值;步驟S609 將所述本地替換空間中被替換的訪問頻率最低的內(nèi)容加入到協(xié)作替換空間中進(jìn)行保存;步驟S610 將所述協(xié)作替換空間中非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容替換為本地替換空間中被替換出的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容,并將替換出的協(xié)作替換空間中非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容進(jìn)行刪除。需要對(duì)上述本地替換空間中數(shù)據(jù)內(nèi)容替換的過程進(jìn)行說明的是,從所述目標(biāo)緩存節(jié)點(diǎn)獲取數(shù)據(jù)內(nèi)容加入本地替換空間中,本地替換空間達(dá)到預(yù)設(shè)閾值時(shí),需要對(duì)本地替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行替換;另外,當(dāng)協(xié)作替換空間中被替換出的數(shù)據(jù)內(nèi)容能夠加入到本地替換空間中,而本地替換空間達(dá)到預(yù)設(shè)閾值時(shí),也對(duì)本地替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行替換。本申請實(shí)施例提供的數(shù)據(jù)處理方法中,緩存節(jié)點(diǎn)的本地替換空間或協(xié)作替換空間,當(dāng)有新的內(nèi)容需要加入本地替換空間或協(xié)作替換空間時(shí),而本地替換空間或協(xié)作替換空間的存儲(chǔ)容量達(dá)到預(yù)設(shè)閾值時(shí),都會(huì)相應(yīng)的執(zhí)行數(shù)據(jù)內(nèi)容的替換過程;如協(xié)作替換空間中,當(dāng)從內(nèi)容源服務(wù)器獲取數(shù)據(jù)內(nèi)容加入時(shí),如協(xié)作替換空間的存儲(chǔ)容量達(dá)到預(yù)設(shè)閾值,則進(jìn)行替換;另外,當(dāng)其他緩存節(jié)點(diǎn)由于負(fù)載過大,轉(zhuǎn)移數(shù)據(jù)內(nèi)容至緩存節(jié)點(diǎn)的協(xié)作替換空間中,若該緩存節(jié)點(diǎn)的協(xié)作替換空間的存儲(chǔ)容量達(dá)到預(yù)設(shè)閾值,此時(shí)也進(jìn)行相應(yīng)替換過程。本申請實(shí)施例提供的數(shù)據(jù)處理方法,對(duì)與緩存節(jié)點(diǎn)中協(xié)作替換空間及本地替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容,協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容主要用于緩存節(jié)點(diǎn)群組中的數(shù)據(jù)協(xié)作,本地替換空間存儲(chǔ)的數(shù)據(jù)內(nèi)容用于本地客戶端的訪問需要,對(duì)于某一特定緩存節(jié)點(diǎn),當(dāng)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容發(fā)生改變,如替換過程,替換出的數(shù)據(jù)內(nèi)容可以相應(yīng)的加入本地替換空間中,同樣,本地替換空間的數(shù)據(jù)內(nèi)容發(fā)生改變時(shí),也可以相應(yīng)的加入到協(xié)作替換空間,通過協(xié)作替換空間與本地替換空間的交互,使單個(gè)緩存節(jié)點(diǎn)在本地訪問和參與協(xié)作的過程中,能夠更好的滿足緩存節(jié)點(diǎn)自身的優(yōu)化需求。同時(shí)對(duì)于緩存節(jié)點(diǎn)群組而言,各個(gè)緩存節(jié)點(diǎn)在協(xié)作控制器的控制下,更好的參與協(xié)作,使協(xié)作的全局更加完善。以上是本申請實(shí)施例提供的數(shù)據(jù)處理的方法實(shí)施例,針對(duì)該方法實(shí)施例本申請還提供了與其相對(duì)應(yīng)的一種緩存節(jié)點(diǎn),該緩存節(jié)點(diǎn)的應(yīng)用環(huán)境如本申請實(shí)施例提供附11 所示,本地的單個(gè)緩存節(jié)點(diǎn)可以與本地的多個(gè)客戶端進(jìn)行交互,同時(shí)緩存節(jié)點(diǎn)與內(nèi)容源服務(wù)器、協(xié)作控制器以及緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)均可實(shí)現(xiàn)數(shù)據(jù)交互,本申請實(shí)施例提供的緩存節(jié)點(diǎn)的結(jié)構(gòu)示意圖如圖12所示,包括控制模塊701、本地替換空間702和協(xié)作替換空間703 ;其中本地替換空間702用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存;協(xié)作替換空間703用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存;控制模塊701用于接收客戶端發(fā)送的數(shù)據(jù)請求,并在所述本地替換空間中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;當(dāng)在所述本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系,依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間中。同時(shí)控制模塊701還用于接收從協(xié)作控制器發(fā)送的控制命令,調(diào)整緩存節(jié)點(diǎn)的本地替換空間和協(xié)作替換空間的比例,為了更加清晰的對(duì)本申請實(shí)施例提供的緩存節(jié)點(diǎn)進(jìn)行描述,將控制模塊701的結(jié)構(gòu)進(jìn)行細(xì)化,其內(nèi)部結(jié)構(gòu)如圖13所示,包括接收單元801、查找單元802、查詢單元803、確定單元804和獲取單元805 ;其中接收單元801,用于接收客戶端發(fā)送的數(shù)據(jù)請求;
查找單元802,用于依據(jù)所述接收單元801接收的數(shù)據(jù)請求在所述本地替換空間 702中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;查詢單元803,用于當(dāng)所述查找單元802在所述本地替換空間702中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;確定單元804,用于當(dāng)所述查詢單元803查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)確定為目標(biāo)緩存節(jié)點(diǎn);獲取單元805,用于從所述確定單元804確定的目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間703 獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間702。對(duì)于本申請實(shí)施例提供的緩存節(jié)點(diǎn),當(dāng)查詢單元802在數(shù)據(jù)內(nèi)容目錄列表中未查詢到數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),需要將接收單元801接收的數(shù)據(jù)請求轉(zhuǎn)發(fā)至內(nèi)容源服務(wù)器,因此,本申請實(shí)施例提供的緩存節(jié)點(diǎn)還設(shè)置有第一轉(zhuǎn)發(fā)單元806,如圖14 所示,第一轉(zhuǎn)發(fā)單元806即用于當(dāng)所述查詢單元803未查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),將所述接收單元801接收的數(shù)據(jù)請求轉(zhuǎn)發(fā)至內(nèi)容源服務(wù)器,并控制所述獲取單元805從所述內(nèi)容源服務(wù)器獲取與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;將所述獲取的數(shù)據(jù)內(nèi)容保存至所述緩存節(jié)點(diǎn)的協(xié)作替換空間。當(dāng)所述確定單元確定出目標(biāo)緩存節(jié)點(diǎn)時(shí),需要將接收的客戶端的數(shù)據(jù)請求轉(zhuǎn)發(fā)至內(nèi)容源服務(wù)器,本申請實(shí)施例提供的緩存節(jié)點(diǎn)中還設(shè)置有第二轉(zhuǎn)發(fā)單元807,如圖15所示;第二轉(zhuǎn)發(fā)單元807用于當(dāng)所述查詢單元803查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),將所述接收單元801接收的數(shù)據(jù)請求轉(zhuǎn)發(fā)至所述確定單元804確定的目標(biāo)緩存節(jié)點(diǎn),并控制所述獲取單元805從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間獲取所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;將所述獲取的數(shù)據(jù)內(nèi)容保存至所述緩存節(jié)點(diǎn)的本地替換空間。本申請實(shí)施例提供的緩存節(jié)點(diǎn),當(dāng)協(xié)作替換空間或本地替換空間的數(shù)據(jù)內(nèi)容發(fā)生變化時(shí),均對(duì)協(xié)作替換空間或本地替換空間中的數(shù)據(jù)目錄進(jìn)行更新,所以本申請實(shí)施例提供的緩存節(jié)點(diǎn)中還設(shè)置有目錄更新單元,如圖16所示;目錄更新單元808用于當(dāng)本地替換空間或協(xié)作替換空間中的存儲(chǔ)內(nèi)容發(fā)生變化時(shí),對(duì)本地替換空間或協(xié)作替換空間保存的數(shù)據(jù)內(nèi)容的目錄列表進(jìn)行更新,并將更新的協(xié)作替換空間的目錄列表發(fā)送至協(xié)作控制器。對(duì)于協(xié)作替換空間或本地替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容,本申請實(shí)施例提供的緩存節(jié)點(diǎn)還設(shè)置有統(tǒng)計(jì)單元809,如圖17所示,所述統(tǒng)計(jì)單元809用于對(duì)本地替換空間或協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容被訪問頻率進(jìn)行統(tǒng)計(jì)。對(duì)于本申請實(shí)施例提供的緩存節(jié)點(diǎn),其本地替換空間和協(xié)作替換空間的存儲(chǔ)容量是有限的,當(dāng)本地替換空間或協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容超過預(yù)設(shè)閾值時(shí),需要對(duì)本地替換空間或協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行替換,本申請實(shí)施例提供的緩存節(jié)點(diǎn)中還設(shè)置有本地替換單元811和協(xié)作替換單元810 ;如圖18所示;協(xié)作替換單元810,用于對(duì)非本地客戶端對(duì)所述協(xié)作替換空間的訪問過程進(jìn)行管理,在所述獲取單元805將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的過程中,當(dāng)協(xié)作替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),對(duì)所述協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行替換。本地替換單元811,用于對(duì)本地客戶端對(duì)所述本地替換空間的訪問過程進(jìn)行管理,在所述獲取單元805將獲取的數(shù)據(jù)內(nèi)容保存至本地替換空間的過程中,當(dāng)本地替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),對(duì)所述本地替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行替換。對(duì)與替換出的數(shù)據(jù)內(nèi)容,本申請實(shí)施例提供的緩存節(jié)點(diǎn)還設(shè)置有替換處理單元 812,如圖19所示,替換處理單元812用于對(duì)本地替換空間或協(xié)作替換空間中被替換出的數(shù)據(jù)內(nèi)容進(jìn)行處理,其具體處理過程,可參照本申請數(shù)據(jù)處理方法實(shí)施例中對(duì)替換出的數(shù)據(jù)內(nèi)容進(jìn)行處理的過程。本申請實(shí)施例提供的緩存節(jié)點(diǎn),當(dāng)該緩存節(jié)點(diǎn)被訪問次數(shù)過多,參與協(xié)作的數(shù)據(jù)內(nèi)容超過預(yù)設(shè)閾值,造成該緩存節(jié)點(diǎn)所在鏈路利用率過高時(shí),本申請實(shí)施例提供的緩存節(jié)點(diǎn)還設(shè)置有轉(zhuǎn)移單元813,如圖20所示;轉(zhuǎn)移內(nèi)容813用于當(dāng)緩存節(jié)點(diǎn)所在的鏈路利用率超過預(yù)設(shè)鏈路利用率時(shí),對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移。以上即為本申請實(shí)施例提供的緩存節(jié)點(diǎn)的具體結(jié)構(gòu),本申請實(shí)施例提供的緩存節(jié)點(diǎn)結(jié)構(gòu)鮮明,在參與數(shù)據(jù)協(xié)作的過程中,自身的調(diào)節(jié)能力更強(qiáng)。以上所述的數(shù)據(jù)處理方法及相應(yīng)的緩存節(jié)點(diǎn)應(yīng)用在緩存節(jié)點(diǎn)群組中,本申請實(shí)施例同時(shí)提供了一種數(shù)據(jù)處理方法針對(duì)緩存節(jié)點(diǎn)群組及緩存節(jié)點(diǎn)群組中的每一個(gè)緩存節(jié)點(diǎn), 該方法應(yīng)用于協(xié)作控制器端,其處理流程圖如圖21所示,包括步驟S910 獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐剩徊襟ES911 依據(jù)所述鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。本申請實(shí)施例提供的上述處理方法,收集網(wǎng)絡(luò)拓?fù)涞逆溌防寐剩鶕?jù)鏈路利用率的差異性向各個(gè)緩存節(jié)點(diǎn)發(fā)送不同的參與協(xié)作程度的控制命令信息,目的是使整個(gè)緩存節(jié)點(diǎn)群組所在網(wǎng)絡(luò)。本申請實(shí)施例提供的數(shù)據(jù)處理方法,獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率的獲取過程可以有多種,可以由協(xié)作控制器主動(dòng)收集緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率;也可以由緩存節(jié)點(diǎn)群組中的各個(gè)緩存節(jié)點(diǎn)主動(dòng)上報(bào)其鏈路利用率;還可以通過設(shè)置第三方收集設(shè)備,由所屬第三方收集設(shè)備收集各個(gè)緩存節(jié)點(diǎn)的鏈路利用率,并將收集的鏈路利用率發(fā)送至所述協(xié)作控制器。本申請實(shí)施例提供的數(shù)據(jù)處理方法中,對(duì)于各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與的協(xié)作比例進(jìn)行調(diào)整的過程如圖22所示,包括步驟S1001 計(jì)算所述緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的平均鏈路利用率及各個(gè)緩存節(jié)點(diǎn)的當(dāng)前鏈路利用率與所述平均鏈路利用率之間的絕對(duì)差值;所述絕對(duì)差值為當(dāng)前鏈路利用率與平均鏈路利用率的相差范圍,即當(dāng)前鏈路利用率高于平均鏈路利用率的差值或低于平均鏈路利用率的差值;步驟S1002 以預(yù)設(shè)的參與協(xié)作的基本調(diào)整粒度為基準(zhǔn)值,確定針對(duì)所述絕對(duì)差值的調(diào)整信息;對(duì)于參與協(xié)作的調(diào)整尺度預(yù)設(shè)有基本調(diào)整粒度,所述基本調(diào)整粒度為調(diào)整的最小單位;步驟S1003 將所述調(diào)整信息分別發(fā)送至與其對(duì)應(yīng)的緩存節(jié)點(diǎn),控制所述緩存節(jié)點(diǎn)依據(jù)所述調(diào)整信息對(duì)其參與協(xié)作的比例進(jìn)行調(diào)整。
上述步驟執(zhí)行過程中,計(jì)算各個(gè)緩存節(jié)點(diǎn)的平均鏈路利用率,當(dāng)某個(gè)緩存節(jié)點(diǎn)的鏈路利用率超過所述平均鏈路利用率的某一閾值時(shí),該鏈路綁定的所述緩存節(jié)點(diǎn)需要降低參與協(xié)作的比例,如比例以5%作為基本調(diào)整粒度,鏈路利用率超過平均鏈路利用率的大小為基本調(diào)整粒度的N倍時(shí),則調(diào)整粒度為N*5% ;當(dāng)某個(gè)鏈路利用率低于平均鏈路利用率的某一閾值時(shí),該鏈路綁定的緩存節(jié)點(diǎn)需要提高參與協(xié)作的比例,比例以如比例以5%作為基本調(diào)整粒度,鏈路利用率低于平均鏈路利用率的大小為基本調(diào)整粒度的N倍時(shí),則調(diào)整粒度為N*5%。本申請實(shí)施例提供的數(shù)據(jù)調(diào)整方法對(duì)緩存節(jié)點(diǎn)參與協(xié)作的比例進(jìn)行調(diào)整的主要過程為將緩存節(jié)點(diǎn)協(xié)作替換空間中的被訪問頻率較高的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移,本申請實(shí)施例提供的數(shù)據(jù)處理方法中確定的針對(duì)所述絕對(duì)差值的調(diào)整信息中包括調(diào)整方向信息,所述調(diào)整方向信息中包括控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的轉(zhuǎn)移指令及目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的物理地址;依據(jù)所述轉(zhuǎn)移指令控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的過程如圖所示包括步驟SllOl 發(fā)送數(shù)據(jù)內(nèi)容目錄列表至所述緩存節(jié)點(diǎn),所述數(shù)據(jù)內(nèi)容目錄列表中包含所述緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率高于預(yù)設(shè)訪問頻率的數(shù)據(jù)內(nèi)容;步驟S1102 指示所述緩存節(jié)點(diǎn)依據(jù)所述物理地址將所述緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率高于預(yù)設(shè)訪問頻率的數(shù)據(jù)內(nèi)容轉(zhuǎn)移至目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)。當(dāng)緩存節(jié)點(diǎn)接收到轉(zhuǎn)移指令后,依據(jù)所述轉(zhuǎn)移指令將需要轉(zhuǎn)移的數(shù)據(jù)內(nèi)容轉(zhuǎn)移到目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn),然后緩存節(jié)點(diǎn)更新其協(xié)作替換空間中的數(shù)據(jù)內(nèi)容緩存列表,并將更新的數(shù)據(jù)內(nèi)容緩存列表上傳至協(xié)作控制器;本申請實(shí)施例提供的數(shù)據(jù)處理方法還包括接收各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表,所述數(shù)據(jù)內(nèi)容目錄列表中包含各個(gè)緩存節(jié)點(diǎn)協(xié)作替換空間中保存的數(shù)據(jù)內(nèi)容目錄及所述數(shù)據(jù)內(nèi)容被訪問的頻率信息;對(duì)各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行統(tǒng)計(jì)匯總并將經(jīng)過匯總的數(shù)據(jù)內(nèi)容目錄列表發(fā)送至各個(gè)緩存節(jié)點(diǎn)。本申請實(shí)施例提供的數(shù)據(jù)處理方法,對(duì)于數(shù)據(jù)內(nèi)容目錄列表的更新是實(shí)時(shí)的,在任何處理階段過程中,當(dāng)任一緩存節(jié)點(diǎn)的協(xié)作替換空間中的數(shù)據(jù)內(nèi)容發(fā)生變化時(shí),即更新數(shù)據(jù)內(nèi)容數(shù)據(jù)列表,并將更新的數(shù)據(jù)內(nèi)容目錄列表分發(fā)到緩存節(jié)點(diǎn)群組中的各個(gè)緩存節(jié)
點(diǎn)ο本申請實(shí)施例提供的數(shù)據(jù)處理方法中確定的針對(duì)所述絕對(duì)差值的調(diào)整信息還包括調(diào)整比例信息;所述調(diào)整比例信息中包括控制所述緩存節(jié)點(diǎn)協(xié)作替換空間和本地替換空間所占比例進(jìn)行調(diào)整的比例調(diào)整指令;當(dāng)緩存節(jié)點(diǎn)依據(jù)轉(zhuǎn)移指令將協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移后,空出的存儲(chǔ)空間需要重新調(diào)整和分配,所以對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間中的內(nèi)容進(jìn)行轉(zhuǎn)移后,如圖 M所示,還包括步驟S1103 依據(jù)所述調(diào)整指令對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間經(jīng)過數(shù)據(jù)內(nèi)容轉(zhuǎn)移后的空余空間進(jìn)行重新分配,對(duì)所述緩存節(jié)點(diǎn)的本地替換空間和協(xié)作替換空間所占的比例值進(jìn)行調(diào)整。以上是應(yīng)用在協(xié)作控制器端的數(shù)據(jù)處理方法實(shí)施例,針對(duì)該方法實(shí)施例本申請實(shí)施例提供了一種協(xié)作控制器,其結(jié)構(gòu)示意圖如圖25所示,包括獲取模塊1201,用于獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐?;調(diào)整模塊1202,用于依據(jù)所述獲取模塊獲取的鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。本申請實(shí)施例提供的協(xié)作控制器負(fù)責(zé)數(shù)據(jù)內(nèi)容的協(xié)作緩存,并收集各種用于協(xié)作控制的信息,接收緩存節(jié)點(diǎn)發(fā)送的各種協(xié)作請求信息并處理,向緩存節(jié)點(diǎn)發(fā)送各種協(xié)作命令。在圖25所述協(xié)作控制器的基礎(chǔ)上本申請實(shí)施例提供的協(xié)作控制器的調(diào)整模塊 1202的詳細(xì)結(jié)構(gòu)示意圖,如圖沈所示,包括計(jì)算單元1203,用于計(jì)算所述緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的平均鏈路利用率及各個(gè)緩存節(jié)點(diǎn)的當(dāng)前鏈路利用率與所述平均鏈路利用率之間的絕對(duì)差值;確定單元1204,用于以預(yù)設(shè)的參與協(xié)作的基本調(diào)整粒度為基準(zhǔn)值,確定針對(duì)所述計(jì)算單元1203計(jì)算得出的絕對(duì)差值的調(diào)整信息;比例調(diào)整單元1205,用于將所述確定單元1204確定的調(diào)整信息分別發(fā)送至與其對(duì)應(yīng)的緩存節(jié)點(diǎn),控制所述緩存節(jié)點(diǎn)依據(jù)所述調(diào)整信息對(duì)其參與協(xié)作的比例進(jìn)行調(diào)整。本申請實(shí)施例提供的協(xié)作控制器中,調(diào)整模塊1202中的比例調(diào)整單元1205如圖 28所示包括轉(zhuǎn)移子單元1206,用于依據(jù)所述確定單元1204確定的調(diào)整信息控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移。內(nèi)容目錄更新子單元1207,用于對(duì)各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行統(tǒng)計(jì)匯總,并將經(jīng)過匯總的數(shù)據(jù)內(nèi)容目錄列表發(fā)送至各個(gè)緩存節(jié)點(diǎn)。分配子單元1208,用于依據(jù)所述確定單元1204確定的調(diào)整信息對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間經(jīng)過數(shù)據(jù)內(nèi)容轉(zhuǎn)移后的空余空間進(jìn)行重新分配,對(duì)所述緩存節(jié)點(diǎn)的本地替換空間和協(xié)作替換空間所占的比例進(jìn)行調(diào)整。以上即為本申請實(shí)施例提供的協(xié)作控制器的基本結(jié)構(gòu),結(jié)合本申請實(shí)施例提供的緩存節(jié)點(diǎn)及協(xié)作控制器,本申請實(shí)施例還提供了一種數(shù)據(jù)處理系統(tǒng),其結(jié)構(gòu)示意圖如圖四所示,包括由緩存節(jié)點(diǎn)組成的緩存節(jié)點(diǎn)群組1301和協(xié)作控制器1302 ;所述緩存節(jié)點(diǎn)群組1301中的緩存節(jié)點(diǎn)包括控制模塊、本地替換空間和協(xié)作替換空間;其中所述本地替換空間用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存;所述協(xié)作替換空間用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存;所述控制模塊用于接收客戶端發(fā)送的數(shù)據(jù)請求,并在所述本地替換空間中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的的數(shù)據(jù)內(nèi)容;當(dāng)在所述本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí), 查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系,依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間中;所述協(xié)作控制器包括獲取模塊,用于獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐?;調(diào)整模塊,用于依據(jù)所述獲取模塊獲取的鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。綜合以上本申請實(shí)施例提供的數(shù)據(jù)處理方法、緩存節(jié)點(diǎn)、協(xié)作控制器及系統(tǒng),可應(yīng)用在分布式環(huán)境下,所述緩存節(jié)點(diǎn)的存儲(chǔ)空間分為本地替換空間和協(xié)作替換空間兩部分; 本地緩存節(jié)點(diǎn)接收協(xié)作控制器發(fā)送的控制信息,根據(jù)控制信息調(diào)整本地替換單元管理的存儲(chǔ)空間和協(xié)作替換單元管理的存儲(chǔ)空間的比例大小。接收的控制信息包含了調(diào)整方向和調(diào)整比例值。本地緩存節(jié)點(diǎn)接收到的新內(nèi)容來自協(xié)作區(qū)域外的內(nèi)容源服務(wù)器時(shí),內(nèi)容保存在協(xié)作替換單元,協(xié)作替換空間的的內(nèi)容根據(jù)非本地用戶訪問情況進(jìn)行替換;接收到的新內(nèi)容來自協(xié)作區(qū)域時(shí),內(nèi)容保存在本地替換空間,本地替換空間的內(nèi)容根據(jù)本地用戶訪問情況進(jìn)行替換。本地緩存節(jié)點(diǎn)把協(xié)作替換空間的內(nèi)容列表發(fā)送給協(xié)作控制器,并從協(xié)作控制器接收到其它本地緩存設(shè)備的協(xié)作替換空間的內(nèi)容列表。當(dāng)本地緩存節(jié)點(diǎn)的負(fù)載高于某個(gè)閾值時(shí),從協(xié)作替換空間選擇最熱門的一個(gè)或多個(gè)內(nèi)容轉(zhuǎn)移到其它負(fù)載較輕的本地緩存設(shè)備的協(xié)作替換空間。通過本申請實(shí)施例提供的數(shù)據(jù)處理方法、緩存節(jié)點(diǎn)、協(xié)作控制器及系統(tǒng),使得替換算法在全局替換優(yōu)化的基礎(chǔ)上考慮了本地替換優(yōu)化,有優(yōu)先服務(wù)本地用戶的作用;協(xié)作控制器只維護(hù)協(xié)作空間的內(nèi)容信息,不維護(hù)本地替換空間中的內(nèi)容信息,從而大大減少了維護(hù)內(nèi)容副本數(shù)的開銷;負(fù)載重的節(jié)點(diǎn)將其協(xié)作空間中的熱門內(nèi)容主動(dòng)向負(fù)載低的節(jié)點(diǎn)轉(zhuǎn)移,可以調(diào)節(jié)達(dá)到負(fù)載均衡的作用。本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。以上所述僅是本申請的具體實(shí)施方式
,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本申請?jiān)淼那疤嵯拢€可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本申請的保護(hù)范圍。
權(quán)利要求
1.一種數(shù)據(jù)處理方法,其特征在于,基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間;所述方法包括接收客戶端數(shù)據(jù)請求的被訪問緩存節(jié)點(diǎn)對(duì)與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容進(jìn)行查找;當(dāng)在所述被訪問緩存節(jié)點(diǎn)的本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表;所述數(shù)據(jù)內(nèi)容目錄列表中設(shè)置有數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系; 依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn);從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的本地替換空間。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表的過程具體為查詢由協(xié)作控制器進(jìn)行預(yù)設(shè)的數(shù)據(jù)內(nèi)容目錄列表。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,依據(jù)所述對(duì)應(yīng)關(guān)系確定目標(biāo)緩存節(jié)點(diǎn)的過程包括查詢預(yù)設(shè)數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系; 當(dāng)查找到與所述客戶端所請求數(shù)據(jù)內(nèi)容相對(duì)應(yīng)的緩存節(jié)點(diǎn)時(shí),將所述緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,還包括當(dāng)未查找到與所述客戶端所請求數(shù)據(jù)內(nèi)容相對(duì)應(yīng)的緩存節(jié)點(diǎn)時(shí),將接收的客戶端數(shù)據(jù)請求轉(zhuǎn)發(fā)至內(nèi)容源服務(wù)器;從所述內(nèi)容源服務(wù)器獲取與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容; 將所述獲取的數(shù)據(jù)內(nèi)容保存至所述被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,還包括對(duì)所述被訪問緩存節(jié)點(diǎn)的協(xié)作替換空間保存的數(shù)據(jù)內(nèi)容的目錄列表進(jìn)行更新; 將經(jīng)過更新的目錄列表發(fā)送至所述協(xié)作控制器。
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的過程中,當(dāng)協(xié)作替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),還包括協(xié)作替換空間中數(shù)據(jù)內(nèi)容的替換過程,具體為讀取協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢所述目錄列表中記錄的非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;將所述訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述獲取的數(shù)據(jù)內(nèi)容。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,還包括讀取本地替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢所述目錄列表中記錄的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;當(dāng)協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間且本地替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值時(shí),將所述協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容加入本地替換空間中進(jìn)行保存。
8.根據(jù)權(quán)利要求6所述的方法,其特征在于,還包括讀取本地替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢所述目錄列表中記錄的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;當(dāng)協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間晚于本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容的訪問更新時(shí)間且本地替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),將所述本地替換空間中訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述協(xié)作替換空間中被替換的訪問頻率最低的數(shù)據(jù)內(nèi)容。
9.根據(jù)權(quán)利要求7或8所述的方法,其特征在于,在所述協(xié)作替換空間被訪問的過程中,當(dāng)所述協(xié)作替換空間被訪問次數(shù)過多,造成所述緩存節(jié)點(diǎn)所在鏈路的利用率超過預(yù)設(shè)鏈路利用率時(shí),還包括協(xié)作替換空間中數(shù)據(jù)內(nèi)容的轉(zhuǎn)移過程,具體為統(tǒng)計(jì)當(dāng)前被訪問緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率從高到低的N個(gè)數(shù)據(jù)內(nèi)容,所述 N個(gè)數(shù)據(jù)內(nèi)容為被訪問頻率值超過預(yù)設(shè)訪問頻率值的全部數(shù)據(jù)內(nèi)容;將所述N個(gè)數(shù)據(jù)內(nèi)容的內(nèi)容列表發(fā)送至協(xié)作控制器;接收所述協(xié)作控制器的轉(zhuǎn)移指令,所述轉(zhuǎn)移指令包括鏈路利用率低的目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的物理地址;依據(jù)所述物理地址將所述N個(gè)數(shù)據(jù)內(nèi)容轉(zhuǎn)移至所述鏈路利用率低的目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的協(xié)作替換空間。
10.根據(jù)權(quán)利要求3所述的方法,其特征在于,從所述目標(biāo)緩存節(jié)點(diǎn)獲取數(shù)據(jù)內(nèi)容的過程包括將被訪問緩存節(jié)點(diǎn)接收的客戶端數(shù)據(jù)請求轉(zhuǎn)發(fā)至所述目標(biāo)緩存節(jié)點(diǎn);接收所述目標(biāo)緩存節(jié)點(diǎn)返回的其協(xié)作替換空間中保存的與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容。
11.根據(jù)權(quán)利要求10所述的方法,其特征在于,將獲取的目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中的數(shù)據(jù)內(nèi)容保存至被訪問緩存節(jié)點(diǎn)的本地替換空間的過程中,當(dāng)本地替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),還包括本體替換空間中數(shù)據(jù)內(nèi)容的替換過程,具體為讀取本地替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢本地替換空間中記錄的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;將所述本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容替換為所述從目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取的數(shù)據(jù)內(nèi)容。
12.根據(jù)權(quán)利要求11所述的方法,其特征在于,還包括讀取協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表;當(dāng)所述數(shù)據(jù)內(nèi)容目錄列表中未記錄有所述本地替換空間中被替換的數(shù)據(jù)內(nèi)容且所述協(xié)作替換空間的存儲(chǔ)空間未達(dá)到預(yù)設(shè)閾值時(shí),將所述本地替換空間中被替換的訪問頻率最低的內(nèi)容加入到協(xié)作替換空間中進(jìn)行保存。
13.根據(jù)權(quán)利要求11所述的方法,其特征在于,還包括讀取協(xié)作替換空間中的數(shù)據(jù)內(nèi)容目錄列表,查詢所述目錄列表中記錄的非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容;當(dāng)所述數(shù)據(jù)內(nèi)容目錄表列中未記錄有所述本地替換空間中被替換的數(shù)據(jù)內(nèi)容且所述協(xié)作替換空間達(dá)到預(yù)設(shè)閾值時(shí),將所述協(xié)作替換空間中非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容替換為本地替換空間中被替換出的本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容,并將替換出的協(xié)作替換空間中非本地客戶端訪問頻率最低的數(shù)據(jù)內(nèi)容進(jìn)行刪除。
14.一種緩存節(jié)點(diǎn),其特征在于,應(yīng)用于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組中,包括控制模塊、 本地替換空間和協(xié)作替換空間;其中所述本地替換空間用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存;所述協(xié)作替換空間用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存;所述控制模塊用于接收客戶端發(fā)送的數(shù)據(jù)請求,并在所述本地替換空間中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的的數(shù)據(jù)內(nèi)容;當(dāng)在所述本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系,依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)作為目標(biāo)緩存節(jié)點(diǎn); 從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間中獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間中。
15.根據(jù)權(quán)利要求14所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊包括接收單元,用于接收客戶端發(fā)送的數(shù)據(jù)請求;查找單元,用于依據(jù)所述接收單元接收的數(shù)據(jù)請求在所述本地替換空間中查找與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;查詢單元,用于當(dāng)所述查找單元在所述本地替換空間中未查找到所述數(shù)據(jù)內(nèi)容時(shí),查詢數(shù)據(jù)內(nèi)容目錄列表中設(shè)置的數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系;確定單元,用于當(dāng)所述查詢單元查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),依據(jù)所述對(duì)應(yīng)關(guān)系將所述緩存節(jié)點(diǎn)群組中的其它緩存節(jié)點(diǎn)中包含所述數(shù)據(jù)內(nèi)容的緩存節(jié)點(diǎn)確定為目標(biāo)緩存節(jié)點(diǎn);獲取單元,用于從所述確定單元確定的目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間獲取所述數(shù)據(jù)內(nèi)容并將所述數(shù)據(jù)內(nèi)容保存至所述本地替換空間。
16.根據(jù)權(quán)利要求15所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括第一轉(zhuǎn)發(fā)單元,用于當(dāng)所述查詢單元未查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),將所述接收單元接收的數(shù)據(jù)請求轉(zhuǎn)發(fā)至內(nèi)容源服務(wù)器,并控制所述獲取單元從所述內(nèi)容源服務(wù)器獲取與所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容;將所述獲取的數(shù)據(jù)內(nèi)容保存至所述緩存節(jié)點(diǎn)的協(xié)作替換空間。
17.根據(jù)權(quán)利要求15所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括第二轉(zhuǎn)發(fā)單元,用于當(dāng)所述查詢單元查詢到所述數(shù)據(jù)內(nèi)容與其對(duì)應(yīng)緩存節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系時(shí),將所述接收單元接收的數(shù)據(jù)請求轉(zhuǎn)發(fā)至所述確定單元確定的目標(biāo)緩存節(jié)點(diǎn),并控制所述獲取單元從所述目標(biāo)緩存節(jié)點(diǎn)的協(xié)作替換空間獲取所述數(shù)據(jù)請求相對(duì)應(yīng)的數(shù)據(jù)內(nèi)容; 將所述獲取的數(shù)據(jù)內(nèi)容保存至所述緩存節(jié)點(diǎn)的本地替換空間。
18.根據(jù)權(quán)利要求16或17所述的緩存節(jié)點(diǎn),所述控制模塊還包括目錄更新單元,用于當(dāng)本地替換空間或協(xié)作替換空間中的存儲(chǔ)內(nèi)容發(fā)生變化時(shí),對(duì)本地替換空間或協(xié)作替換空間保存的數(shù)據(jù)內(nèi)容的目錄列表進(jìn)行更新,并將更新的協(xié)作替換空間的目錄列表發(fā)送至所述協(xié)作控制器。
19.根據(jù)權(quán)利要求18所述的緩存節(jié)點(diǎn),所述控制模塊還包括統(tǒng)計(jì)單元,用于對(duì)本地替換空間及協(xié)作替換空間中存儲(chǔ)內(nèi)容的被訪問頻率進(jìn)行統(tǒng)計(jì)。
20.根據(jù)權(quán)利要求19所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括協(xié)作替換單元,用于對(duì)非本地客戶端對(duì)所述協(xié)作替換空間的訪問過程進(jìn)行管理,在所述獲取單元將獲取的數(shù)據(jù)內(nèi)容保存至協(xié)作替換空間的過程中,當(dāng)協(xié)作替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),對(duì)所述協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行替換。
21.根據(jù)權(quán)利要求19所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括本地替換單元,用于對(duì)本地客戶端對(duì)所述本地替換空間的訪問過程進(jìn)行管理,在所述獲取單元將獲取的數(shù)據(jù)內(nèi)容保存至本地替換空間的過程中,當(dāng)本地替換空間的存儲(chǔ)空間達(dá)到預(yù)設(shè)閾值時(shí),對(duì)所述本地替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行替換。
22.根據(jù)權(quán)利要求20或21所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括替換處理單元,用于對(duì)本地替換空間或協(xié)作替換空間中被替換的數(shù)據(jù)內(nèi)容進(jìn)行處理。
23.根據(jù)權(quán)利要求20所述的緩存節(jié)點(diǎn),其特征在于,所述控制模塊還包括轉(zhuǎn)移單元,用于當(dāng)所述緩存節(jié)點(diǎn)所在的鏈路利用率超過預(yù)設(shè)鏈路利用率時(shí),對(duì)所述協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移。
24.一種數(shù)據(jù)處理方法,其特征在于,基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間;所述方法包括獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐?;依?jù)所述鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。
25.根據(jù)權(quán)利要求M所述的方法,其特征在于,所述獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率的獲取過程具體為主動(dòng)收集所述緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率。
26.根據(jù)權(quán)利要求M所述的方法,其特征在于,所述獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率的獲取過程具體為接收各個(gè)緩存節(jié)點(diǎn)上傳的鏈路利用率。
27.根據(jù)權(quán)利要求M所述的方法,其特征在于,所述獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的鏈路利用率的獲取過程具體為設(shè)置第三方收集設(shè)備,通過所述第三方收集設(shè)備收集各個(gè)緩存節(jié)點(diǎn)的鏈路利用率。
28.根據(jù)權(quán)利要求25J6或27所述的方法,其特征在于,對(duì)所述協(xié)作比例進(jìn)行調(diào)整的過程包括計(jì)算所述緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的平均鏈路利用率及各個(gè)緩存節(jié)點(diǎn)的當(dāng)前鏈路利用率與所述平均鏈路利用率之間的絕對(duì)差值;以預(yù)設(shè)的參與協(xié)作的基本調(diào)整粒度為基準(zhǔn)值,確定針對(duì)所述絕對(duì)差值的調(diào)整信息; 將所述調(diào)整信息分別發(fā)送至與其對(duì)應(yīng)的緩存節(jié)點(diǎn),控制所述緩存節(jié)點(diǎn)依據(jù)所述調(diào)整信息對(duì)其參與協(xié)作的比例進(jìn)行調(diào)整。
29.根據(jù)權(quán)利要求28所述的方法,其特征在于,所述確定的針對(duì)所述絕對(duì)差值的調(diào)整信息包括調(diào)整方向信息;所述調(diào)整方向信息中包括控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的轉(zhuǎn)移指令及目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)的物理地址;依據(jù)所述轉(zhuǎn)移指令控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移的過程包括發(fā)送數(shù)據(jù)內(nèi)容目錄列表至所述緩存節(jié)點(diǎn),所述數(shù)據(jù)內(nèi)容目錄列表中包含所述緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率高于預(yù)設(shè)訪問頻率的數(shù)據(jù)內(nèi)容;指示所述緩存節(jié)點(diǎn)依據(jù)所述物理地址將所述緩存節(jié)點(diǎn)協(xié)作替換空間中被訪問頻率高于預(yù)設(shè)訪問頻率的數(shù)據(jù)內(nèi)容轉(zhuǎn)移至目標(biāo)轉(zhuǎn)移緩存節(jié)點(diǎn)。
30.根據(jù)權(quán)利要求四所述的方法,其特征在于,還包括接收各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表,所述數(shù)據(jù)內(nèi)容目錄列表中包含各個(gè)緩存節(jié)點(diǎn)協(xié)作替換空間中保存的數(shù)據(jù)內(nèi)容目錄及所述數(shù)據(jù)內(nèi)容被訪問的頻率信息;對(duì)各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行統(tǒng)計(jì)匯總并將經(jīng)過匯總的數(shù)據(jù)內(nèi)容目錄列表發(fā)送至各個(gè)緩存節(jié)點(diǎn)。
31.根據(jù)權(quán)利要求四所述的方法,其特征在于,所述確定的針對(duì)所述絕對(duì)差值的調(diào)整信息還包括調(diào)整比例信息;所述調(diào)整比例信息中包括控制所述緩存節(jié)點(diǎn)協(xié)作替換空間和本地替換空間所占比例進(jìn)行調(diào)整的比例調(diào)整指令;對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間中的內(nèi)容進(jìn)行轉(zhuǎn)移后,還包括 依據(jù)所述調(diào)整指令對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間經(jīng)過數(shù)據(jù)內(nèi)容轉(zhuǎn)移后的空余空間進(jìn)行重新分配,對(duì)所述緩存節(jié)點(diǎn)的本地替換空間和協(xié)作替換空間所占的比例值進(jìn)行調(diào)整。
32.一種協(xié)作控制器,其特征在于,包括獲取模塊,用于獲取緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)所在拓?fù)滏溌返逆溌防寐剩?調(diào)整模塊,用于依據(jù)所述獲取模塊獲取的鏈路利用率對(duì)各個(gè)緩存節(jié)點(diǎn)在所述緩存節(jié)點(diǎn)群組中參與協(xié)作的比例進(jìn)行調(diào)整。
33.根據(jù)權(quán)利要求32所述的協(xié)作控制器,其特征在于,所述調(diào)整模塊包括計(jì)算單元,用于計(jì)算所述緩存節(jié)點(diǎn)群組中各個(gè)緩存節(jié)點(diǎn)的平均鏈路利用率及各個(gè)緩存節(jié)點(diǎn)的當(dāng)前鏈路利用率與所述平均鏈路利用率之間的絕對(duì)差值;確定單元,用于以預(yù)設(shè)的參與協(xié)作的基本調(diào)整粒度為基準(zhǔn)值,確定針對(duì)所述計(jì)算單元計(jì)算得出的絕對(duì)差值的調(diào)整信息;比例調(diào)整單元,用于將所述確定單元確定的調(diào)整信息分別發(fā)送至與其對(duì)應(yīng)的緩存節(jié)點(diǎn),控制所述緩存節(jié)點(diǎn)依據(jù)所述調(diào)整信息對(duì)其參與協(xié)作的比例進(jìn)行調(diào)整。
34.根據(jù)權(quán)利要求33所述的協(xié)作控制器,其特征在于,所述比例調(diào)整單元包括轉(zhuǎn)移子單元,用于依據(jù)所述確定單元確定的調(diào)整信息控制所述緩存節(jié)點(diǎn)協(xié)作替換空間中的數(shù)據(jù)內(nèi)容進(jìn)行轉(zhuǎn)移。
35.根據(jù)權(quán)利要求34所述的協(xié)作控制器,其特征在于,所述比例調(diào)整單元還包括內(nèi)容目錄更新子單元,用于對(duì)各個(gè)緩存節(jié)點(diǎn)上傳的數(shù)據(jù)內(nèi)容目錄列表進(jìn)行統(tǒng)計(jì)匯總, 并將經(jīng)過匯總的數(shù)據(jù)內(nèi)容目錄列表發(fā)送至各個(gè)緩存節(jié)點(diǎn)。
36.根據(jù)權(quán)利要求34所述的協(xié)作控制器,其特征在于,所述比例調(diào)整單元還包括分配子單元,用于依據(jù)所述確定單元確定的調(diào)整信息對(duì)所述緩存節(jié)點(diǎn)協(xié)作替換空間經(jīng)過數(shù)據(jù)內(nèi)容轉(zhuǎn)移后的空余空間進(jìn)行重新分配,對(duì)所述緩存節(jié)點(diǎn)的本地替換空間和協(xié)作替換空間所占的比例進(jìn)行調(diào)整。
37. 一種數(shù)據(jù)處理系統(tǒng),其特征在于,包括由權(quán)利要求14 23所述的緩存節(jié)點(diǎn)組成的緩存節(jié)點(diǎn)群組及權(quán)利要求32 36所述的協(xié)作控制器。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)處理方法,基于數(shù)據(jù)緩存的緩存節(jié)點(diǎn)群組,所述群組中任一緩存節(jié)點(diǎn)包括用于對(duì)本地客戶端訪問的數(shù)據(jù)進(jìn)行保存的本地替換空間及用于對(duì)非本地客戶端訪問的數(shù)據(jù)內(nèi)容進(jìn)行保存的協(xié)作替換空間,通過所述數(shù)據(jù)處理方法對(duì)緩存節(jié)點(diǎn)本地替換空間和協(xié)作替換空間中存儲(chǔ)的數(shù)據(jù)內(nèi)容進(jìn)行處理,使客戶端在訪問緩存節(jié)點(diǎn)的過程中對(duì)數(shù)據(jù)的獲取更加準(zhǔn)確直接,滿足了緩存節(jié)點(diǎn)本地優(yōu)化的不同需求。同時(shí)各個(gè)緩存節(jié)點(diǎn)的構(gòu)造一致,當(dāng)某一客戶端訪問本地緩存節(jié)點(diǎn)未能查找到所需的數(shù)據(jù)內(nèi)容時(shí),可通過數(shù)據(jù)協(xié)作訪問其它客戶端的緩存節(jié)點(diǎn)獲取所需數(shù)據(jù),在保證了緩存節(jié)點(diǎn)群組中全局?jǐn)?shù)據(jù)緩存的基礎(chǔ)上,對(duì)單個(gè)緩存節(jié)點(diǎn)的數(shù)據(jù)獲取進(jìn)行了優(yōu)化。
文檔編號(hào)H04L12/56GK102204218SQ201180000652
公開日2011年9月28日 申請日期2011年5月31日 優(yōu)先權(quán)日2011年5月31日
發(fā)明者龍有水 申請人:華為技術(shù)有限公司