內容分發網絡和該網絡中基于內容的調度方法

專利名稱：內容分發網絡和該網絡中基于內容的調度方法
技術領域：
本發明涉及因特網中的內容分發網絡(CDN )服務，設計了 一種 增加全局內容管理系統和本地內容管理系統的CDN網絡以及在CDN 網絡中的基于內容的調度方法。
背景技術：
CDN的全稱是內容分發網絡，其目的是通過在現有的因特網中 增加一層新的網絡架構，將網站的內容發布到最接近用戶的網絡"邊 緣"，使用戶可以就近取得所需的內容，解決因特網擁擠的狀況，提 高用戶訪問網站的響應速度。在CDN網絡中，內容路由技術負責將用戶請求引導到CDN網 絡中離用戶最近的節點上，CDN負載均衡系統實現CDN的內容路由 功能。它的作用是將用戶的請求導向整個CDN網絡中的最佳節點。 最佳節點的選定可以根據多種策略，例如距離最近、節點負載最輕等。負載均衡系統是整個CDN的核心，負載均衡的準確性和效率直 接決定了整個CDN的效率和性能。通常負栽均衡可以分為兩個層次 全局負載均衡(GSLB )和本地負載均衡(SLB )。全局負載均衡(GSLB ) 主要的目的是在整個網絡范圍內將用戶的請求定向到最近的節點(或 者區域)。因此，就近性判斷是全局負載均衡的主要功能。本地負載 均衡一般局限于一定的區域范圍內，其目標是在特定的區域范圍內尋 找一臺最適合的節點提供服務，因此，CDN節點的健康性、負載情況、 支持的媒體格式等運行狀態的本地負載均衡進行決策的主要依據。基于DNS (即，域名系統)重定向的CDN路由方式可以圖1來 描述，整個調度過程如下所述1)當用戶的請求通過DNS重定向被轉發到GSLB，GSLB基于URL(統一資源定位符)，根據本身預定義的策略，結合其他設備提 供的信息，比如設備狀態、負載情況等，按照一定的算法，得出最優 的SLBIP,然后返回給用戶最優的SLBIP地址；2) SLB根據預定的策略，結合其他設備提供的信息，比如設備 狀態、負載情況等，按照一定的算法，在自己的范圍內尋找合適的緩 存(Cache)服務器，并將緩存服務器的IP地址返回到用戶；3) 緩存服務器如果命中，即用戶的請求的內容恰好在最終的緩 存服務器中，則該緩存服務器提供服務給用戶；4) 如果沒有命中，則SLB發送請求給GSLB，請求OCS源(即 內容源，就是內容保存的根節點)的信息；5) SLB根據從GSLB返回的信息知道該內容的OCS源，根據 設備的負載情況等指定一個緩存服務器給用戶提供代理(proxy)服 務或者邊緩存邊分發給用戶。以上這種CDN運行機制存在以下幾個問題1) 對于CDN中的緩存設備，由于受到自身存儲資源的限制， 緩存服務器的命中率 一般較低；2) 所有的內容都同等對待，例如熱度很高的內容和點播率很 低的內容沒有什么等級區別，！這不利于運營商對內容的有效管理；3) 在緩存服務器未命中的情況下，用戶請求被引導到OCS源， 增加了OCS源的壓力，可能造成OCS源崩潰；4) 調度不靈活，新的內容發布會影響多個節點的配置。發明內容本發明是為解決基于負載均衡路由技術下的緩存命中率不高和 OCS源壓力而提出的內容分發網絡和相關方法。根據本發明的一個方面，提供一種內容分發網絡(CDN)，包括全 局負載均衡系統(GSLB)、內容源(OCS)和多個業務提供點(POP 節點)，其中每個POP節點包括本地負栽均衡系統(SLB)和多個緩 存服務器(Cache)，所述GSLB負責將請求訪問內容的用戶定向到合適的POP節點并將用戶請求轉發到所述合適的POP節點的SLB，其特 征在于該內容分發網絡還包括全局內容管理系統(GCM)和位于各個 POP節點內的多個本地內容管理系統(LCM)，其中，所述GCM負責維護整個CDN的內容目錄數據庫，并向 各個POP節點的LCM提供所有內容的分布信息以及內容分發策略； 所述LCM負責維護內容分布信息，并將來自GCM的內容分發 策略解析后分配到SLB和Cache執行，并將策略執行結果匯報給 GCM。在本發明的第 一方面中，當用戶請求被所述GSLB轉發到合適的 POP節點的SLB時，該SLB查詢所述合適的POP節點的LCM，以 檢查用戶請求訪問的內容是否在所述合適的POP節點命中。如果命 中，則所述合適的POP節點提供服務給用戶；如果沒有命中，則所 述合適的POP節點的LCM根據GCM提供的內容分布信息尋找緩存 有用戶請求訪問的內容的其他POP節點或者OCS,然后由所述合適 的POP節點為用戶提供proxy代理服務。根據本發明的另一個方面，提供一種在CDN中基于內容的調度 方法，所述CDN包括GSLB、 OCS和多個POP節點，其中每個POP 節點包括SLB和多個Cache,所述GSLB負責將請求訪問內容的用戶 定向到合適的POP節點并將用戶請求轉發到所述合適的POP節點的 SLB，其特征在于該方法包括在所述CDN中配備GCM，在各個POP節點內配備LCM，所述 GCM負責維護整個CDN的內容目錄數據庫，并向各個POP節點的 LCM提供所有內容的分布信息以及內容分發策略，所述LCM負責維 護內容分布信息，并將來自GCM的內容分發策略解析后分配到SLB 和Cache執行，并將策略執行結果匯報給GCM;當用戶請求被所述GSLB轉發到合適的POP節點的SLB時，該 SLB查詢本地節點中的LCM，以檢查用戶請求訪問的內容是否在所 述合適的POP節點命中；如果命中，則所述合適的POP節點提供服務給用戶；如果沒有命中，則LCM根據GCM提供的內容分布信息尋找緩存有用戶請求訪 問的內容的其他POP節點或者OCS,然后由所述合適的POP節點為 用戶提供proxy代理服務。本發明具有以下優點通過GCM、 LCM可以知道內容所在的 設備的健康狀況，減少搜索次數，從而提高緩存的命中率，減少用戶 的重定向次數；有效的整合內容資源，有效地做到了數據和管理的分 離；通過借助其它節點解決未命中的用戶訪問，能很大地減輕了 OCS 源的壓力；避克的系統資源的冗余，也同時避免了系統瓶頸的突發幾率。


結合附圖，參照以下對本發明的具體實施方式
的詳細描述，將會 清楚本發明的特征和優點，在附圖中圖1是CDN基于DNS重定向的路由拓樸結構；以及 圖2是CDN基于內容的路由拓樸結構。
具體實施方式
為提高緩存命中率和減輕OCS源的壓力，同時對內容進行有效 的管理，本發明引入了內容統一管理機制，設計一種解決方法以處理 以上問題。作為CDN網絡，其建設的最終目的就是為內容服務，把 內容安全、準確、完整的發送到用戶方，上述關于CDN的負載均衡 路由技術，實際上就是一個對內容的查詢和發送技術，如果有一套合 理有效的統一的內容管理機制，就能很好的解決內容不命中和內容實 時狀態的監控，其思想可以用下圖表述如圖2所示，基于內容的路由技術在原來的基礎上增加了兩個模 塊GCM和LCM，現將其功能詳述如下。GCM:全局內容管理系統，負責維護全網的內容目錄數據庫，并 向各個POP節點(即，業務提供點)的LCM提供所有內容的分布信 息，這通過兩種方式實現:(1)GCM每天定時將內容信息同步到各LCM上；(2)LCM不知道內容分布的情況下，主動向GCM詢問內容 分布情況；GCM需要保存的內容關鍵信息包括(1) Content_ID:用戶訪問的內容ID;(2) URL—Portal:用戶訪問WEB頁面得到的內容URL地址； (3 ) URL_SP—OCS/URL—CDN—OCS:存放在SP或者CDN系統中的內容源，可以有多個；(4) URL—POP:內容在POP節點的存儲地址，可以有多個；(5) 其他LCM:本地內容管理系統，負責維護內容在節點的分布信息，將 全國中心的內容分布策略解析后分配到SLB、緩存服務器等節點設備 執行，獲得最優的內容獲取路徑，并將策略執行結果匯報給全國中心 GCM。LCM需要保存的內容關鍵信息包括 (1) ContentID:用戶訪問的內容ID;(2 ) URL —Portal:用戶訪問WEB頁面得到的內容URL地址； (3 ) URL—SP—OCS/URL—CDN_OCS:存放在SP或者CDN系統中的內容源，可以有多個；(4) URL—Cache:緩存服務器上的內容地址，格式為緩存 IP/URL一Portal;(5) 其他參考圖2，整個調度過程如下所述1) 當內容注入時，GCM負責整個系統內容的變化維護，并將 制定的內容分布策略分發到各個POP節點；2) LCM接受策略并解析，如果新的內容和本節點有關，則執 行策略并將結果反饋到GCM;3) 假設用戶的訪問請求已經被轉發到合適的SLB， SLB查詢 LCM，看看內容是否在本節點命中；4) 如果命中，則提供服務給用戶；如果沒有命中，則LCM根據GCM提供的內容目錄數據庫，在CDN網絡中存儲有所需內容的 其他POP節點中尋找合適的節點。當在所有的POP節點都沒有所需 內容時，LCM尋找OCS;5) SLB根據從LCM返回的信息，指定本地節點中一個適當 的緩存設備給用戶提供proxy代理服務(存在合適的節點時)或者邊 緩存邊分發給用戶(僅存在OCS時)。下面舉例說明proxy代理服務的過程。1) 用戶訪問PORTAL點播影片(如，點擊http:〃porta1.vnet.cn 上某個影片鏈接)。2) 用戶請求Local DNS解析域名portal.vnet.cn。3) LDNS請求授權DNS解析域名portal.vnet.cn。4) 授權DNS向LDNS返回負責解析該域名服務器的IP地址 (即GSLB IP地址)。需要ICP配置其授權DNS,將負責解析該cname指向GSLB。5) LDNS請求GSLB解析域名portal.vnet.cn。6) GSLB根據域名，判斷頻道的資源限制；根據LDNS IP判 斷用戶就近性。綜合判斷后，返回最優的SLBIP地址。7) GSLB向LDNS返回域名解析結果。8) LDNS向用戶返回域名解析結果。9) 用戶根據域名解析結果，請求SLB提供服務，URL形式保 持不變(如，http:〃portal.vnet.cii/A/B/C.wmv)。10) SLB根據域名，判斷頻道的資源限制；SLB綜合考慮緩存 服務器健康性/負載、緩存服務器內容分布狀況，給出最優的Cache IP 地址，并且完成PORTALJJRL到Cache一URL之間的映射，完成應 用層重定向。11) SLB將用戶重定向到緩存服務器提供服務。(URL格式如 http:〃Cache IP/vod.vnet.cn/A/B/C.wmv )。12) 用戶請求緩存服務器提供服務。13) 緩存服務器完成Cache一URL到存儲目錄之間的映射，并判斷該內容本地是否命中。14) 本地命中，緩存服務器直接為用戶提供服務，流程結束。15) 本地未命中，緩存服務器請求POP節點的LCM獲取存儲 有所需內容的其他POP節點和/或OCS信息，參數為PORTAL—URL。16) LCM根據本地內容目錄或者請求GCM查找全局內容目錄 獲取合適的節點和/或OCS信息。17) LCM將具有所需內容的合適的節點和/或OCS信息返回給 緩存服務器。18) 緩存服務器通過PROXY方式為用戶提供服務。 通過以上基于內容的調度方式，可以有以下幾種好處1) 通過GCM、 LCM可以知道內容所在的設備的健康狀況，減 少搜索次數，從而提高緩存的命中率，減少用戶的重定向次數。2) 有效的整合內容資源，可以根據內容屬性，比如可以根據點 播次數做一個熱播頻道，有效地做到了數據和管理的分離。例如，最 初對內容的訪問是沒有記錄的，現在通過GCM可以把內容的訪問歷 史都記錄下來，然后通過分析數據庫，就可以把相關的內容給整合起 來。實現內容的可管理、可分析統計等。3) 通過借助其它節點解決未命中的用戶訪問，能很大地減輕了 OCS源的壓力。舊方式在未命中時僅有OCS源服務，而在本方案中 第一個節點未命中時會有N + l個服務器可以為未命中訪問服務，其 中，"N"是CDN中緩存有用戶訪問內容的節點數量，"l"是指OCS源。4) 通過建立統一的內容目錄數據庫，依賴LCM和GCM的實 時通訊，動態地監控整個內容中心的數據變化，并隨時把內容根據業 務需要整合為一個集合，配合CDN的資源，形成一個內容調度策略， 把系統內容、資源有效的結合起來，避免的系統資源的冗余，也同時 避免了系統瓶頸的突發幾率。本發明作為CDN網絡中內容路由算法的一部分可以通過修改 GSLB和SLB設備上的接口算法實施，增加GCM、 LCM模塊也可以 通過附加算法實現。即，本發明可以用軟件方式實施，但不限于此。以上描述了本發明的實施方式，這些內容只是示例性的，而不應 被看作限制性的。正如本領域技術人員將會看到的，在不背離所要求 保護的本發明的范圍的條件下，可以做出不同于以上公開的實施方式 的其它修改、變型和等同替換。
權利要求
1.一種內容分發網絡，包括全局負載均衡系統、內容源和多個業務提供點，其中每個業務提供點包括本地負載均衡系統和多個緩存服務器，所述全局負載均衡系統負責將請求訪問內容的用戶定向到合適的業務提供點并將用戶請求轉發到所述合適的業務提供點的本地負載均衡系統，其特征在于該內容分發網絡還包括全局內容管理系統和位于各個業務提供點內的多個本地內容管理系統，其中，所述全局內容管理系統負責維護整個內容分發網絡的內容目錄數據庫，并向各個業務提供點的本地內容管理系統提供所有內容的分布信息以及內容分發策略；所述本地內容管理系統負責維護內容分布信息，并將來自全局內容管理系統的內容分發策略解析后分配到本地負載均衡系統和緩存服務器執行，并將策略執行結果匯報給全局內容管理系統。
2. 根據權利要求1的內容分發網絡，其中，當用戶請求被所述全局負載均衡系統轉發到所述合適的業務提供點的本地負載均衡系統 時，該本地負載均衡系統查詢所述合適的業務提供點的本地內容管理 系統，以檢查用戶請求訪問的內容是否在所述合適的業務提供點命 中。
3. 根據權利要求2的內容分發網絡，其中，如果命中，則所述合 適的業務提供點提供服務給用戶；如果沒有命中，則所述合適的業務 提供點的本地內容管理系統根據全局內容管理系統提供的內容分布 信息尋找緩存有用戶請求訪問的內容的其他業務提供點或者內容源， 然后由所述合適的業務提供點為用戶提供代理服務。
4. 根據權利要求3的內容分發網絡，其中，所述代理服務包括邊 緩存邊分發服務。
5. 根據權利要求1的內容分發網絡，其中，所述全局內容管理系 統根據內容目錄數據庫的信息和所述內容分發網絡的資源情況，形成 所述內容分發策略，并將該策略下發給各個本地內容管理系統。
6. 根據權利要求l的內容分發網絡，其中，所述全局內容管理系 統保存的內容關鍵信息包括用戶訪問的內容ID、用戶訪問WEB頁 面得到的內容URL地址、存放在服務提供者和內容分發網絡中的內 容源、內容在業務提供點的存儲地址。
7. 根據權利要求1的內容分發網絡，其中，所述本地內容管理系 統保存的內容關鍵信息包括用戶訪問的內容ID、用戶訪問WEB頁 面得到的內容URL地址、存放在服務提供者和內容分發網絡中的內 容源、緩存服務器上的內容地址。
8. 根據權利要求l的內容分發網絡，其中，所述全局負載均衡系 統基于預定義的策略，根據從各個本地負載均衡系統返回的狀態信息 和負載信息，確定將用戶請求轉發到的所述合適的業務提供點。
9. 根據權利要求1的內容分發網絡，其中，所述全局內容管理系 統將內容分為不同的等級，并對不同的等級采用不同的內容分發策略。
10. 根據權利要求1的內容分發網絡，其中，在新的內容被發布 到所述內容分發網絡中時，只需改變全局內容管理系統和本地內容管 理系統的配置。
11. 一種在內容分發網絡中基于內容的調度方法，所述內容分發 網絡包括全局負載均衡系統、內容源和多個業務提供點，其中每個業 務提供點包括本地負載均衡系統和多個緩存服務器，所述全局負載均 衡系統負責將請求訪問內容的用戶定向到合適的業務提供點并將用 戶請求轉發到所述合適的業務提供點的本地負載均衡系統，其特征在 于該方法包括在所述內容分發網絡中配備全局內容管理系統，在各個業務提供點內配備本地內容管理系統，所述全局內容管理系統負責維護整個內容分發網絡的內容目錄數據庫，并向各個業務提供點的本地內容管理系統提供所有內容的分布信息以及內容分發策略，所述本地內容管理系統負責維護內容分布信息，并將來自全局內容管理系統的內容分發 策略解析后分配到本地負載均衡系統和緩存服務器執行，并將策略執行結果匯報給全局內容管理系統；當用戶請求被所述全局負載均衡系統轉發到所述合適的業務提供 點的本地負栽均衡系統時，該本地負載均衡系統查詢所述合適的業務 提供點的本地內容管理系統，以檢查用戶請求訪問的內容是否在所述 合適的業務提供點命中；如果命中，則所述合適的業務提供點提供服務給用戶；如果沒有 命中，則所述合適的業務提供點的本地內容管理系統根據全局內容管業務提供點或者內容源，然后由所述合適的業務提供點為用戶提供代 理服務。
12. 根據權利要求ll的方法，還包括以下步驟所述全局內容管 理系統根據內容目錄數據庫的信息和所述內容分發網絡的資源情況， 形成內容分發策略，并將該策略下發給各個本地內容管理系統。
13. 根據權利要求ll的方法，其中，所述全局負載均衡系統基于 預定義的策略，根據從各個本地負栽均衡系統返回的狀態信息和負載 信息，確定將用戶請求轉發到的所述合適的業務提供點。
全文摘要
本發明涉及一種內容分發網絡(CDN)以及在該網絡中的基于內容的調度方法。在該CDN網絡中，增加全局內容管理系統(GCM)和本地內容管理系統(LCM)，負責統一維護和管理全網的內容分布信息和內容分發策略。在用戶請求訪問的內容在一個POP節點上未命中時，該POP節點的LCM查找緩存有所述內容的其他POP節點或者OCS，并為用戶提供proxy服務。
文檔編號H04L12/56GK101222424SQ20071030198
公開日2008年7月16日 申請日期2007年12月24日 優先權日2007年12月24日
發明者周開宇, 李振雨, 楊明川, 王和宇, 譚國權, 雷葆華, 魏丫丫 申請人:中國電信股份有限公司