內容傳輸系統、優化該系統中網絡流量的方法、中央控制裝置和本地緩存裝置制造方法
【專利摘要】本發明涉及用于優化重復傳輸流量的方法，以降低內容傳輸系統中由重復內容傳輸引起的網絡中的流量，以及涉及中央控制裝置和本地緩存裝置。內容傳輸系統包括連接至內容服務器的中央控制裝置，并且包括連接至在內容傳輸網絡上的客戶端的本地緩存裝置，以監測重復的內容傳輸，能夠使本地緩存裝置或者中央控制裝置檢查內容分組塊的重復，使中央控制裝置向本地緩存裝置僅發送塊標識符和流信息，因為從/由內容服務器向客戶端提供的內容分組塊被針對重復檢查，使本地緩存裝置檢查接收到的塊標識符，并且如果存在匹配的塊標識符，則向客戶端發送存儲在本地緩存裝置中的內容分組。因而，能夠降低因特網和長途電話中心之間以重復方式發送的網絡流量的負載，從而實現網絡操作方便性和成本有效性的效果。
【專利說明】內容傳輸系統、優化該系統中網絡流量的方法、中央控制裝
置和本地緩存裝置【技術領域】
[0001]本發明涉及內容傳輸系統，具體涉及用于減少其中內容的重復傳輸的內容傳輸系統、優化該系統中網絡流量的方法、中央控制裝置和本地緩存裝置。
【背景技術】
[0002]隨著互聯網內容用戶和海量互聯網內容片在數量上的增加，服務質量(QoS)，諸如網絡(web)頁面、視頻(video)、音頻(audio)、圖像(image)和應用(Application)下載速度降低的問題，是當前存在的問題。
[0003]為了解決該問題，目前正在開發各種內容傳輸服務技術。這些內容傳輸服務能夠傳輸大文件，諸如在線電影(視頻點播(VoD)和直播流(live straming))、音樂流、文件上傳和文件下載，并且相應的市場也相應擴大。
[0004]隨著智能電話的快速普及，最近已經開發了諸如YouTube、互聯網協議電視(IPTV)、蘋果應用商店，以及T商店等的用于傳輸海量內容的服務器，這些服務器的出現導致通信網絡上流量急劇增加。
[0005]這些服務的特性是傳輸的內容根據受歡迎程度、相同地域或相同無線覆蓋下的用戶而重復不同次數，并且它們的重要性在逐漸增加。
[0006]因此，在由于 海量內容的傳輸導致通信網絡上的流量急劇增加的同時，內容的重復傳輸進一步增加了通信網絡的流量負載，導致通信服務質量的惡化。
【發明內容】
[0007]技術問題
[0008]本發明涉及提供內容傳輸系統，用于通過在各種類型內容的傳輸期間最小化內容的重復傳輸來降低網絡上的流量。
[0009]本發明是還涉及提供中央控制裝置，其連接至網絡上的內容服務器，并且控制內容分組的重復傳輸以最小化所提供的內容分組的重復傳輸，以及本地緩存裝置，用于向客戶端發送對應內容分組。
[0010]本發明涉及提供網絡流量優化方法，用于通過在內容傳輸系統中最小化所提供的內容分組的重復傳輸來降低網絡上的流量。
[0011]技術方案
[0012]本發明的一個方面提供一種內容傳輸系統，該內容傳輸系統包括:中央控制裝置，其被構造成當從內容服務器接收到要向客戶端提供的內容分組時，向本地緩存裝置發送接收到的內容分組，當接收到被所述本地緩存裝置檢查為重復的內容分組的重復塊的塊標識符和流信息時，將所述塊標識符和所述流信息登記為重復去除目標，并且向所述本地緩存裝置僅發送被登記為重復去除目標的流的內容分組的塊標識符和流信息；以及所述本地緩存裝置，其被構造成當接收到要向客戶端提供的內容分組時，連同塊標識符一起存儲針對所述內容分組的分割塊，檢查所述分割塊的重復，向所述中央控制裝置發送所述重復塊的塊標識符和流信息，以及當從所述中央控制裝置接收到所述塊標識符和所述流信息時，向所述客戶端發送與接收到的塊標識符對應且存儲在所述本地緩存裝置自身中的內容分組。
[0013]本發明的另一個方面提供一種內容傳輸系統，該內容傳輸系統包括:中央控制裝置，其被構造成當從內容服務器接收到要向客戶端提供的內容分組時，連同塊標識符一起存儲針對所述內容分組的分割塊，檢查所述分割塊的重復，并且向本地緩存裝置發送重復塊的塊標識符和流信息，而不是發送與所述重復塊對應的內容分組；以及所述本地緩存裝置，其被構造成當從所述中央控制裝置接收到所述重復塊的所述塊標識符和所述流信息時，向所述客戶端發送與所述塊標識符對應且存儲在所述本地緩存裝置自身中的內容分組。
[0014]本發明的另一個方面提供一種中央控制裝置，該中央控制裝置包括:通信器，其被構造成與內容服務器和本地緩存裝置執行通信；控制器，其被構造成當經由所述通信器從所述內容服務器接收到要向客戶端發送的內容分組時，向所述本地緩存裝置發送所述內容分組，當接收到經過由所述本地緩存裝置進行的重復監測的重復塊的塊標識符和流信息時，將接收到的所述塊標識符和所述流信息登記為重復去除目標，并且向所述本地緩存裝置僅發送針對重復去除目標流的下一個內容分組的塊標識符和流信息，而不是發送接收到的內容分組；以及存儲器，其被構造成連同塊標識符一起臨時存儲分割塊，并且存儲接收到的塊標識符和流信息。
[0015]在此，所述控制器可以包括:流管理器，其被構造成以流為單位標識接收到的內容分組，將通過分割所標識流的有效載荷而獲得的分割塊臨時存儲，并且當從所述本地緩存裝置接收到所述塊標識符和所述流信息時，登記接收到的塊標識符和流信息，并且防止向所述本地緩存裝置發送所述重復塊；以及有效載荷緩沖和分割單元，其被構造成緩沖所標識的流的有效載荷并且將所緩沖的有效載荷分割成塊。
[0016]另外，所述控制器可以包括:塊重復管理器，其被構造成檢查所述分割塊的重復，并且控制向所述本地緩存裝置發送所述重復塊的所述塊標識符和所述流信息。
[0017]本發明的另一個方面提供一種本地緩存裝置，該本地緩存裝置包括:本地緩存裝置，該本地緩存裝置包括:通信器，其被構造成與客戶端和連接至內容服務器的中央控制裝置通信；控制器，其被構造成當經由所述通信器從所述中央控制裝置接收到內容分組時，將針對所述內容分組的分割塊連同塊標識符一起存儲，同時向所述客戶端提供接收到的內容分組，當從所述中央控制裝置接收到重復塊的塊標識符和流信息時，控制向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組；以及存儲器，其被構造成將所述分割塊連同所述塊標識符一起存儲。
[0018]所述控制器可以包括:流管理器，其被構造成以流為單位標識接收到的內容分組，以及當從所述中央控制裝置接收到針對所標識的流的塊標識符時，控制向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組；有效載荷緩沖和分割單元，其被構造成緩沖所標識的流的有效載荷并且將所緩沖的有效載荷分割成塊；以及塊緩存單元，其被構造成使存儲器將所分割的塊連同所述塊標識符一起存儲。
[0019]所述控制器可以進一步包括塊重復管理器，其被構造成對接收到的內容分組執行塊重復檢查，將被檢查為 重復的重復塊的塊標識符和流信息傳送至所述流管理器，并且檢查是否已經存儲了與接收到的塊標識符一致的塊標識符。
[0020]所述流管理器可以控制向所述中央控制裝置發送所述重復塊的所述塊標識符和所述流信息，當未存儲與接收到的塊標識符一致的塊標識符時，從所述中央控制裝置請求與接收到的塊標識符對應的內容分組，并且控制接收所請求的內容分組以及向所述客戶端提供所請求的內容分組。
[0021 ] 本發明的另一個方面提供一種優化內容傳輸系統中的網絡流量的方法，所述內容傳輸系統包括連接至提供內容分組的內容服務器的中央控制裝置以及連接至被提供所述內容分組的客戶端的本地緩存裝置，所述方法包括以下步驟:在所述中央控制裝置處向所述本地緩存裝置發送從所述內容服務器接收到的內容分組；在所述本地緩存裝置處檢查接收到的內容分組的塊重復，并且向所述客戶端提供接收到的內容分組；當所述本地緩存裝置檢查出接收到的內容分組的重復塊時，向所述中央控制裝置發送所述重復塊的塊標識符和流信息；在所述中央控制裝置處將接收到的重復塊的所述塊標識符和所述流信息登記為重復去除目標；在所述中央控制裝置處向所述本地緩存裝置僅發送登記為重復去除目標的流的下一個內容分組的塊標識符和流信息；以及當所述本地緩存裝置接收到所述重復塊的所述塊標識符和所述流信息時，向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組。
[0022]本發明的另一個方面提供一種優化內容傳輸系統中的網絡流量的方法，所述內容傳輸系統包括連接至提供內容分組的內容服務器的中央控制裝置以及連接至被提供內容分組的客戶端的本地緩存裝置，所述方法包括以下步驟:當所述中央控制裝置從所述內容服務器接收到內容分組時對內容分組執行塊重復檢查；在所述中央控制裝置處向所述本地緩存裝置發送經重復檢查的內容分組的重復塊的塊標識符和流信息；以及當所述本地緩存裝置接收到所述重復塊 的所述塊標識符和所述流信息時，向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組。
[0023]以上描述的優化網絡流量的方法可以進一步包括以下步驟:當所述本地緩存裝置未存儲與接收到的塊標識符對應的內容分組時，從所述中央控制裝置請求與接收到的塊標識符對應的內容分組；在所述本地緩存裝置處從所述中央控制裝置接收所請求的內容分組；以及在所述本地緩存裝置處向所述客戶端發送接收到的內容分組。
[0024]以上描述的優化網絡流量的方法可以進一步包括以下步驟:在所述中央控制裝置處以流為單位標識接收到的內容分組，緩沖所標識的流的有效載荷，以及將所緩沖的有效載荷分割成塊；以及將分割塊連同生成的塊標識符一起臨時存儲。
[0025]以上描述的優化網絡流量的方法可以進一步包括以下步驟:在所述本地緩存裝置處以流為單位標識從所述中央控制裝置中接收到的內容分組，緩沖所標識的流的有效載荷，以及將所緩沖的有效載荷分割成塊；以及將分割塊連同所生成的塊標識符一起存儲。
[0026]有益效果
[0027]本發明能夠提供內容傳輸系統，其包括:中央控制裝置，其連接至內容服務器以監測并且控制內容傳輸網絡上內容的重復傳輸；以及本地緩存裝置，其連接至客戶端并且發送內容，因而能夠簡單、透明地應用于現存系統和協議，也即，易于實踐并且在操作上可行。
[0028]另外，在本發明中，中央控制裝置通過與本地緩存裝置僅交換標識信息來檢查由內容服務器提向客戶端供給的內容分組是否被緩存，以及當本地緩存裝置已經緩存了該內容時，引起從本地緩存裝置發送該內容，從而降低在因特網和集中器站之間以重復方式傳輸的網絡流量的負載。基于該原因，能夠確保網絡管理的方便性，并且降低成本。
[0029]此外，本發明能夠使本地緩存裝置配備得接近客戶端，以檢查是否已經緩存了由客戶端請求的內容并且向客戶端直接發送所緩存的內容，從而減少內容的重復發送。因此，可以改善由客戶端感知的質量。
【專利附圖】
【附圖說明】
[0030]圖1是示出了根據本發明實施方式的內容傳輸系統的構造的框圖。
[0031]圖2是示出了根據本發明實施方式的內容傳輸系統中的中央控制裝置的構造的框圖。
[0032]圖3是示出了根據本發明實施方式的內容傳輸系統中的本地緩存裝置的構造的框圖。
[0033]圖4是示出了根據本發明另一實施方式的內容傳輸系統中的中央控制裝置的構造的框圖。
[0034]圖5是示出了根據本發明另一實施方式的內容傳輸系統中的本地緩存裝置的構造的框圖。
[0035]圖6是示出了根據本發明實施方式的內容傳輸系統中用于管理塊內容的數據庫的示例的框圖。
[0036]圖7是例示了根據本發明實施方式的通過監測內容傳輸系統中內容的重復傳輸來優化網絡流量的方法的流程圖。
[0037]圖8是例示了根據本發明實施方式的內容傳輸系統中執行的重復去除處理的示例的流程圖。
[0038]圖9是例示了根據本發明實施方式的在中央控制裝置中優化網絡流量的方法的流程圖。
[0039]圖10是例示了根據本發明實施方式的在本地緩存裝置中優化網絡流量的方法的流程圖。
[0040]圖11是例示了根據本發明另一實施方式的通過監測在內容傳輸系統中的重復內容傳輸來優化網絡流量的方法的流程圖。
[0041]圖12是例示了根據本發明另一實施方式的在中央控制裝置中優化網絡流量的方法的流程圖。
[0042]圖13是例示了根據本發明另一實施方式的在本地緩存裝置中優化網絡流量的方法的流程圖。
[0043]圖14a至圖14c是例示了根據本發明實施方式的塊重復檢查的示例的框圖。
[0044]圖15a和圖15b是例示了根據本發明實施方式的用于將所緩沖的有效載荷分割成固定大小的塊的處理的示例的框圖。
[0045]圖16a和圖16b是例示了根據本發明實施方式的用于將所緩沖的有效載荷分割成可變大小的塊的處理的示例的框圖。
【具體實施方式】[0046]下文，將參照附圖詳細描述本發明的示范實施方式。在下文的說明和附圖中，當與本發明有關的公知領域的詳細說明確定為會不必要地混淆本發明的要點時，將省略對其的詳細說明。在附圖中，類似元件盡可能由類似附圖標記表示。
[0047]將參照附圖詳細說明用于監測重復內容傳輸的內容傳輸系統，以及內容傳輸系統的中央控制裝置和本地緩存裝置。
[0048]圖1是示出了根據本發明實施方式的內容傳輸系統的構造的框圖。
[0049]參照圖1，內容傳輸系統可包括:中央控制裝置(中央節點(CN =CentralNode)) 100，其設置在網絡的入口處，從至少一個內容服務器10輸入內容到中央控制裝置100 ;以及本地緩存裝置(遠程節點(RN =Remote Node)) 200，其設置在網絡中的客戶端20偵1J,以分布式方式存儲內容。
[0050]中央控制裝置100或者300將從至少一個內容服務器10接收到的內容分組向本地緩存裝置200或者400發送，以流為單 位標識接收到的內容以檢查所標識的流是否是重復目標流。中央控制裝置100不向本地緩存裝置200或者400發送與經檢查為重復的流對應的內容。此處，從內容服務器10接收到的內容被分割成一個或多個流(這些流用成對的提供該內容的內容服務器以及接收該內容的客戶端來標識，例如，傳輸控制協議(TCP)流)并且被發送，各個流都使用諸如互聯網協議(IP)這樣的協議通過一個或多個IP分組來發送對應的內容。而且，在內容服務器10、中央控制裝置100或者300、本地緩存裝置200或者400以及客戶端20之間傳輸的內容將內容服務器10作為源地址，將客戶端20作為目的地地址，因而能夠作為從內容服務器10發送的IP分組向客戶端20發送。中央控制裝置100和300以及本地緩存裝置200和400以各種方式接收內容，并且能夠執行下文所描述的處理。
[0051]本地緩存裝置200和400將通過對應流傳輸的內容分割成大小均勻的塊或者有意義單位，緩存并且存儲內容的各個塊，通過監測對應的流來標識用于傳輸緩存在其中的內容的流，并且向客戶端20而不是內容服務器10發送對應流的內容分組。
[0052]在根據本發明的內容傳輸系統中，通過中央控制裝置100和本地緩存裝置200中的任意一個能夠監測內容的重復。
[0053]下文將進一步詳細描述通過內容傳輸系統中的本地緩存裝置200監測內容重復的情形。
[0054]圖2是示出了根據本發明實施方式的內容傳輸系統中的中央控制裝置的構造的框圖。
[0055]參照圖2，中央控制裝置100可包括:通信器110 ;控制器120 ;包括臨時本地緩存器131和流管理數據庫132的存儲器130 ;以及本地緩存狀態管理器140。
[0056]通信器110接收由至少一個內容服務器10提供的內容分組，向本地緩存裝置200發送該內容分組，并且交換由用于監測內容重復的處理形成的消息。此處，與本地緩存裝置200交換的用于對重復的監測的消息可包括:控制消息，控制消息包括標識信息、控制信息等；用于發送內容分組的內容分組傳輸消息；響應消息等。另外，通信器110能夠使用一種或更多種通信方法來交換數據，為此，其可包括分別根據不同的通信方法交換數據的多個通信模塊。
[0057]控制器120可包括流管理器121、有效載荷緩沖和分割單元122和控制消息管理器123。
[0058]控制器120經由通信器110向本地緩存裝置200發送從內容服務器10接收到的內容分組。當從本地緩存裝置200接收到關于重復檢查的流信息時，控制器120以流為單位標識接收到的內容分組，并且檢查經標識的內容分組是否是重復去除目標流。當內容分組被標識為重復去除目標流時，控制器120緩沖該流的經標識的內容分組，將所緩沖的內容分組分割成塊并且將分割塊存儲在存儲器130中。當內容分組不被標識為重復去除目標流時，控制器120向本地緩存裝置200發送接收到的內容分組。換句話說，當連續接收到的內容分組不是在本地緩存裝置200中緩存的內容時，向本地緩存裝置200發送當前接收到的內容分組，使得能夠通過本地緩存裝置200執行內容緩存和/或內容重復檢查。
[0059]流管理器121以流為單位標識從通信器110接收到的內容分組，并且使用從本地緩存裝置200接收到的內容分組的重復塊標識符和流信息(包括流內容)，來將發送與緩存在本地緩存裝置200中的相同內容分組的流在流管理數據庫132中登記為重復去除目標流。此處，流內容可包括作為流標識信息的例如源IP、目的地IP、源端口、目的地端口、協議、有效載荷長度、序列號碼、內容類型等。
[0060]當針對從內容服務器100接收到的內容分組的所標識的流不是重復去除目標流時，流管理器121將接收到的內容分組傳送至通信器110，以便向本地緩存裝置200發送該內容分組。另一方面，當所標識的流是重復去除目標流時，流管理器121將所標識的流傳送至有效載荷緩沖和分割單元122。此處，通過檢查關于所標識的流的信息是否存儲在流管理數據庫132中，流管理器121能夠檢查所標識的流是否是重復去除目標流。 [0061]另外，流管理器121從有效載荷緩沖和分割單元122接收內容分組的分割塊的塊標識符，并且將接收到的塊標識符傳送至控制消息管理器123。
[0062]有效載荷緩沖和分割單元122緩沖從流管理器121傳送的重復去除目標流的有效載荷，將包含在所緩沖的有效載荷中的內容分組分割成多個塊，并且將分割塊臨時存儲在存儲器130的臨時本地緩存器131中，使得從本地緩存裝置200向客戶端20發送的內容分組與從內容服務器10發送的內容分組一致。稍后將詳細描述將有效載荷分割成塊的這種方法。
[0063]控制消息管理器123在從本地緩存裝置200接收所緩存的內容分組的塊標識符(簽名值)的同時管理監測內容分組的重復必要的信息，管理與本地緩存裝置200交換的控制消息，并且檢查內容分組的一致。具體地，當對應塊標識符不存在于關于經由通信器110從本地緩存裝置200接收到的內容分組的塊標識符的檢查信息中時，也即不存在于本地緩存裝置200時，控制消息管理器123將從流管理器121接收到的內容分組的塊標識符包括在控制消息中，經由通信器110向本地緩存裝置200發送該控制消息，并且接收和管理指示不存在塊標識符的結果信息以及用于從本地緩存裝置200請求對應內容的內容請求消息。此時，控制消息管理器123將接收到的內容請求消息中包括的結果信息傳送至流管理器121，從而使流管理器121向本地緩存裝置200發送對應內容分組。在發送控制消息之后，控制消息管理器123命令流管理器121不發送重復內容分組，并且當從本地緩存裝置200沒有接收到內容請求消息達先前設定時間時認為本地緩存裝置200已經向客戶端20發送了針對存儲在其中的塊標識符的內容分組。此處，從本地緩存裝置200向客戶端20發送的內容分組是由流管理器121檢查為重復的分組。[0064]存儲器130將經分割的內容分組的塊連同塊的標識符以數據庫形式臨時存儲在臨時本地緩存器131中，在數據庫中考慮了系統的特性(內存容量、服務器速度、要存儲的塊的總數量等)。而且，存儲器130存儲了關于從內容服務器10發送的內容分組的流信息以及關于重復去除目標流的登記信息和管理信息。此處，當接收到在本地緩存裝置200發送與存儲塊對應的內容分組之后發送的響應消息時，臨時本地緩存器131可以去除臨時存儲的塊。另選地，臨時本地緩存器131可以根據用戶設定的方法來去除臨時存儲的塊。
[0065]本地緩存狀態管理器140監測存儲器130的臨時本地緩存器131的狀態，根據監測結果來控制維護，并且能夠根據來自流管理器121的請求來檢查對應內容塊是否存儲在臨時本地緩存器131中。
[0066]接下來，將參照附圖詳細描述根據本發明實施方式的內容傳輸系統中的本地緩存裝置200的構造及操作。
[0067]圖3是示出了根據本發明實施方式的內容傳輸系統中的本地緩存裝置的構造的框圖。
[0068]參照圖3，本地緩存裝置200可包括:通信器210、控制器220、包括本地緩存器231和流管理數據庫232的存儲器230、以及本地緩存狀態管理器240。
[0069]通信器210接收由中央控制裝置100發送的內容分組，向客戶端20發送該內容分組，并且與中央控制裝置100交換由用于監測內容重復的重復去除處理形成的控制消息。此處，所交換的用于監測重復的消息可包括:控制消息，控制消息包括標識信息、控制信息等；用于發送內容分組的內容分組傳輸消息；響應消息等。另外，通信器210能夠使用一種或更多種通信方法來交換 數據，為此，其可包括多個通信模塊，它們分別根據不同的通信方法交換數據。
[0070]控制器220可包括流管理器221、有效載荷緩沖和分割單元222、塊緩存單元223、塊重復管理器224和控制消息管理器225。控制器220在進行向客戶端20發送內容分組的處理的同時檢查經由通信器210從中央控制裝置100接收到的內容分組是否是重復。當一些內容分組(例如，第五分組)被接收到用于重復檢查時，控制器220比較接收到的內容分組和存儲的內容分組，從而檢查內容分組是否是重復。同時，當本地緩存裝置200接收到從內容服務器10通過中央控制裝置100向客戶端20發送的內容分組時，本地緩存裝置200可以直接從中央控制裝置100接收內容分組，或者可以經由鏡像方案接收向客戶端20也即目的地發送的內容分組。此處，以流為單位和以塊中為單位檢查內容分組是否是重復。換句話說，在緩沖了內容分組的有效載荷并且將所緩沖的有效載荷分割成塊單元之后，控制器220檢查分割塊是否是重復(所存儲的塊中是否存在相同的塊)，并且將非重復塊存儲在本地緩存器231中。而且，當從中央控制裝置100接收到塊標識符時，控制器220向客戶端20提供存儲在本地緩存器231中的內容分組的對應塊。此處，所發送的塊能夠構成要從內容服務器10向客戶端20發送的分組，并且能夠被發送。
[0071]流管理器221以流為單位標識經由通信器210從中央控制裝置100接收到的內容分組，并且將關于所標識的流的信息存儲在流管理數據庫232中。
[0072]另外，流管理器221對經由通信器210從中央控制裝置100接收到的內容分組執行塊重復檢查。具體地，流管理器221檢查用于內容分組的所標識的流是否是重復去除目標流。當用于內容分組的所標識的流不是重復去除目標流時，流管理器221將通過分割用于接收到的內容分組的流的所緩沖的有效載荷所獲得的塊存儲在本地緩存器231中，并且針對所發送的下一內容分組進行重復檢查。當所標識的流是重復去除目標流時，流管理器221將所標識的流傳送至有效載荷緩沖和分割單元222，并且執行重復去除處理。此處，考慮到具體傳輸協議(TCP等)、通過對應協議傳輸的應用協議類型(文件傳輸協議(FTP)、端對端(P2P)，超文本傳輸協議(HTTP)等)以及傳輸數據的類型(圖像/運動圖片/等的介質內容、文獻文件、二進制文件、更新文件等)，流管理器221能夠確定塊是否是重復。當對應流的塊已經存儲在本地緩存器231中時，流管理器221假定通過對應流傳輸的其它內容的塊已經存儲在本地緩存器231中，并且將重復內容的塊標識符和流信息(流的內容)傳送至控制消息管理器225，使得向中央控制裝置100發送塊標識符和流信息傳輸。
[0073]此外，流管理器221將本地緩存器231中從中央控制裝置100通過控制消息管理器225接收到的塊標識符傳送至塊重復管理器224，從塊重復管理器224接收塊標識符一致的檢查結果以生成要向中央控制裝置100發送的結果信息，并且傳送生成的結果信息至控制消息管理器225。當一致檢查結果指示塊標識符彼此一致時，流管理器221不向中央控制裝置100發送結果信息，而是將存儲在本地緩存器231中的對應于塊標識符的內容分組傳送至通信器210，以將向客戶端20發送內容分組。另一方面，當塊標識符彼此不一致時，流管理器221傳送指示未存儲一致的塊標識符的結果信息至控制消息管理器225，并且使控制消息管理器225請求針對從中央控制裝置100接收到的塊標識符的內容分組。
[0074]有效載荷緩沖和分割單元222緩沖用于從流管理器221傳送的內容分組的流的有效載荷，并且將所緩沖的有效載荷分割成塊，并且傳送分割塊至塊緩存單元223。稍后將詳細描述將有效載荷分割成塊的這種方法。
[0075]塊緩存單元223將分割塊存儲在存儲器230的本地緩存器231中，以使向客戶端20發送的內容分組與由內容服務器10傳輸的內容一致。
[0076]塊重復管理器224管理由塊緩存單元223分割的塊是否存儲在本地緩存器231中。具體地，塊重復管理器224檢查每個分割塊是否已經存儲在本地緩存器231中，并且當存在存儲的重復塊時，向流管理器221發送關于重復塊的信息。另外，塊重復管理器224檢查從中央控制裝置100接收到的塊標識符是否存儲在本地緩存器231中，并且向流管理器221發送指示是否存儲了一致的塊標識符的檢查結果。
[0077]控制消息管理器225管理要監測內容分組的重復所必要的信息，并且管理與中央控制裝置100交換的控制消息。具體地，控制消息管理器225將從流管理器221接收到的塊標識符和流信息(流內容)包括在控制消息中，經由通信器210向中央控制裝置100發送該控制消息。而且，控制消息管理器225接收控制消息，該控制消息包括經由通信器210來自中央控制裝置100的重復內容分組的塊標識符和流信息(流內容)，并且控制消息管理器225傳送控制消息中的塊標識符和流信息至流管理器221。控制消息管理器225經由通信器210向中央控制裝置100發送內容請求消息，內容請求消息包括塊標識符檢查結果信息也即指示沒有一致的塊標識符存儲在本地緩存器231中的信息，以及包括用于內容請求的信息。
[0078]存儲器230將內容的經分割的塊連同塊的標識符以數據庫形式存儲在本地緩存器231中，在數據庫中考慮了系統的特性(內存容量、服務器速度、要存儲的塊的總數量等)。而且，存儲器230存儲了關于向客戶端20發送的內容分組的流信息以及關于重復去除目標流的登記信息和管理信息。
[0079]最后，本地緩存狀態管理器240監測存儲器230的本地緩存器231的狀態，并且根據監測結果來控制維護。
[0080]上述中央控制裝置100的存儲器130和本地緩存裝置200的存儲器230能夠根據塊的特性將塊存儲于隨機存取存儲器(RAM)、永久存儲器以及其它形式的各種存儲器中，并且能夠根據塊的大小和使用頻率來配置存儲器。存儲器130或者230包括:磁性介質(Magnetic Media),諸如硬盤、軟盤和磁帶；光學介質(Optical Media),諸如只讀光盤存儲器(CD-ROM(Compact Disk Read Only Memory))和數字視頻光盤(DVD,Digital Video Disk)；磁光介質，諸如軟式光盤、ROM、RAM (Random Access Memory)和閃存。
[0081]作為一個示例，假定最近查找的塊具有高使用頻率并且將被存儲在RAM中，從RAM能夠快速讀取該塊，而預測具有低使用頻率的塊能夠存儲在輔助盤中。因此，參照圖6所示的用于管理塊的數據庫的示例，塊內容數據庫(盤(硬盤驅動器(HDD))、固態硬盤(SDD)等)能夠管理塊標識符和塊內容，并且可被快速查找的RAM能夠應用至塊索引數據庫以記錄塊標識符和對應塊在盤上記錄的位置。而且，最普遍使用的內容不是存儲在盤中而是額外地存儲在塊內容數據庫(RAM)中，使得能夠提供快速服務。
[0082]存儲器130或者230的數據庫能夠采用數據結構，諸如哈希表和布隆過濾，并且為了管理關于大量塊的標識信息，其能夠采用根據假正性的公知的或未來發展的各種結構。
[0083]在上述本發明 實施方式中，本地緩存裝置200對向客戶端20發送的一些內容分組執行重復檢查，而在本發明另一實施方式中，中央控制裝置100能夠對接收到的內容分組執行重復檢查。將參照附圖描述根據本發明另一實施方式的內容傳輸系統中的中央控制裝置和本地緩存裝置的構造。
[0084]圖4是示出了根據本發明另一實施方式的內容傳輸系統中的中央控制裝置的構造的框圖。
[0085]參照圖4，根據本發明另一實施方式的中央控制裝置300可包括:通信器310 ;控制器320 ;包括臨時本地緩存器331和流管理數據庫332的存儲器330 ;以及本地緩存狀態管理器340。當向本地緩存裝置400發送從內容服務器10接收到的內容分組時，中央控制裝置300通過對重復的監測來檢查內容分組，從而檢查塊是否是重復。
[0086]中央控制裝置300的通信器310、存儲器330和本地緩存狀態管理器340的詳細描述分別與根據本發明實施方式的中央控制裝置100的通信器110、存儲器130和本地緩存狀態管理器140的描述相同，因而為方便起見省略對它們的描述。
[0087]此處，控制器320可包括流管理器321、有效載荷緩沖和分割單元322、塊重復管理器323和控制消息管理器324。
[0088]當經由通信器310向本地緩存裝置400發送從內容服務器10接收到的內容分組時，控制器320檢查一些內容分組，從而確定內容分組是否是重復。此時，以流為單位標識內容分組，并且通過檢查所緩沖的流來確定內容分組是否是重復。當內容分組不是重復去除目標流時，控制器320存儲通過分割所緩沖的流的有效載荷而獲得的塊，并且向本地緩存裝置400按原樣發送該內容分組。在另一方面，當內容分組是重復去除目標流時，控制器320不發送重復內容分組，而是向本地緩存裝置400發送重復內容分組的塊標識符和流信息(流的內容)。隨后，當連續接收到相同內容的內容分組時，控制器320緩沖接收到的內容分組的流的有效載荷，將所緩沖的有效載荷分割成塊單元，臨時存儲分割塊連同塊標識符，并且不發送重復內容分組而是向本地緩存裝置400僅發送塊標識符和流信息。
[0089]流管理器321和有效載荷緩沖和分割單元322與根據本發明實施方式的中央控制裝置100的流管理器121和有效載荷緩沖和分割單元122相同，因而為方便起見省略對它們的描述。但是，因為中央控制裝置300執行塊重復檢查，所以流管理器321根據塊重復檢查來執行流管理，并且有效載荷緩沖和分割單元322生成用于分割塊的塊標識符并且向流管理器321發送所生成的塊標識符。
[0090]塊重復管理器323管理當前接收到且將被傳輸至客戶端20的塊是否存儲在臨時本地緩存器331中。使用從流管理器321接收到的用于分割塊的塊標識符，塊重復管理器323檢查是否已經存儲了分割塊，以及當存在先前存儲的重復塊時，向流管理器321發送關于重復塊的信息。而且，當發送從流管理器321連續接收到的相同內容分組的塊時，塊重復管理器323檢查針對該塊的塊標識符是否存儲在臨時本地緩存器331中，并且向流管理器221指示是否存儲了一致的塊標識符的檢查結果。
[0091]控制消息管理器324管理要監測內容分組的重復所必要的信息，管理與本地緩存裝置400交換的控制消息，通過向本地緩存裝置400發送塊標識符使本地緩存裝置400檢查塊標識符是否一致。具體地，控制消息管理器324將從流管理器321接收到的重復內容分組的塊標識符和流信息(流內容)包括在控制消息中，并且經由通信器310向本地緩存裝置400發送控制消息。而且，控制消息管理器324接收內容請求消息，該內容請求消息包括關于塊標識符的一致檢查的結果信息(不存在一致的塊標識符)以及來自本地緩存裝置400的內容分組請求信息，并且向流管理器321發送結果信息和內容分組請求信息。
[0092]接下來，圖5是 示出根據本發明另一實施方式的內容傳輸系統中的本地緩存裝置的構造的框圖。
[0093]參照圖5，根據本發明另一實施方式的本地緩存裝置400可包括:通信器410 ;控制器420 ;包括本地緩存器431和流管理數據庫432的存儲器430 ；以及本地緩存狀態管理器440。本地緩存裝置400向客戶端20發送從中央控制裝置300接收到的內容分組，并且使用根據中央控制裝置300的重復檢查發送的塊標識符來向客戶端20發送存儲在其中的對應內容分組。
[0094]本地緩存裝置400的通信器410、存儲器430和本地緩存狀態管理器440的詳細描述分別與根據本發明實施方式的中央控制裝置200的通信器210、存儲器230和本地緩存狀態管理器240的描述相同，因而為方便起見省略對它們的描述。
[0095]此處，控制器420可包括流管理器421、有效載荷緩沖和分割單元422、塊緩存單元423和控制消息管理器424。
[0096]控制器420向客戶端20發送經由通信器410從中央控制裝置300接收到的內容分組。當從中央控制裝置300接收到根據重復檢查的塊標識符和流信息(流內容)時，控制器420將接收到的流信息登記在存儲器430中。當已經存儲了與從中央控制裝置300接收到的塊標識符一致的塊標識符時，控制器420向客戶端20發送存儲在存儲器430的本地緩存器431中的對應于塊標識符的內容分組。
[0097]有效載荷緩沖和分割單元422、塊緩存單元423和控制消息管理器424與根據本發明實施方式的有效載荷緩沖和分割單元222、塊緩存單元223和控制消息管理器225相同，因而為方便起見省略對它們的描述。
[0098]此處，流管理器421以流為單位標識經由通信器410從中央控制裝置300接收到的內容分組，緩沖所標識的流的有效載荷，將所緩沖的流分割成塊單元，將分割塊連同塊標識符存儲在本地緩存器431中，并且向客戶端20發送接收到的內容分組或者與存儲的塊標識符對應的內容分組經由通信器410。
[0099]另外，當接收到由中央控制裝置300檢查為重復的塊標識符和流信息時，流管理器421將接收到的塊標識符和流信息登記在存儲器430中，向塊緩存單元423發送接收到的塊標識符，并且向通信器410發送與由塊緩存單元423檢查的塊對應的內容分組，以向客戶端發送該內容分組。控制消息管理器424從中央控制裝置300接收包括塊標識符和流信息的控制消息，將向流管理器421發送塊標識符和流信息，接收包括從中央控制裝置300連續接收到的相同分組的塊標識符和流信息的控制消息，并且向流管理器421發送塊標識符。而且，控制消息管理器424從流管理器421接收通過對與接收到的塊標識符一致的塊標識符是否已經存儲在本地緩存器431中的檢查而所獲得的結果信息(不存在一致的結果信息)，并且向中央控制裝置300發送包括結果信息和內容分組請求信息的內容請求信息。
[0100]將參照附圖詳細描述優化上述構造的內容傳輸系統中網絡流量的方法。
[0101]首先，將描述根據本發明實施方式的用于優化中央控制裝置100和本地緩存裝置200之間的重復網絡傳輸流量的協議，也即消息傳輸和接收過程。
[0102]圖7是例示出根據本發明實施方式的優化內容傳輸系統中的重復網絡傳輸流量的方法的流程圖。
[0103]參照圖7，在步驟1101，當從內容服務器10接收到內容分組時，中央控制裝置100向本地緩存裝置200發送所接收到的內容分組。然后，本地緩存裝置200向客戶端20發送內容分組。此處，從內容服務器10發送的內容分組是從內容服務器10向客戶端20發送的內容分組。中央控制裝置100和本地緩存裝置200接收并且向客戶端20發送內容分組。此時，中央控制裝置100和本地緩存裝置200能夠以鏡像方案接收從內容服務器10向客戶端20發送的內容分組。
[0104]在該操作期間，在步驟1102，本地緩存裝置200對發送的內容分組執行塊重復檢查。此時，以流為單位標識所發送的內容分組，所標識流的有效載荷被緩沖和分割成塊，并且生成塊標識符。因此，通過使用生成的塊標識符，本地緩存裝置200以塊為單位檢查發送的內容分組是否是重復。
[0105] 例如，本地緩存裝置200通過比較客戶端20發送的內容分組之中的一些接收到的內容分組與存儲的內容分組，來檢查內容是否是重復，并且根據內容是否是重復來執行重復去除處理。換句話說，當在步驟1102執行塊重復檢查時，本地緩存裝置200檢查每個流的初始η個字節以確定用于流的重復去除處理的“開始”。當與初始η個字節對應的內容分組存在于本地緩存裝置200中時，本地緩存裝置200確定之后接收到的數據極有可能要經受重復去除，并且開始重復去除處理。此時，生成用于中央控制裝置100中的重復檢查的簽名(哈希值)會引起高的中央處理單元(CPU)載荷。在數據確定為不是重復或者具有小的內容大小的情況下，極有可能由于生成簽名引起的載荷而不是由于重復去除的影響使得性能惡化。因此，在步驟1102，本地緩存裝置200從中央控制裝置100接收初始η個字節(例如，大約IK至大約32Κ)的數據(內容)，并且僅當其中存在流的初始η個字節時執行重復去除處理。另一方面，當其中不存在初始η個字節時，本地緩存裝置200連續地向客戶端20按原樣發送從中央控制裝置100接收到的內容分組。
[0106]當在接收到的內容分組之中檢查到重復塊時，在步驟1103，本地緩存裝置200向中央控制裝置100發送包括對應內容的塊標識符和流信息(流的內容)的控制消息。然后，中央控制裝置100將接收到的控制消息中包括的塊標識符和流信息(流的內容)登記在流管理數據庫132中。此處，流內容可包括作為流標識信息的例如源IP、目的地IP、源端口、目的地端口、協議、有效載荷長度、序列號碼、內容類型等。當不存在用于內容分組的重復塊時，該內容分組是新傳輸的內容分組，因而本地緩存裝置200將所發送的內容分組的分割塊連同塊標識符存儲在本地緩存器231中。
[0107]在步驟1104，當從客戶端20接收到對發送的內容分組的響應消息時，本地緩存裝置200向中央控制裝置100按原樣發送響應消息。然后，在步驟1104，中央控制裝置100向內容服務器10按原樣發送接收到的響應消息。
[0108]隨后，在步驟1105，當從內容服務器10連續接收到相同內容的內容分組時，中央控制裝置100以流為單位標識接收到的內容分組，并且使用先前登記的流信息來檢查流是否是重復去除目標流。當檢查結果指示內容分組的流是重復去除目標流時，中央控制裝置100緩沖重復去除目標流的有效載荷，將所緩沖的有效載荷分割成塊單元，并且將分割塊連同塊標識符臨時存儲在臨時本地緩存器131中。
[0109]隨后，在步驟1106，中央控制裝置100將分割塊的塊標識符(例如，如圖8所示的塊標識符I (F8K4F))包括在控制消息(發送F8K4F塊)中，并且向本地緩存裝置200發送該控制消息。此時，流信息(流內容)被包括在控制消息中并一起傳輸。 [0110]在步驟1107，本地緩存裝置200接收控制消息，并且檢查控制消息中包括的塊標識符是否已經存儲在存儲器230中。當檢查結果指示與接收到的塊標識符一致的塊標識符未被存儲時，在步驟1108，本地緩存裝置200向中央控制裝置100發送包括檢查結果信息的內容分組請求消息。因為結果信息僅包括指示與接收到的塊標識符一致的塊標識符未被存儲的信息，所以本地緩存裝置200從中央控制裝置100請求對應內容分組。然后，在步驟1109，本地緩存裝置200從中央控制裝置100以塊為單位接收所請求的內容分組，將接收到的內容分組存儲在存儲器230中，并且向客戶端發送接收到的內容分組。
[0111]當步驟1107檢查出與接收到的塊標識符一致的塊標識符已經存儲時，在步驟1110，本地緩存裝置200從存儲器230讀取對應于塊標識符的內容分組，并且使用協議代理服務器向客戶端20發送對應內容分組。
[0112]隨后，在步驟1111，本地緩存裝置200從客戶端20接收發送內容分組的響應消息，并且經由中央控制裝置100向內容服務器10發送接收到的響應消息。
[0113]當通過該處理完全完成所提供內容的傳輸時，在步驟1120，中央控制裝置100和本地緩存裝置200執行用于對應流的控制消息結束處理。而且，中央控制裝置100連同內容服務器10通過協議代理服務器執行傳輸協議結束處理，本地緩存裝置200連同客戶端20通過協議代理服務器執行傳輸協議結束處理。
[0114]在該協議過程中，在內容服務器10和中央控制裝置100之間以及客戶端20和本地緩存裝置200之間能夠通過例如TCP連接來交換內容分組。
[0115]圖8是例示出根據本發明實施方式的內容傳輸系統中執行的基于TCP的重復去除處理的示例的流程圖。
[0116]在圖8，內容服務器AlO和中央控制裝置100通過TCP連接，本地緩存裝置200和客戶端D20通過TCP連接。從而，中央控制裝置100和本地緩存裝置200交換重復去除控制消息。
[0117]參照圖8，在步驟1201，中央控制裝置100從內容服務器AlO接收要向客戶端D20發送的第一內容分組消息(src:A,Dst:D,DataContents (數據內容)I, lenl024)和第二內容分組消息(src:A，Dst:D，數據內容2，lenl024)。此時，中央控制裝置100以流為單位標識接收到的內容分組，并且將接收到的內容分組分割成塊。然后，在步驟1202，中央控制裝置100將分割塊的標識符(標識符ID:F8K4F)(標記為a)連同流信息包括在控制消息中，并且向本地緩存裝置200發送該控制消息，分割塊例如塊I (數據1:1至1024，數據2:1025至 2048)。
[0118]然后，在步驟1203，本地緩存裝置200檢查與包括在接收到的控制消息中的塊I的標識符信息(標識符ID:F8K4F) 一致的標識符信息是否存儲在本地緩存器231的數據庫b中。當檢查結果指示未存儲對應于標識符信息的塊標識符時，在步驟1204，本地緩存裝置200向中央控制裝置100發送包括結果信息(0K，我沒有F8K4F塊)的內容分組請求消息。在步驟1205，本地緩存裝置200從中央控制裝置100接收對應的內容分組。
[0119]當在步驟1203檢查出已經存儲了對應于標識符信息的塊標識符時，在步驟1206，本地緩存裝置200向客戶端D20發送存儲在數據庫b中的塊I的對應于標識符信息(標識符ID:F8K4F)的第一內容分組消息(src:A, Dst:D，數據內容1，lenl024)和第二內容分組消息(src:A,Dst:D，數據內容2，lenl024)，接收關于從客戶端D20傳輸的內容分組的響應消息(src:d,Dst:A, Ackl025)和 響應消息(src:d,Dst:A, Ack2049),并且經由中央控制裝置100向內容服務器10發送傳送響應消息。
[0120]甚至在步驟1205當接收到對應內容分組時，本地緩存裝置200向客戶端D20發送接收到的內容分組，如同在步驟1206。
[0121]參照以上描述的用于監測重復內容傳輸的協議運行過程以及附圖，將詳細描述在中央控制裝置100和本地緩存裝置200中的每個中優化重復網絡傳輸流量的方法。
[0122]首先，將描述在中央控制裝置100中優化重復網絡傳輸流量的方法。
[0123]圖9是例示了根據本發明實施方式的在中央控制裝置中優化網絡流量的方法的流程圖。
[0124]參照圖9，在步驟1301，中央控制裝置100從內容服務器10接收內容分組。此時，中央控制裝置100以流為單位標識接收到的內容分組，并且緩沖所標識流的有效載荷。在步驟1302，中央控制裝置100檢查是否從本地緩存裝置200接收到塊標識符。當檢查結果指示未接收到塊標識符或者不存在登記的塊標識符時，在步驟1303，中央控制裝置100按原樣向本地緩存裝置200發送所緩沖的流的內容分組。隨后，在步驟1304，中央控制裝置100從本地緩存裝置200接收響應消息，并且在步驟1305，向內容服務器10發送接收到的響應消息。
[0125]在另一方面，當接收到塊標識符時，在步驟1306，中央控制裝置100將接收到的塊標識符連同接收到的流信息作為重復去除目標登記在存儲器230中。此時，中央控制裝置100將通過分割所緩沖的有效載荷而獲得的塊連同塊標識符臨時存儲在臨時本地緩存器131 中。
[0126]隨后，在步驟1307，中央控制裝置100連續接收用于相同內容的內容分組，并且如圖8的上述示例那樣，執行用于接收到的內容分組的重復去除處理。具體地，在步驟1308，中央控制裝置100以流為單位標識接收到的內容分組，并且緩沖所標識的流的有效載荷。在步驟1309，中央控制裝置100將所緩沖的有效載荷分割成塊單元，并且將分割塊連同塊標識符臨時存儲在臨時本地緩存器131中。在這之后，在步驟1310，中央控制裝置100向至本地緩存裝置200發送包括接收到的內容分組的塊標識符和流信息的控制消息。然后，本地緩存裝置200使用塊標識符檢查塊的一致，并且根據檢查結果來發送包括結果信息的內容分組請求消息。
[0127]然后，在步驟1311，中央控制裝置100檢查從本地緩存裝置200是否接收到內容分組請求。當檢查結果指示不存在內容分組請求時，處理進行到步驟1313，當存在內容分組請求時，在步驟1312，中央控制裝置100向本地緩存裝置200發送請求的內容分組。
[0128]隨后，在步驟1313，中央控制裝置100從本地緩存裝置200接收對所發送的內容分組的響應消息。在步驟1314，中央控制裝置100傳送接收到的響應消息至內容服務器10。
[0129]在步驟1315，中央控制裝置100檢查是否執行結束處理。當中央控制裝置100未執行結束處理時，處理返回步驟1301，并且中央控制裝置100重復后續步驟。當中央控制裝置100執行結束處理時，中央控制裝置100連同內容服務器10執行結束協議過程，并且連同本地緩存裝置200執行控制消息結束處理。
[0130]接下來，將描述在本地緩存裝置200中優化重復網絡傳輸流量的方法。
[0131]圖10是例示出根據本發明實施方式的在本地緩存裝置200中優化重復網絡傳輸流量的方法流程圖。
[0132]參照圖10，在步驟1401，本地緩存裝置200經由中央控制裝置100接收由內容服務器10提供的內容分組。
[0133]隨后，本地緩存裝置200執行用于監測內容重復的重復去除處理。
[0134]然后，在步驟1402，本地緩存裝置200以流為單位標識接收到的內容分組，并且過濾所標識的流。此處，對流執行過濾是為了在稍后無需執行額外處理的情況下將不需要重復去除的流(例如，已經加密或者極不可能經受重復去除的流)直接傳輸至客戶端20。
[0135]在步驟1403，本地緩存裝置200緩沖所標識的流的有效載荷，并且將所緩沖的有效載荷分割成塊單元。然后，在步驟1404，本地緩存裝置200生成塊標識信息。
[0136]在步驟1405，本地緩存裝置200通過比較生成的塊標識信息和存儲在本地緩存器231中的關于塊的標識信息來檢查塊是否是重復。將參照圖14a至圖14c描述該重復檢查處理。
[0137]具體地，如圖14a所示，本地緩存裝置200將分割塊I (例如，SHAl (Cl)=e72blcd7d7b8ca00 dae00a72 743f2dc0 fa985b62)轉換為哈希轉換值(hi (cl) = 728279576000 26994752 54768)，以及將轉換值添加到本地緩存器231中的塊索引數據庫的索引及比特字段中。
[0138]以該方式，將能夠標識塊的索引存儲在本地緩存器231的塊索引數據庫中，并且能夠根據這些索引的比特字段值確定塊是否是重復。例如，參照圖14b，因為針對塊的轉換值的所有比特字段值為真(1)，所以和操作的結果是真，并且確定存在重復塊。參照圖14c，因為在用于塊的轉換值的比特字段值中包括假(O)，所以對所有比特字段值的和操作的結果是假，并且能夠確定出存在重復塊。
[0139]因此，當在步驟1405檢查出分割塊不是重復時，在步驟1406，本地緩存裝置200將分割塊在存儲(緩存)本地緩存器231中。然后，處理進行到步驟1412，其中，本地緩存裝置200向客戶端20發送內容分組。
[0140]同時，當在步驟1405檢查出分割塊是重復時，在步驟1407，本地緩存裝置200將塊標識符和流信息(流內容)包括在控制消息中，并且向中央控制裝置100發送該控制消息。
[0141]隨后，在步驟1408，本地緩存裝置200檢查從中央控制裝置100是否接收到塊標識信息。當接收到塊標識信息時，在步驟1409，本地緩存裝置200檢查接收到的塊標識信息與先前存儲在本地緩存器231中的塊標識信息是否一致。這能夠以與根據圖14b和圖14c示出的示例進行的步驟1405的塊重復檢查相同的方式執行。
[0142]當檢查結果指示不存在對應于標識符信息的塊標識符時，在步驟1410，本地緩存裝置200向中央控制裝置100發送內容分組請求消息，該內容分組請求消息包括檢查結果信息(未存儲一致的塊標識符)和內容分組請求信息。然后，在步驟1411，本地緩存裝置200從中央控制裝置接收所請求的內容分組100。另一方面，當存在對應于標識符信息的塊標識符時，處理進行到步驟1412。
[0143]然后，在步驟1412，本地緩存裝置200向客戶端20發送與接收到的塊標識信息對應的塊的內容分組塊。在步驟1413，本地緩存裝置200從客戶端20接收響應消息。此時，在步驟1414，本地緩存裝置200經由中央控制裝置100將接收到的響應消息傳送至內容服務器10。
[0144]在步驟1415，本地緩存裝置200檢查是否執行結束處理。當本地緩存裝置200不執行結束處理時，處理返回步驟1408，并且本地緩存裝置200重復后續步驟。當本地緩存裝置200執行結束處理時，本地緩存裝置200連同客戶端20執行結束協議過程，并且連同中央控制裝置100執行控制消息結束處理。
[0145]接下來，將描述根據本發明另一實施方式的用于優化中央控制裝置300和本地緩存裝置400之間的網絡流量的協議，也即消息傳輸及接收過程。
[0146]圖11是例示出根據本發明另一實施方式的在內容傳輸系統中優化網絡流量的方法的流程圖。
[0147]參照圖11，在步驟1501，中央控制裝置300從內容服務器10接收內容分組。此時，中央控制裝置300以流為單位標識接收到的內容分組，將所緩沖的所標識流的有效載荷分割成塊，并且將分割塊連同塊標識符存儲在臨時本地緩存器331中。
[0148]在步驟1502，中央控制裝置300檢查內容分組的塊是否是重復。雖然圖11未示出，但是當檢查結果指示內容分組不是重復時，中央控制裝置300傳送接收到的內容分組至本地緩存裝置400，正如本來的那樣，通過本地緩存裝置400接收對所發送的內容分組的響應，并且向內容服務器10發送接收到的響應。此時，本地緩存裝置400以流為單位標識接收到的內容分組，將所緩沖的所標識流的有效載荷分割成塊，并且將分割塊連同生成的標識符存儲在本地緩存器431中。
[0149]另一方面，當在步驟1502檢查出存在內容分組的重復塊時，在步驟1503，中央控制裝置300將檢查為重復的內容分組的塊標識符和流信息(流內容)包括在控制消息中，并且向本地緩存裝置400發送控制消息。
[0150]然后，在步驟1504，本地緩存裝置400接收塊標識符，并且檢查接收到的塊標識符是否已經存儲在其本地緩存器431的數據庫中。當檢查結果指示未存儲接收到的塊標識符時，在步驟1505，本地緩存裝置400向至中央控制裝置300發送包括內容分組請求信息的內容分組請求消息連同指示塊標識符未存儲的結果信息，并且在步驟1506，本地緩存裝置400從中央控制裝置300接收所請求的內容分組。所接收到的內容分組被存儲在本地緩存裝置400的本地緩存器431中。
[0151]在上述處理中，當已經存儲了塊標識符時，在步驟1507，本地緩存裝置400從本地緩存器431提取對應于該塊標識符的內容分組，并且向客戶端20發送所提取的內容分組。
[0152]隨后，在步驟1508，本地緩存裝置400在從客戶端20接收到內容分組時接收響應消息，并且經由中央控制裝置300向內容服務器10發送接收到的響應消息。
[0153]當通過該處理完全完成所提供內容的發送時，在步驟1520，中央控制裝置300和本地緩存裝置400執行針對對應流的控制消息結束處理。而且，中央控制裝置300連同內容服務器10通過協議代理服務器執行傳輸協議結束處理，本地緩存裝置400連同客戶端20通過協議代理服務器執行傳輸協議結束處理。
[0154]參照以上描述的用于監測重復內容傳輸的協議運行過程以及附圖，將詳細描述在中央控制裝置300和本地緩存裝置400中的每個中優化重復網絡傳輸流量的方法。
[0155]圖12是例示了根據本發明另一實施方式的在中央控制裝置中優化網絡流量的方法的流程圖。 [0156]在步驟1601，中央控制裝置300從內容服務器10接收內容分組。此時，中央控制裝置300以流為單位標識接收到的內容分組，緩沖所標識的流的有效載荷，將有效載荷分割成塊單元，并且將分割塊連同塊標識符存儲在臨時本地緩存器331中。
[0157]然后，在步驟1602，中央控制裝置300檢查接收到的內容分組是否是重復，也即執
行塊重復檢查。
[0158]當檢查結果指示內容分組不是重復時，在步驟1603，中央控制裝置300向本地緩存裝置400發送接收到的內容分組。然后，在步驟1604和1605，中央控制裝置300從本地緩存裝置400接收對所發送的內容分組的響應消息，并且傳送接收到的響應消息至內容服務器10。
[0159]在另一方面，當在步驟1602檢查出內容分組是重復時，在步驟1606，中央控制裝置300向本地緩存裝置400發送重復內容分組的塊標識符和流信息。
[0160]隨后，當在步驟1607連續接收到相同內容的內容分組時，在步驟1608，中央控制裝置300以流為單位標識接收到的內容分組，緩沖所標識流的有效載荷，并且將所緩沖的有效載荷分割成塊單元。在步驟1609，中央控制裝置300生成針對分割塊的塊標識符，并且將分割塊連同所生成的塊標識符存儲在臨時本地緩存器331的對應數據庫中。
[0161]在這之后，在步驟1610，中央控制裝置300將塊標識符和流信息包括在控制消息中，并且向本地緩存裝置400發送該控制消息。隨后，在步驟1611，中央控制裝置300檢查從本地緩存裝置400是否接收到內容分組請求消息，該內容分組請求消息包括關于塊標識符一致的檢查的結果信息(未存儲塊標識符)。
[0162]當檢查結果指示不存在內容分組請求時，處理進行到步驟1613。當存在內容分組請求時，在步驟1612，中央控制裝置300向本地緩存裝置400發送所請求的內容分組。
[0163]在步驟1613，中央控制裝置300接收關于從本地緩存裝置400向客戶端20發送的內容分組的響應消息，并且在步驟1614，傳送接收到的響應消息至內容服務器10。
[0164]在步驟1615，中央控制裝置300檢查是否執行結束處理，并且執行結束處理或者重復從步驟1601開始的上述處理。
[0165]接下來，將描述在本地緩存裝置400中優化網絡流量的方法。
[0166]圖13是例示了根據本發明另一實施方式的在本地緩存裝置中優化網絡流量的方法的流程圖。
[0167]在本發明的其它實施方式中，由內容服務器10提供的內容分組在向客戶端20發送之前被中央控制裝置300針對重復進行檢查。此時，通過圖13例示的處理向客戶端20提供被檢查為重復的內容分組，并且從中央控制裝置300向本地緩存裝置400按原樣提供被檢查為非重復的內容分組，并且向客戶端20提供。此時，中央控制裝置300和本地緩存裝置400以流為單位標識接收到的內容分組，緩沖所標識的流的有效載荷，將所緩沖的有效載荷分割成塊，并且將分割塊連同塊標識符存儲。
[0168]參照圖13，在步驟1701，本地緩存裝置400檢查是否已經從中央控制裝置300接收到塊標識符。當檢查結果指示未接收到塊標識符時，本地緩存裝置400保持等待以接收塊標識符。當接收到包括塊標識符和流信息的控制消息時，在步驟1702，本地緩存裝置400將接收到的塊標識符和流信息(流內容)登記在存儲器430中。
[0169] 在步驟1703，本地緩存裝置400檢查接收到的塊標識符與先前存儲的塊標識符是否一致。換句話說，本地緩存裝置400檢查是否已經存儲了接收到的塊標識符。當檢查結果指示未存儲與接收到的塊標識符一致的塊標識符時，在步驟1704，本地緩存裝置400從中央控制裝置300請求對應內容分組。此時，本地緩存裝置400向中央控制裝置300發送內容分組請求消息，該內容分組請求消息包括結果信息(未存儲塊標識符)和對應的內容分組請求信息。然后，在步驟1705，本地緩存裝置400從中央控制裝置300接收所請求的內容分組，并且在步驟1706，向客戶端20發送接收到的內容分組。此時，所傳送的內容分組是非重復的內容分組，并且針對接收到的內容分組的分割塊連同標識信息被存儲。
[0170]在另一方面，當在步驟1703檢查出已經存儲與接收到的塊標識符一致的塊標識符時，在步驟1706，本地緩存裝置400向客戶端20發送與存儲的塊標識符對應的內容分組。
[0171]在步驟1707，本地緩存裝置400從客戶端20接收關于所發送的內容分組的響應消息，并且在步驟1708，經由中央控制裝置300傳送響應消息至內容服務器10。
[0172]隨后，在步驟1709，本地緩存裝置400檢查是否執行結束處理。當本地緩存裝置400執行結束處理時，本地緩存裝置400與中央控制裝置300結束處理，否則處理返回步驟1701。
[0173]將詳細描述根據本發明實施方式的優化網絡流量的上述方法中的重復去除處理。將根據塊分割方法分別描述重復去除處理的兩個實施方式。但是，在本發明中，還能夠使用除了這些實施方式之外的各種塊分割方法執行重復去除處理。
[0174]首先，將參照圖15a和圖15b詳細描述用于將所緩沖的有效載荷分割成固定大小的塊的處理。該重復去除處理可由中央控制裝置100和本地緩存裝置200執行。在本發明的實施方式中，將描述作為示例的由本地緩存裝置200執行的重復去除處理，并且相同的處理也能夠由中央控制裝置100執行。
[0175]參照圖15a和圖15b，當接收到內容分組時，本地緩存裝置200以流為單位標識內容分組。此時，傳送的內容分組在被傳送的同時改變順序，因而本地緩存裝置200緩沖該流。具體地，本地緩存裝置200重新排列如圖15a的(a)所示的內容分組的有效載荷，并且去除不必要的IP及TCP頭部，并且僅合并圖15a中的(b)所示的內容。在這之后，本地緩存裝置200從合并的內容中去除內容的無意義的元數據或者應用協議中要使用的控制消息，并且僅留下有意義的內容。另選地，這些不必要的消息能夠在合并之前的步驟中被去除。元數據的類型能夠根據應用協議而變化。在通過HTTP傳送視頻內容的情況下，應該去除可包括唯一客戶端數據的HTTP頭部。在P2P的情況下，也能夠從緩存目標排除P2P應用中使用的控制消息。
[0176]當以該方式合并及緩沖了足夠的數據片時，本地緩存裝置200將所緩沖的內容再次分割成有意義的塊，如圖15b的(d)所示，并且如圖15b的(e)所示將每個塊連同其唯一標識符存儲于數據庫中。此處，為了獲得唯一標識符，能夠對塊的有效載荷使用已知的哈希函數，諸如MD5或者SHA1。僅塊的標識信息(唯一的標識符)能夠標識塊的內容，并且可被設計為具有短的長度，進行比較不需要很大成本，使得在不比較塊的整個內容的情況下就可以檢查出是否存在一致的塊。可使用已知的哈希函數，例如，MD5或者SHA1。
[0177]除了該實施方式，根據塊方法、塊大小或者內容的特性能夠確定將內容分割成塊單元的方法。能夠使用各種方法，例如，根據內容的特性將內容分割成有意義內容單元的方法，已知的作為通過抓取內容來有意義地查找重復的拉賓(Rabin)指紋法，或者使用其它方法。
[0178]例如，在另一實 施方式中，通過使用拉賓(Rabin)指紋函數抓取內容，能夠將內容分割成可變大小的塊，如圖16a和圖16b所示。此處，圖16b是使用拉賓(Rabin)指紋法來分塊的示例，其中(a)示出了原始數據，(b)示出了在數據的前端插入的情況，(C)是在數據的后端插入的情況。
[0179]根據本發明的優化網絡流量的方法能夠以軟件形式實現，該軟件可被各種計算器件并且記錄在計算機可讀記錄介質中。此處，記錄介質能夠單獨地包括程序指令、數據文件、數據結構等。或者包括它們的組合。記錄介質中記錄的程序指令可以是專門設計的且構造成用于本發明的程序指令，或者是本領域普通技術人員已知能夠使用的程序指令。記錄介質的示例包括:磁介質(Magnetic Media),諸如硬盤、軟盤和磁帶；光學介質，諸如 CD-ROM (Compact Disk Read Only Memory)和 DVD (Digital Video Disk);磁光介質(Magneto-Optical Media),諸如軟式光盤(Optical Media);以及專門構造成存儲及實施程序指令的硬件裝置，諸如ROM、RAM (Random Access Memory)和閃存。程序指令的示例不僅包括編譯程序生成的機器語言代碼，而且包括計算機使用解釋器等執行的高級語言代碼。以上描述的硬件裝置可以構造成操作作為一個或多個軟件模塊以執行本發明的操作，反之亦然。
[0180]工業應用性
[0181]本發明涉及流量優化方法、中央控制裝置以及本地緩存裝置，用于降低內容傳輸系統中由重復內容傳輸引起的網絡中的流量。通過提供連接至內容服務器的中央控制裝置和連接至在內容傳輸網絡上的客戶端的本地緩存裝置以監測重復內容傳輸，本發明能夠簡單、明顯應用于現存系統和協議，因而提供實踐性及操作上可行的內容傳輸系統。
[0182]另外，根據本發明，中央控制裝置監測由內容服務器向客戶端提供的內容分組的重復傳輸，并且通過與本地緩存裝置僅交換標識信息來檢查是否存在一致的內容，而不傳輸重復內容分組，從而降低了在 網絡的特定區間(例如，因特網與集中器站之間)以重復方式發送的網絡流量的載荷。基于該原因，能夠確保網絡管理的方便性，以及降低成本。此外，本地緩存裝置通過檢查內容重復降低了內容的重復傳輸，因而改善了客戶端感知到的質量。
【權利要求】
1.一種內容傳輸系統,該內容傳輸系統包括: 中央控制裝置，其被構造成當從內容服務器接收到要向客戶端提供的內容分組時，向本地緩存裝置發送接收到的內容分組，當接收到被所述本地緩存裝置檢查為重復的內容分組的重復塊的塊標識符和流信息時，將所述塊標識符和所述流信息登記為重復去除目標，并且向所述本地緩存裝置僅發送被登記為重復去除目標的流的內容分組的塊標識符和流/[目息;以及 所述本地緩存裝置，其被構造成當接收到要向客戶端提供的內容分組時，連同塊標識符一起存儲針對所述內容分組的分割塊，檢查所述分割塊的重復，向所述中央控制裝置發送所述重復塊的塊標識符和流信息，以及當從所述中央控制裝置接收到所述塊標識符和所述流信息時，向所述客戶端發送與接收到的塊標識符對應且存儲在所述本地緩存裝置自身中的內容分組。
2.—種內容傳輸系統,該內容傳輸系統包括: 中央控制裝置，其被構造成當從內容服務器接收到要向客戶端提供的內容分組時，連同塊標識符一起存儲針對所述內容分組的分割塊，檢查所述分割塊的重復，并且向本地緩存裝置發送重復塊的塊標識符和流信息，而不是發送與所述重復塊對應的內容分組；以及 所述本地緩存裝置，其被構造成當從所述中央控制裝置接收到所述重復塊的所述塊標識符和所述流信息時，向所述客戶端發送與所述塊標識符對應且存儲在所述本地緩存裝置自身中的內容分組。
3.一種中央控制裝置，該中央控制裝置包括: 通信器，其被構造成與內容服務器和本地緩存裝置執行通信； 控制器，其被構造成當經由所述通信器從所述內容服務器接收到要向客戶端發送的內容分組時，向所述本地緩存裝置發送所述內容分組，當接收到經過由所述本地緩存裝置進行的重復監測的重復塊的塊標識符和流信息時，將接收到的所述塊標識符和所述流信息登記為重復去除目標，并且向所述本地緩存裝置僅發送針對重復去除目標流的下一個內容分組的塊標識符和流信息，而不是發送接收到的內容分組；以及 存儲器，其被構造成連同塊標識符一起臨時存儲分割塊，并且存儲接收到的塊標識符和流息。
4.根據權利要求3所述的中央控制裝置，其中，所述控制器包括: 流管理器，其被構造成以流為單位標識接收到的內容分組，將通過分割所標識流的有效載荷而獲得的分割塊臨時存儲，當從所述本地緩存裝置接收到所述塊標識符和所述流信息時，登記接收到的塊標識符和流信息，并且防止向所述本地緩存裝置發送所述重復塊；以及 有效載荷緩沖和分割單元，其被構造成緩沖所標識的流的有效載荷并且將所緩沖的有效載荷分割成塊。
5.根據權利要求4所述的中央控制裝置，其中，所述控制器進一步包括:塊重復管理器，其被構造成檢查所述分割塊的重復，并且控制向所述本地緩存裝置發送所述重復塊的所述塊標識符和所述流信息。
6.一種本地緩存裝置，該本地緩存裝置包括: 通信器，其被構造成與客戶端和連接至內容服務器的中央控制裝置通信；控制器，其被構造成當經由所述通信器從所述中央控制裝置接收到內容分組時，將針對所述內容分組的分割塊連同塊標識符一起存儲，同時向所述客戶端提供接收到的內容分組，當從所述中央控制裝置接收到重復塊的塊標識符和流信息時，控制向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組；以及 存儲器，其被構造成將所述分割塊連同所述塊標識符一起存儲。
7.根據權利要求6所述的本地緩存裝置，其中，所述控制器包括: 流管理器，其被構造成以流為單位標識接收到的內容分組，以及當從所述中央控制裝置接收到針對所標識的流的塊標識符時，控制向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組； 有效載荷緩沖和分割單元，其被構造成緩沖所標識的流的有效載荷并且將所緩沖的有效載荷分割成塊；以及 塊緩存單元，其被構造成使存儲器將所分割的塊連同所述塊標識符一起存儲。
8.根據權利要求7所述的本地緩存裝置，其中，所述控制器進一步包括塊重復管理器，其被構造成對接收到的內容分組執行塊重復檢查，將被檢查為重復的重復塊的塊標識符和流信息傳送至所述流管理器，并且檢查是否已經存儲了與接收到的塊標識符一致的塊標識符。
9.根據權利要求8所述的本地緩存裝置，其中，所述流管理器控制向所述中央控制裝置發送所述重復塊的 所述塊標識符和所述流信息，當未存儲與接收到的塊標識符一致的塊標識符時，從所述中央控制裝置請求與接收到的塊標識符對應的內容分組，并且控制接收所請求的內容分組以及向所述客戶端提供所請求的內容分組。
10.一種優化內容傳輸系統中的網絡流量的方法，所述內容傳輸系統包括連接至提供內容分組的內容服務器的中央控制裝置以及連接至被提供所述內容分組的客戶端的本地緩存裝置，所述方法包括以下步驟: 在所述中央控制裝置處向所述本地緩存裝置發送從所述內容服務器接收到的內容分組； 在所述本地緩存裝置處檢查接收到的內容分組的塊重復，并且向所述客戶端提供接收到的內容分組； 當所述本地緩存裝置檢查出接收到的內容分組的重復塊時，向所述中央控制裝置發送所述重復塊的塊標識符和流信息； 在所述中央控制裝置處將接收到的重復塊的所述塊標識符和所述流信息登記為重復去除目標； 在所述中央控制裝置處向所述本地緩存裝置僅發送登記為重復去除目標的流的下一個內容分組的塊標識符和流信息；以及 當所述本地緩存裝置接收到所述重復塊的所述塊標識符和所述流信息時，向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組。
11.一種優化內容傳輸系統中的網絡流量的方法，所述內容傳輸系統包括連接至提供內容分組的內容服務器的中央控制裝置以及連接至被提供內容分組的客戶端的本地緩存裝置，所述方法包括以下步驟: 當所述中央控制裝置從所述內容服務器接收到內容分組時，對接收到的內容分組執行塊重復檢查； 在所述中央控制裝置處向所述本地緩存裝置發送經重復檢查的內容分組的重復塊的塊標識符和流信息；以及 當所述本地緩存裝置接收到所述重復塊的所述塊標識符和所述流信息時，向所述客戶端發送所存儲的與接收到的塊標識符對應的內容分組。
12.根據權利要求10或11所述的方法，該方法進一步包括以下步驟: 當所述本地緩存裝置未存儲與接收到的塊標識符對應的內容分組時，從所述中央控制裝置請求與接收到的塊標識符對應的內容分組； 在所述本地緩存裝置處從所述中央控制裝置接收所請求的內容分組；以及 在所述本地緩存裝置處向所述客戶端發送接收到的內容分組。
13.根據權利要求10或11所述的方法，該方法進一步包括以下步驟: 在所述中央控制裝置處以流為單位標識接收到的內容分組，緩沖所標識的流的有效載荷，以及將所緩沖的有效載荷分割成塊；以及將分割塊連同生成的塊標識符一起臨時存儲。
14.根據權利要求10或11所述的方法，該方法進一步包括以下步驟: 在所述本地緩存裝置處以流為單位標識從所述中央控制裝置中接收到的內容分組，緩沖所標識的流的有效載荷，以及將所緩沖的有效載荷分割成塊；以及將分割塊連同所生成的塊標識符一起存儲。
【文檔編號】H04L12/751GK104025521SQ201280064475
【公開日】2014年9月3日 申請日期:2012年12月26日 優先權日:2011年12月26日
【發明者】李宗玟, 李璟埈, 沈寧宰, 禹伸愛, 樸敬洙 申請人:Sk電信有限公司, 韓國科學技術研究院