專利名稱：基于元搜索引擎的多源下載互聯網資源的裝置及方法
技術領域：
本發明涉及一種涉及搜索引擎和多源下載的技術，確切地說，涉及一種基于元搜
索引擎的個性化搜索的多源下載互聯網資源的裝置及方法，屬于互聯網資源下載的技術領 域。
背景技術：
網絡下載技術，又稱為網絡文件共享技術，是現有互聯網最廣泛的應用。最先出現 的文件共享主要通過Web技術實現，即把共享的文件放到服務器上，構成中心化的文件存 儲模型后，客戶機通過超文本傳輸協議HTTP (Hyper TextTransfer Protocol)和文本傳輸 協議FTP (File Transfer Protocol)等協議從服務器下載這些文件，這就是所謂用戶到服 務器的P2S(Peer to Server)結構模式。隨著網絡應用及網絡用戶的大量增加，中心化的 文件存儲服務器需要對非常多的用戶訪問提供支持，這就使得負載均衡問題成為這類下載 技術的最大瓶頸。 這種情況下，以資源分散、負載均衡和非中心化為特點的對等網絡P2P (Peerto Peer)技術在文件共享領域得到了廣泛應用，該技術的特征是以客戶端身份下載了文件的 對等端，隨后，又以服務器身份使這些文件供其他對等端使用。 一般而言，基于P2P技術的 文件共享的中心問題是定位資源。P2P技術可以充分利用參與結點的帶寬，通過大量結點之 間互相傳遞數據、合作下載的方式提高網絡中傳送大容量文件的效率。
雖然P2P技術是以去中心化為研究重點，但其連接的不可控性使得基于該技術的 在線下載缺乏穩定性。為了結合P2S模式與P2P模式的網絡下載的優勢，出現了一種所謂 用戶對服務器與用戶模式的P2SP(Peer to Server and Peer)技術。簡單地說，P2SP技術 就是下載不再像傳統方式那樣只能依賴服務器，內容的傳遞可以在網絡上的各個終端中進 行。P2SP除了包含P2P以外，P2SP的"S"是指服務器。P2SP有效地把原本孤立的服務器 與其鏡像資源以及P2P資源都整合在一起。也就是說，在下載的穩定性和下載的速度上，都 比傳統的P2P或P2S都有了非常大的提高。在國內以迅雷為代表的P2SP技術取得了巨大 成功，類似的還有0rbit、PPgou、Tuotu等. 對應以上網絡技術的發展，就國內最普遍的應用而言，可分為三種形式 第一種為集中式，以超文本傳輸協議HTTP、文件傳輸協議FTP下載為主。由于受到
服務器帶寬的限制，這種下載模式會嚴重影響下載的速度。 第二種為分布式，以BT和eMule為代表，主要特征是資源分布在眾多個人終端電
腦上，這種方式避免了單一帶寬對下載速度的影響，但不能保證服務的穩定性。 第三種為混合式，以迅雷、超級旋風、脫兔等為代表。整合了網絡搜索、HTTP下
載、FTP下載和P2P下載等多種技術，這種方式將多個中心化的資源服務器和客戶一起組成
P2SP網絡，保證了下載的速度和穩定性。 對現有的文件共享軟件進行歸總，通常采用兩種途徑獲得文件源地址第一種是 P2P協議疊加網的洪泛式搜索與分布式哈希路由表DHT(DistributedHash Table)式搜索，第二種是集中式的多媒體檢索數據庫服務器。根據現在共享軟件的用戶數量分析，迅雷、騰訊、旋風等以多媒體檢索數據庫為中心的共享軟件占據了絕大部分市場份額，說明運營性質的源地址索引功能對下載軟件十分重要。 搜索引擎的出現，大大提高了人們對互聯網信息檢索的能力和效率，已經成為當前最普遍的輔助人們檢索信息的工具。據中國互聯網網絡信息中心發布的"2008年中國互聯網絡發展狀況統計報告"，中國網民搜索引擎的使用率為72.4%，并仍然處于高速增長中。而在互聯網高度普及的美國，網民對搜索引擎的使用率已達91%。可見，搜索引擎已經成為網民不可或缺的工具。 目前，搜索引擎領域主要有以下幾種技術 (1)通用搜索引擎目前應用最廣泛，且用戶數量最多，主要代表有谷歌(www.google, com)、百度(www. baidu. com)、雅虎(cn. yahoo, com)等。 通用搜索引擎采用網絡爬行器對萬維網遍歷查詢和信息采集，然后對結果進行存儲和預處理，最后由服務系統將符合要求的結果返回給用戶。 隨著Web信息的迅速增長，用戶可以通過搜索引擎獲得豐富的資源，但是該類搜索服務存在局限性通用搜索引擎不可能解析、索引網絡上的所有網頁，用戶需要調用多個搜索引擎才能獲取滿意的搜索結果，降低了檢索效率。 (2)元搜索引擎(Meta-Search-Engine):為了彌補通用搜索引擎的不足，出現了元搜索弓l擎，其主要代表有國夕卜的MetaCrawler(www. metacawler. com) 、 Dogpile(www.dogpile. com)禾口國內的比比3苗(www. bbmao. com)等。 元搜索引擎是通過一個統一的界面將用戶檢索請求同時發送給多個搜索引擎，再將它們的各自搜索結果匯集在一起返回給用戶的搜索技術。它綜合了多個獨立搜索引擎的搜索結果，從而提高了搜索結構在整個網絡資源上的覆蓋率，省去了用戶自己逐個調用不同搜索引擎進行查詢的麻煩。但是，該類搜索引擎與通用搜索引擎都是向用戶提供海量的無序網頁，并且，用同一模式服務于不同用戶，這樣的通用性無法滿足用戶有差別的個性化需求。 (3)垂直搜索(Vertical Search Engine):為了彌補傳統搜索引擎和元搜索引擎的不足，給用戶提供更為精準的搜索服務，人們提出垂直搜索引擎的思想。該類搜索引擎是針對某一主題的信息進行爬行、索引和整合，并提取所需的數據進行處理，以滿足不同用戶的個性化需求，所以又被稱個性化搜索引擎。垂直搜索引擎的定位不是整個Web網絡，而是與某個主題相關的網絡，這樣具有很強的針對性，其次，運用機器學習等智能化技術手段滿足用戶個性化需求，因此它比通用搜索引擎與元搜索引擎更加有效。
發明內容
有鑒于此，本發明的目的是提供一種基于元搜索引擎的多源下載互聯網資源的裝置及方法，本發明充分利用互聯網的元搜索引擎技術來發現文件源地址，以減弱軟件本身對中心服務器的依賴性和脫離服務被動選擇的模式。 一方面，利用各類搜索引擎的發展，提高文件下載地址的搜索效率。另一方面利用多源下載技術提供更快的穩定的下載服務。
為了達到上述目的，本發明提供了一種基于搜索引擎的多源下載互聯網資源的裝置，其特征在于，所述裝置設有用戶單元、疊加網單元、搜索單元與下載單元，其中
用戶單元，完成用戶個性化的搜索參數與下載參數的設置，并提供用戶操作接口
界面和存儲各種設置參數與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標文
件；設有四個模塊搜索設置模塊、下載設置模塊、用戶界面模塊和用戶數據庫； 疊加網單元，完成客戶端加入對等網絡P2P疊加網的操作，并維護和管理P2P疊加
網的信息與用戶文件，設有三個模塊初始化模塊、信息維護模塊和文件管理模塊； 搜索單元，完成文件下載地址的搜索，設有定位型地址搜索模塊和下載型地址搜
索模塊，其中定位型地址搜索模塊根據用戶單元獲取的地址檢索詞搜索相關文件的下載地
址，再通過用戶單元的用戶界面模塊向用戶展示；下載型地址搜索模塊根據用戶選擇的、由
定位型搜索模塊提供的下載地址進行相同文件的其它地址的二次搜索，包括對P2P疊加網
內共享文件的搜索；且在搜索地址過程中，根據可用性原則與優選原則對獲取到的地址進
行篩選； 下載單元，完成文件的下載操作，設有并行下載和資源合成的兩個模塊，并行下載模塊根據獲取鏈接的數量與文件大小對文件進行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數據庫中存儲的下載設置參數執行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進行整合處理，形成完整的文件后，交由疊加網單元的文件管理模塊進行存儲。 為了達到上述目的，本發明還提供了一種采用基于元搜索引擎的多源下載互聯網資源的裝置的搜索方法，其特征在于所述裝置在用戶的選擇和操作下，利用元搜索引擎定位目標文件與進行同一資源的多個地址搜索，再通過多源下載技術進行目標資源的并行下載與整合處理；其中，資源的地址與搜索都是基于用戶設置，以滿足用戶的個性化需求；所述方法包括下列操作步驟 (1)用戶單元根據用戶輸入完成搜索參數與下載參數的設置，并將設置的參數存儲于用戶數據庫； (2)完成客戶端的P2P疊加網的入網和更新路由表； (3)搜索單元將用戶輸入的檢索詞按照各個獨立搜索引擎的要求格式分發出去，并根據該檢索詞搜索相關文件地址和收集返回的結果，然后將該返回結果轉換成統一的格式； (4)用戶單元將用于定位型文件地址的搜索結果列表，供用戶選擇； (5)搜索單元根據用戶選擇的下載地址進行相同文件其他地址的二次搜索，并對
搜索結果進行篩選，選擇優化的下載地址； (6)搜索單元根據用戶定位的下載地址和設置的下載參數，執行多個文件地址的并行下載和文件整合的操作； (7)在下載過程中和完成下載后，疊加網單元執行資源保存與文件共享信息發布的操作。 本發明與現有技術相比的優勢在于 本發明是借鑒P2SP思路，基于元搜索引擎技術，充分獲取并利用了互聯網上大量的FTP服務器和文件服務器作為共享文件的提供中心，以P2P疊加網文件共享為輔助下載中心，為多源下載提供快捷、穩定的服務。 本發明通過元搜索引擎同時獲取多個成員搜索引擎的搜索結果，并能夠根據檢索
7內容的不同，合理地選取相應的搜索引擎，從而提高了搜索結果的覆蓋度和檢索的準確性，降低了檢索內容的重復率。 本發明裝置的文件下載地址的發現是基于現有的搜索引擎，運行在客戶端。因此，本發明基于元搜索引擎的互聯網資源的多源下載裝置脫離了對集中式多媒體檢索數據庫的依賴，能夠最大限度地利用搜索引擎的發展，進行互聯網下載應用；同時解決了搜索資源的覆蓋面和下載源的穩定等問題。如果多個客戶端組建構成P2P疊加網，本發明使得文件
源的搜索能延伸到該網絡，增加網絡內部資源復用率。因此，本發明具有很好的推廣應用前
旦豕。
圖1是本發明應用場景的網絡系統結構組成示意圖。
圖2是本發明基于元搜索引擎的多源下載互聯網資源的裝置結構示意圖。
圖3是本發明裝置的互聯網資源多源下載方法的操作流程圖。
具體實施例方式
為使本發明的目的、技術方案和優點更加清楚，下面結合附圖對本發明作進一步的詳細描述。 參見圖l，介紹本發明基于元搜索引擎的多源下載互聯網資源的裝置的應用環境-網絡系統結構組成。該系統分為三個部分 利用BT協議組建的P2P疊加網，P2P網絡中的各節點分別保留路由目錄和共享其擁有的資源，各節點之間直接相連；疊加網內各個用戶可以實現資源的共享。用戶是通過查詢搜索網絡上存在的穩定資源，再下載鏈接得到相應文件數據。資源的下載為分塊下載，加速資源獲取，其優點是結合C/S與P2P網絡的優勢進行資源共享；不足是存在服務管理缺陷。 文件源為互聯網內包括Web文件服務器、FTP文件服務器、流媒體服務器等能提供文件下載的服務器。 元搜索引擎包括的多個搜索引擎，各搜索引擎為節點提供文件下載地址的搜索應用。 參見圖2，介紹本發明基于元搜索引擎的多源下載互聯網資源的裝置，該裝置設有用戶單元、疊加網單元、搜索單元與下載單元，其中 用戶單元完成用戶個性化的搜索參數與下載參數的設置，獲取用戶文件地址的檢索詞，并提供用戶操作接口界面和存儲各種設置參數與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標文件。設有四個模塊搜索設置模塊、下載設置模塊、用戶界面模塊和用戶數據庫；其中 搜索設置模塊用于完成元搜索引擎所包括的各種搜索引擎、向用戶顯示的結果總數和每個搜索引擎的返回結果占本次搜索總條數的比例的各種搜索參數的選擇和設置，并將設置的搜索參數存儲于用戶數據庫；該模塊的設置將作用于定位型地址搜索模塊。
下載設置模塊用于完成包括用戶執行下載操作的網絡類型、超級節點地址、下載或上傳的傳輸帶寬與速度限制，以及下載文件的分塊原則的選擇和設置，并將設置的下載參數存儲于用戶數據庫；該模塊的設置將作用于并行下載模塊。 用戶界面模塊用于提供用戶人機交互界面，將用戶的用戶文件地址檢索詞或文件下載地址的檢索請求轉換為搜索引擎所能理解的格式，并分別發送給定位型地址搜索模塊與下載型地址搜索模塊，使其根據檢索內容選擇合適的搜索引擎，并向用戶展示搜索到的下載地址列表和目標文件；搜索設置模塊和下載設置模塊都是經由該界面接收用戶輸入的相關設置參數。 用戶數據庫負責存儲用戶設置的各種搜索參數和下載參數，以及疊加網的路由表信息和下載的文件內容。 疊加網單元完成客戶端加入P2P疊加網的操作、并維護和管理P2P疊加網的信息與共享的用戶文件。設有三個模塊初始化模塊、信息維護模塊和文件管理模塊；其中，
初始化模塊利用用戶數據庫中保存的超級節點完成客戶端加入P2P疊加網的入網操作，如果超級節點不可用，則利用用戶數據庫中保存的路由表內節點信息加入P2P疊加網；執行路由表的初始化和更新操作，再把更新后的路由表存儲于用戶數據庫；該路由表內存儲有疊加網內的鄰居節點信息，鄰居節點為下載通信過程所發現的疊加網內的其他節點，鄰居節點可以輔助客戶端入網與客戶端共享文件信息的發布。 信息維護模塊是根據初始化后的路由表完成P2P疊加網內其他鄰居節點的文件信息的維護和查找，以及本地文件共享信息的發布。 文件管理模塊完成客戶端文件的存儲及上傳，并通過信息維護模塊將文件共享信息在疊加網內進行發布。 搜索單元完成文件下載地址的搜索。設有定位型地址搜索模塊和下載型地址搜索模塊，前者根據用戶輸入的地址檢索詞搜索相關文件的下載地址，再通過用戶單元的用戶界面模塊向用戶展示；后者根據用戶選擇的下載地址進行相同文件的其它地址的二次搜索，包括對P2P疊加網內共享文件的搜索；且在搜索地址過程中，根據可用性原則與優選原則對獲取到的地址進行篩選。 下載單元完成文件的下載操作。設有并行下載和資源合成的兩個模塊，并行下載模塊根據獲取鏈接的數量與文件大小對文件進行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數據庫中存儲的下載設置參數執行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進行整合處理，形成完整的文件后，交由疊加網單元的文件管理模塊進行存儲。 本發明基于元搜索引擎的多源下載互聯網資源的裝置的搜索方法是在用戶的選擇和操作下，利用元搜索引擎定位目標文件與進行同一資源的多個地址搜索，再通過多源下載技術進行目標資源的并行下載與整合處理；其中，資源的地址與搜索都是基于用戶設置，以滿足用戶的個性化需求。 參見圖3，結合基于搜索引擎的互聯網多源下載系統，介紹本發明一實施例的操作流程，其執行的操作步驟如下 步驟1、用戶單元根據用戶輸入完成搜索參數與下載參數的設置，并將設置的參數存儲于用戶數據庫。 該步驟的搜索參數與下載參數的設置操作既可以在下載之前完成，也可以在下載過程中完成。設置的搜索參數包括各種搜索引擎(百度、谷歌、雅虎、必應等)類型、搜索結果的總條數和每個搜索引擎的返回結果所占的比例。設置的下載參數包括執行下載的網絡類型(教育網、移動、聯通、電信等)、超級節點地址、下載過程的文件分塊原則、下載的上行與下行的帶寬和限制速度。
步驟2、用戶單元接收用戶輸入，完成客戶端的P2P疊加網的入網和更新路由表。
該步驟的入網操作有兩種方式一種是利用在客戶端固化的疊加網超級節點進行入網操作；另一種是用維護的鄰居節點加入入網操作，后者作為前者的補充，僅用于疊加網超級節點不可用時。 步驟3、搜索單元將用戶輸入的檢索詞按照各個獨立搜索引擎的要求格式分發出去，并根據該檢索詞搜索相關文件地址和收集返回的結果，然后將該返回結果轉換成統一的格式。該步驟包括下列操作內容 (31)基于用戶選擇的檢索內容，采用分類分組法選擇元搜索引擎中的搜索引擎本發明在元搜索引擎上增設一個信息類別選項，系統預先設置的該信息類別包括影音、圖片、文檔、軟件與其他，再在各類別下分別列出供用戶選擇、設定的搜索引擎組合，以滿足用戶個性化需求，又避免不必要的搜索，提高搜索效率和準確度。
(32)將用戶輸入的搜索詞語按照各個獨立搜索引擎的要求格式分發出去。
(33)根據該檢索詞搜索相關文件地址，將收集到的各個成員搜索引擎的搜索結果轉換為統一格式，再對其進行刪除重復的處理。 步驟4、用戶單元將用于定位型文件地址的搜索結果列表，供用戶選擇。
步驟5、搜索單元根據用戶選擇的下載地址進行相同文件其他地址的二次搜索，并對搜索結果進行篩選，選擇優化的下載地址。該步驟的定位地址二次搜索分為搜索引擎搜索與疊加網搜索，具體包括下列操作內容 (51)返回的搜索結果是普通的超文本標記語言HTML地址時，搜索單元通過分析關鍵詞或網絡爬蟲獲取供下載的資源鏈接地址；或 (52)返回的搜索結果是超文本傳輸協議http資源下載地址、BT協議的資源鏈接地址時，提取這些下載地址或鏈接地址； (53)根據可用性原則與優選原則對獲取到的下載地址或鏈接地址進行篩選；這里的可用性原則是對獲取的地址鏈接隨機下載部分文件，如果鏈接不能連通，或者該部分文件與目標鏈接的對應文件塊不對應，則表明不符合該原則，放棄該地址鏈接；優選原則是根據下載型地址所對應的邏輯地址信息和連接的時間延遲進行優化。 步驟6、搜索單元根據用戶定位的下載地址和設置的下載參數，執行多個文件地址的并行下載和文件整合的操作。該步驟包括下列操作內容 (61)根據文件大小和步驟1設置的下載文件的分塊原則，設定滿足一定冗余性的下載分塊原則，并從對應鏈接獨立進行文件分塊下載。
(62)對下載完成的分塊進行整合處理，在整合過程中進行數據校驗。 步驟7、在下載過程中和完成下載后，疊加網單元執行資源保存與文件共享信息發
布的操作。 本發明已經進行了多次實施試驗，試驗的結果是成功的，實現了發明目的。
權利要求
一種基于元搜索引擎的多源下載互聯網資源的裝置，其特征在于，所述裝置設有用戶單元、疊加網單元、搜索單元與下載單元，其中用戶單元，完成用戶個性化的搜索參數與下載參數的設置，并提供用戶操作接口界面和存儲各種設置參數與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標文件；設有四個模塊搜索設置模塊、下載設置模塊、用戶界面模塊和用戶數據庫；疊加網單元，完成客戶端加入對等網絡P2P疊加網的操作，并維護和管理P2P疊加網的信息與用戶文件，設有三個模塊初始化模塊、信息維護模塊和文件管理模塊；搜索單元，完成文件下載地址的搜索，設有定位型地址搜索模塊和下載型地址搜索模塊，其中定位型地址搜索模塊根據用戶單元獲取的地址檢索詞搜索相關文件的下載地址，再通過用戶單元的用戶界面模塊向用戶展示；下載型地址搜索模塊根據用戶選擇的、由定位型搜索模塊提供的下載地址進行相同文件的其它地址的二次搜索，包括對P2P疊加網內共享文件的搜索；且在搜索地址過程中，根據可用性原則與優選原則對獲取到的地址進行篩選；下載單元，完成文件的下載操作，設有并行下載和資源合成的兩個模塊，并行下載模塊根據獲取鏈接的數量與文件大小對文件進行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數據庫中存儲的下載設置參數執行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進行整合處理，形成完整的文件后，交由疊加網單元的文件管理模塊進行存儲。
2. 根據權利要求l所述的裝置，其特征在于所述用戶單元中的各軟件模塊功能如下搜索設置模塊，用于完成元搜索引擎所包括的各種搜索引擎、向用戶顯示的結果總數 和每個搜索引擎的返回結果占本次搜索總條數的比例的各種搜索參數的選擇和設置，并將 設置的搜索參數存儲于用戶數據庫；下載設置模塊，用于完成包括用戶執行下載操作的網絡類型、超級節點地址、下載或上 傳的傳輸帶寬與速度限制，以及下載文件的分塊原則的選擇和設置，并將設置的下載參數 存儲于用戶數據庫；用戶界面模塊，用于提供用戶人機交互界面，將用戶的檢索請求轉換為搜索引擎所能 理解的格式，根據檢索內容選擇合適的搜索引擎，并向用戶展示搜索到的下載地址列表和 目標文件；搜索設置模塊和下載設置模塊都是經由該界面接收用戶輸入的相關設置參數；用戶數據庫，負責存儲用戶設置的各種搜索參數和下載參數，以及疊加網的路由表信 息和下載的文件內容。
3. 根據權利要求1所述的裝置，其特征在于所述疊加網單元中的各軟件模塊功能如下初始化模塊，利用用戶數據庫中保存的超級節點完成客戶端加入P2P疊加網的入網操 作，如果超級節點不可用，則利用用戶數據庫中保存的路由表內節點信息加入P2P疊加網； 執行路由表的初始化和更新操作，再把更新后的路由表存儲于用戶數據庫；所述路由表內 存儲有疊加網內的鄰居節點信息；信息維護模塊，根據初始化后的路由表完成P2P疊加網內其他鄰居節點的文件信息的 維護和查找，以及本地文件信息的發布；文件管理模塊，完成客戶端文件的存儲及上傳，并通過信息維護模塊將文件信息在疊 加網內進行發布。
4. 根據權利要求1所述的裝置，其特征在于所述下載型地址搜索模塊在搜索下載型 地址過程中，根據可用性原則與優選原則對獲取到的下載或鏈接地址進行篩選時，所述可 用性原則是對獲取的下載或鏈接地址隨機下載部分文件，如果鏈接不能連通，或者該部分 文件與目標鏈接的對應文件塊不對應，則標明不符合該原則，放棄該地址；優選原則是根據 下載型地址所對應的邏輯地址信息和連接的時間延遲進行優化。
5. —種采用權利要求1所述的基于元搜索引擎的多源下載互聯網資源的裝置的搜索 方法，其特征在于所述裝置在用戶的選擇和操作下，利用元搜索引擎定位目標文件與進行 同一資源的多個地址搜索，再通過多源下載技術進行目標資源的并行下載與整合處理；其 中，資源的地址與搜索都是基于用戶設置，以滿足用戶的個性化需求；所述方法包括下列操 作步驟(1) 用戶單元根據用戶輸入完成搜索參數與下載參數的設置，并將設置的參數存儲于 用戶數據庫；(2) 完成客戶端的P2P疊加網的入網和更新路由表；(3) 搜索單元將用戶輸入的檢索詞按照各個獨立搜索引擎的要求格式分發出去，并根 據該檢索詞搜索相關文件地址和收集返回的結果，然后將該返回結果轉換成統一的格式；(4) 用戶單元將用于定位型文件地址的搜索結果列表，供用戶選擇；(5) 搜索單元根據用戶選擇的下載地址進行相同文件其他地址的二次搜索，并對搜索 結果進行篩選，選擇優化的下載地址；(6) 搜索單元根據用戶定位的下載地址和設置的下載參數，執行多個文件地址的并行 下載和文件整合的操作；(7) 在下載過程中和完成下載后，疊加網單元執行資源保存與文件共享信息發布的操作。
6. 根據權利要求5所述的方法，其特征在于所述步驟(1)中的搜索參數與下載參 數的設置操作是在下載之前完成的，或者是在下載過程中完成的；所述搜索參數包括元 搜索引擎所包括百度、谷歌、雅虎、必應的各種搜索引擎的類型、向用戶顯示的搜索結果的 總條數和每個搜索引擎的返回結果所占的比例；所述下載參數包括包括教育網、移動、聯 通、電信的執行下載的網絡類型、超級節點地址、下載文件過程中的分塊原則、下載的上行 與下行的帶寬和限制速度。
7. 根據權利要求5所述的方法，其特征在于所述步驟(2)中的入網操作有兩種方式 一種是利用在客戶端固化的疊加網超級節點進行入網操作；另一種是用維護的鄰居節點加 入入網操作，后者作為前者的補充，僅用于疊加網超級節點不可用時。
8. 根據權利要求5所述的方法，其特征在于所述步驟(3)進一步包括下列操作內容(31) 基于用戶選擇的檢索內容，采用分類分組法選擇元搜索引擎中的搜索引擎在元 搜索引擎上增設一個信息類別選項，系統預先設置的該信息類別包括影音、圖片、文檔、軟 件與其他，再在各類別下分別列出供用戶選擇、設定的搜索引擎組合，以滿足用戶個性化需 求，又避免不必要的搜索，提高搜索效率和準確度；(32) 將用戶輸入的搜索詞語按照各個獨立搜索引擎的要求格式分發出去；(33)根據該檢索詞搜索相關文件地址，將收集到的各個成員搜索引擎的搜索結果轉換 為統一格式，再對其進行刪除重復的處理。
9. 根據權利要求5所述的方法，其特征在于所述步驟(5)中的二次搜索進一步包括 下列操作內容(51) 返回的搜索結果是普通的超文本標記語言HTML地址時，搜索單元通過分析關鍵 詞或網絡爬蟲獲取供下載的資源鏈接地址；或(52) 返回的搜索結果是超文本傳輸協議http的資源下載地址、BT協議的資源鏈接地 址時，提取這些下載地址或鏈接地址；(53) 根據可用性原則與優選原則對獲取到的下載地址或鏈接地址進行篩選；所述可 用性原則是對獲取的地址鏈接隨機下載部分文件，如果鏈接不能連通，或者該部分文件與 目標鏈接的對應文件塊不對應，則表明不符合該原則，放棄該地址鏈接；優選原則是根據下 載型地址所對應的邏輯地址信息和連接的時間延遲進行優化。
10. 根據權利要求5所述的方法，其特征在于所述步驟(6)進一步包括下列操作內容(61) 根據文件大小和步驟(1)中設置的下載文件的分塊原則，設定滿足一定冗余性的 下載分塊原則，并從對應鏈接獨立進行文件分塊下載；(62) 對下載完成的分塊進行整合處理，在整合過程中進行數據校驗。
全文摘要
一種基于元搜索引擎的多源下載互聯網資源的裝置及方法，該裝置設有用戶單元、疊加網單元、搜索單元與下載單元，所有單元或軟件模塊均部署在客戶端，并在客戶端完成所有下載操作，以弱化現有的下載裝置對中心服務器或多媒體檢索數據庫的依賴和脫離服務被動選擇的模式，并充分利用元搜索引擎的發展，開展互聯網的下載應用。該裝置充分利用互聯網的元搜索引擎定位發現文件源地址，并對目標文件進行同一資源的多個地址搜索，通過多源下載技術進行目標資源的并行下載與合并。做到了既利用各類搜索引擎的發展，提高搜索結果的準確度；又利用多源下載技術提供更快、更穩定的下載服務。而且，資源的地址與搜索都基于用戶的設置，能滿足用戶的個性化需求。
文檔編號G06F17/30GK101764807SQ20091024193
公開日2010年6月30日 申請日期2009年12月16日 優先權日2009年12月16日
發明者張世棟, 張冬梅, 魏更宇 申請人:北京郵電大學