專利名稱：一種基于網絡流量進行實驗的方法與設備的制作方法
技術領域：
本發明涉及網絡實驗技術領域，尤其涉及一種基于網絡流量進行實驗的技術。
背景技術：
隨著網絡實驗技術的不斷發展，網絡開發維護人員在并行利用網絡流量進行實驗時，對有效地獲得及時準確的實驗結果的要求也越來越高。現有的并行利用網絡流量進行實驗的技術中，一般將獲得的實驗網絡流量進行劃分，每個實驗將分得該實驗網絡流量的一部分作為實驗的樣本，并根據該部分實驗網絡流量進行實驗操作。例如圖I所示，實驗網絡流量為X，待執行實驗為El、E2、E3，實驗網絡流量X通過網絡流量分流器被分為多個部分的實驗網絡流量xl、x2、x3，且滿足X = xl+x2+x3，每個實驗分得該多個部分的實驗網絡 流量中的一個部分的實驗網絡流量作為實驗的樣本，即xl執行實驗El、x2執行實驗E2、x3執行實驗E3。然而，上述做法產生的問題是，由于每個實驗能夠得到的實驗網絡流量樣本有限，可能導致實驗結果不夠準確，或為獲得更為準確的實驗結果，延長實驗時間以獲得更多的實驗網絡流量，這使得網絡開發維護人員無法在較短時間之內準確地獲取其希望獲得理想的實驗結果，進而增加執行實驗的時間成本。因此，在實驗網絡流量固定的情況下，如何有效地利用該實驗網絡流量執行實驗，以獲得更為準確的實驗結果，成為目前亟待解決的問題之一。
發明內容
本發明的目的是提供一種并行利用網絡流量進行實驗的方法與設備。根據本發明的一個方面，提供了一種計算機實現的并行利用網絡流量進行實驗的方法，其中，該方法包括以下步驟A并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。根據本發明的另一方面，還提供了一種并行利用網絡流量進行實驗的設備，其中，該設備包括實驗執行裝置，用于并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。與現有技術相比，本發明并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，由此提高每個實驗獲得的網絡流量樣本數量，在實驗時間一定的情況下，使得實驗結果準確性得到極大的提高，并降低實驗執行的時間成本。
通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯
圖I示出現有技術基于利用網絡流量進行實驗的原理示意圖；圖2示出根據本發明一個方面的并行利用網絡流量進行實驗的設備示意圖；圖3示出根據本發明一個方面的并行利用網絡流量進行實驗的設備原理示意圖；圖4示出根據本發明一個優選實施例的并行利用網絡流量進行實驗的設備示意圖；圖5示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的設備示意圖；圖6示出根據本發明又一個優選實施例的并行利用網絡流量進行實驗的設備示意圖； 圖7示出根據本發明再一個優選實施例的并行利用網絡流量進行實驗的設備示意圖；圖8示出根據本發明一個優選實施例的并行利用網絡流量進行實驗的設備示意圖；圖9示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的設備示意圖；圖10示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的設備原理示意圖；圖11示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的方法流程圖；圖12示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的方法原理流程圖；圖13示出根據本發明一個優選實施例的并行利用網絡流量進行實驗方法流程圖；圖14示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的方法流程圖；圖15示出根據本發明又一個優選實施例的并行利用網絡流量進行實驗的方法流程圖；圖16示出根據本發明再一個優選實施例的并行利用網絡流量進行實驗的方法流程圖；圖17示出根據本發明一個優選實施例的并行利用網絡流量進行實驗的方法流程圖；圖18示出根據本發明另一個優選實施例的并行利用網絡流量進行實驗的方法流程圖。附圖中相同或相似的附圖標記代表相同或相似的部件。
具體實施例方式下面結合附圖對本發明作進一步詳細描述。圖2為根據本發明一個方面的設備示意圖，示出并行利用網絡流量進行實驗的設備。其中，實驗設備I包括實驗執行裝置U。具體地，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。在此，實驗設備I包括但不限于網絡主機、單個網絡服務器、多個網絡服務器集或基于云計算的計算機集合，在此，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。本領域技術人員應能理解上述實驗設備僅為舉例，其他現有的或今后可能出現的實驗設備如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。更具體地，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。具體地，如圖3所示，存在多個待執行的并行利用網絡流量的實驗E1、E2、E3，對于實驗網絡流量X，實驗執行裝置11將其中的一部分網絡流量用于執行該多個實驗中的某一個實驗，如E1，以獲得相應的實驗反饋信息，而并行利用另一部分網絡流量執行該多個實驗中的至少兩個實驗，如El、E2，以獲得相應的實驗反饋信息，或者實驗執行裝置11并行利用該全部實驗網絡流量執行該多個實驗中的至少兩個實驗，如E1、E3和E1、E2、E3，以獲得相應的實驗反饋信息，再或者實驗執行裝置11并行利用該全部網絡流量執行該多個實驗中的全部實驗，以獲得相應的實驗反饋信息。在此，“并行利用”意指利用網絡流量中的同一部分網絡流量執行多個實驗，該多個實驗的執行方式不限于并發執行或順序執行。其中，所述實驗網絡流量包括但不限于用戶網頁搜索請求、用戶頁面訪問請 求、用戶訂閱信息、用戶歷史行為記錄、其他網站服務器的訪問請求等。例如，如圖4所示，El為根據用戶網頁搜索請求獲得搜索結果的實驗，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，實驗執行裝置11從實驗網絡流量中提取一條用戶搜索網頁請求II，并根據Il中的查詢序列進行網頁搜索，在此過程中實驗El執行單元Illa獲取搜索結果，然后，實驗E2執行單元112a對實驗El執行單元Illa獲取的搜索結果按廣告價格進行排序，接著，實驗E3執行單元113a設置實驗E2執行單元112a獲得的排序后的搜索結果為按從左到右的方式展現，從而獲得搜索結果頁面作為反饋信息。又例如，如圖5所示，El為根據用戶網頁搜索請求獲得搜索結果的實驗，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，實驗執行裝置11從實驗網絡流量中提取一條用戶搜索網頁請求12，并根據12中的查詢序列進行網頁搜索，在此過程中實驗El執行單元Illb獲取搜索結果，然后，實驗E2執行單元112b對實驗El執行單元Illb獲得的搜索結果按廣告價格進行排序；在執行實驗E2的同時，實驗E3執行單元113b并發設置實驗El執行單元Illb獲得的搜索結果為按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息。再例如，如圖6所示，E3為根據用戶網頁搜索請求將搜索結果按從左到右的方式展現的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗，E5為壓力測試實驗，測試網站服務器可承受的最大壓力負荷，從實驗網絡流量中提取一條用戶搜索網頁請求13，并根據13中的查詢序列進行網頁搜索，在此過程中實驗E3執行單元113c將搜索結果按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息；在執行實驗E3的同時，實驗E4執行單元114c并發將搜索結果頁面以黃色背景顯示的方式進行展現，從而獲得另一個搜索結果頁面作為反饋信息；在執行實驗E3、E4的同時，實驗E5執行單元115c并發進行壓力測試實驗，從而獲得網站服務器可承受的最大搜索壓力負荷作為又一個反饋信息。再例如，如圖7所示，E2為根據用戶網頁搜索請求，將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，E6為根據用戶訂閱信息，推送該訂閱信息更新內容，實驗執行裝置11從實驗網絡流量中提取一條用戶搜索網頁請求14，根據14中的查詢序列進行網頁搜索，在此過程中實驗E2執行單元112d對該搜索結果按廣告價格進行排序，接著，實驗E3執行單元113d設置實驗E2執行單元112d獲得的排序后的搜索結果為按從左到右的方式展現，從而獲得搜索結果頁面作為反饋信息；然后，從實驗網絡流量中提取一條用戶訂閱信息15，15相對應的實驗E6執行單元116d推送該用戶訂閱信息的更新內容，并將該用戶訂閱信息更新內容作為反饋信息。本領域技術人員應能理解上述執行多個實驗或獲取反饋信息的方式僅為舉例，其他現有的或今后可能出現的執行多個實驗和獲取反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，實驗執行裝置11是持續不斷地工作。具體地，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。在此，本領域技術人員應理解“持續”是指實驗執行裝置11按照設定的或實時調整的工作模式要求進行執行多個實驗以及獲取實驗反饋信息，直至實驗執行裝置11在較長時間內停止并行利用實 驗網絡流量中至少部分網絡流量來執行多個實驗。在一個優選實施例中(參照圖8)，實驗設備I還包括實驗相關信息獲取裝置12’和網絡流量獲取裝置13’，實驗獲取裝置12’獲取待執行的并行利用網絡流量的多個實驗的相關信息；網絡流量獲取裝置13’根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。以下參照圖8對該優選實施例進行詳細描述，其中，實驗執行裝置11’并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖2所描述的實施例中實驗執行裝置11所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，實驗相關信息獲取裝置12’通過諸如按照預先約定的通信協議接收從網絡服務器等網絡設備發送的預設的并行利用網絡流量的多個實驗的相關信息，或通過第三方設備提供的應用程序接口(API)，從第三方設備中獲取待執行的并行利用網絡流量的多個實驗的相關信息。例如，假設實驗設備I為網絡服務器，實驗相關信息獲取裝置12’按照預先約定的通信協議，如http、https等通信協議，接收該網絡服務器發送的預設的并行利用網絡流量的待執行多個實驗的相關信息。又如，實驗相關信息獲取裝置12’根據第三方設備提供的應用程序接口(API)，向第三方設備發送獲取并行利用網絡流量的預設的多個實驗的相關信息的請求，并接收該第三方設備基于該請求返回的預設多個實驗的相關信息。在此，實驗的相關信息包括但不限于參與執行用戶請求的實驗，如執行用戶請求處理中的一個步驟，或執行一個完整的用戶請求處理；執行內容推送的實驗，如根據用戶的訂閱信息，執行用戶訂閱內容推送；及無用戶交互的實驗，如用于獲取系統能提供的最大服務級別的壓力測試實驗。隨后，網絡流量獲取裝置13’根據多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。具體地，網絡流量獲取裝置13’過濾實驗網絡流量，如遍歷當前實驗網絡流量，提取其中一條網絡流量，對該網絡流量進行分析，提取該網絡流量類型，將該網絡流量類型與實驗相關信息獲取裝置12’獲取的待執行的并行利用網絡流量的多個實驗的相關信息一一進行匹配比較，若該網絡流量類型滿足該多個實驗的相關信息，則網絡流量獲取裝置13’獲取該與該多個實驗相對應的該一條網絡流量，循環執行該操作，直至網絡流量獲取裝置13’完成過濾全部實驗網絡流量，并獲取與該多個實驗相對應的至少部分網絡流量。其中，實驗網絡流量包括但不限于從全網絡流量中隨機提取的用于實驗的部分網絡流量或從仿真網絡流量中提取的用于實驗的仿真網絡流量。例如，實驗相關信息獲取裝置12’獲取待執行的并行利用網絡流量的兩個實驗E2、E4的相關信息，其中，E2為根據用戶搜索網頁請求，將搜索結果按廣告價格進行排序的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗；網絡流量獲取裝置13’利用隨機從全網絡流量中提取的用于實驗的實驗網絡流量，提取其中一條網絡流量16，對16進行分析，提取其網絡流量類型為用戶頁面訪問請求，將該網絡流量類型與實驗E2、E4的相關信息中包括的該兩個實驗能夠處理的網絡流量類型進行匹配比較，結果為實驗E4能夠處理的網絡流量類型中包括16的網絡流量類型，但實驗E2能夠處理的網絡流量類型中不包括16的網絡流量類型，則網絡流量獲取裝置13’濾除該網絡流量16 ;網絡流量獲取裝置13’循環提取下一條網絡流量17，對17進行分析，提取其網絡流量類型為用戶網頁搜索請求，將該網絡流量類型與實驗E2、E4的相關信息中包括的兩個實驗能夠處理的網絡流量類型進行匹配比較，結果為實驗E2、E4能夠處理的網絡流量類型中均包括17的網絡流量類型，則網絡流量獲取 裝置13’獲取該網絡流量17。本領域技術人員應能理解上述獲取實驗的相關信息或獲取至少部分網絡流量的方式僅為舉例，其他現有的或今后可能出現的獲取實驗的相關信息和獲取至少部分網絡流量的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在另一個優選實施例中(參照圖9)實驗設備I還包括實驗順序控制裝置14”(參照圖10)，該實驗順序控制裝置14”根據所述多個實驗的相關信息，確定所述多個實驗的執行順序；其中，所述實驗執行裝置11”還用于根據所述執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。以下參照圖9對該另一優選實施例進行詳細描述，其中，實驗相關信息獲取裝置12”獲取待執行的并行利用網絡流量的多個實驗的相關信息；網絡流量獲取裝置13”根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量；其具體過程與前述參照圖8所描述的實施例中實驗相關信息獲取裝置12’、網絡流量獲取裝置13’所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，實驗順序控制裝置14”根據實驗相關信息獲取裝置12”獲取待執行的并行利用網絡流量的多個實驗的相關信息，提取多個實驗的相關信息中多個實驗相互依賴關系，例如實驗El的輸出是實驗E2的輸入，確定該多個實驗的執行順序；其中，實驗執行裝置11”還用于根據該執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。例如，實驗相關信息獲取裝置12”獲取待執行的并行利用網絡流量的多個實驗分別為El根據用戶網頁搜索請求獲得搜索結果的實驗、E2將搜索結果按廣告價格進行排序的實驗、E3將搜索結果按從左到右的方式展現的實驗；其中，三個實驗的相互依賴關系為El輸出為E2和E3的輸入，則實驗順序控制裝置14”根據該依賴關系確定三個實驗執行的順序為先執行El獲得El的實驗輸出結果，并將該輸出作為E2和E3的實驗輸入并發執行E2和E3 ;然后，實驗執行裝置11”從實驗網絡流量中提取一條用戶搜索網頁請求12，并根據12中的查詢序列進行網頁搜索，在此過程中執行實驗El以獲取搜索結果，然后，執行實驗E2對搜索結果按廣告價格進行排序；在執行實驗E2的同時，并發執行E3設置搜索結果為按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息。本領域技術人員應能理解上述確定多個實驗的執行順序的方式僅為舉例，其他現有的或今后可能出現的確定多個實驗的執行順序的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在另一個優選實施例中(參照圖2)，實驗執行裝置11還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，將每個實驗的輸出進行合并以 獲得實驗反饋信息。具體地，實驗執行裝置11還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，從而獲得每個實驗的實驗結果輸出，將每個實驗的輸出進行合并以獲得實驗反饋信息。例如，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗；實驗執行裝置11利用實驗網絡流量中的一條用戶網頁搜索請求18，并根據18中的查詢序列進行網頁搜索，在此過程中執行實驗E2從而得到實驗E2的實驗結果輸出，且執行E3從而得到實驗E3的實驗結果輸出，并執行E4從而得到實驗E4的實驗結果輸出，將三個實驗結果輸出合并，進而獲得合并后的搜索結果頁面作為反饋信息。本領域技術人員應能理解上述合并獲得反饋信息的方式僅為舉例，其他現有的或今后可能出現的合并獲得反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在另一個優選實施例中(參照圖2)，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，并基于每個實驗的輸出分別獲得實驗反饋信息。具體地，實驗執行裝置11還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，從而獲得每個實驗的實驗結果輸出，并將每個實驗的輸出分別生成反饋結果。例如，E5為壓力測試實驗，測試網站服務器可承受的最大壓力負荷，獲得該網站服務器提供的最大的服務級別，E6為根據用戶訂閱信息，推送該訂閱信息更新內容；實驗執行裝置11利用實驗網絡流量中的一條用戶訂閱信息19，執行實驗E6對用戶訂閱信息更新內容進行推送，將該用戶訂閱信息更新內容作為反饋信息，同時執行實驗E5進行壓力測試，以獲得服務器可承受的最大推送壓力負荷作為反饋信息。本領域技術人員應能理解上述分別獲得反饋信息的方式僅為舉例，其他現有的或今后可能出現的分別獲得反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在又一個優選實施例中(參照圖2)，實驗設備I還包括收集裝置(未示出)，該收集裝置根據所述反饋信息，收集實驗結果信息。以下參照圖2對該又一優選實施例進行詳細描述，其中，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖2所描述的實施例中實驗執行裝置11所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，收集裝置根據實驗執行裝置11獲得的實驗反饋信息，收集實驗結果信息。例如反饋信息為結果展示頁面，收集裝置根據該結果展示頁面，收集實驗結果信息。在此，實驗結果信息包括但不限于內容展現量、千次展現價格等。例如，收集裝置根據實驗執行裝置11獲得的所有搜索結果頁面，獲得在這些搜索結果頁面中各廣告的展現次數，即各廣告的內容展現量；并根據所有搜索結果頁面中展現的各廣告的廣告單次展現價格及其內容展現量，通過公式“千次展現價格=((I廣告
i=l
單次展現價格)/內容展現量)X 1000，k=內容展現量”，計算獲得各廣告的千次
展現價格。本領域技術人員應能理解上述收集實驗結果信息的方式僅為舉例，其他現有的或今后可能出現的收集實驗結果信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地,收集裝置還包括提供單元(未示出)和結果收集單元(未示出)，該提供單元向用戶提供所述反饋信息；該結果收集單元根據所述反饋信息和所述用戶對所述反饋信息的響應，收集所述實驗結果信息。具體地，根據實驗執行裝置11獲得的諸如搜索結果頁面的反饋信息，提供單元例如將該反饋信息發送至該用戶的用戶設備，用戶通過其用戶設備瀏覽該反饋信息；或者將該反饋信息的URL發送至該用戶的用戶設備，由該用戶經該 用戶設備點擊該URL，從而進入相應頁面以獲得該反饋信息。例如，實驗執行裝置11獲得的作為反饋信息的所有搜索結果頁面，提供單元將該搜索結果頁面發送至用戶的用戶設備，該用戶通過該用戶設備瀏覽該搜索結果頁面。結果收集單元根據提供單元向用戶提供的反饋信息和該(等)用戶對該(等)反饋信息的響應，收集實驗結果信息，例如根據提供單元向用戶提供的搜索結果頁面，和這些用戶通過用戶設備進行的瀏覽和點擊操作記錄，結果收集單元收集實驗結果信息。在此，實驗結果信息包括但不限于內容展現量、千次展現價格、平均點擊率和平均點擊價格等。例如，結果收集單元根據實驗執行裝置11獲得的所有搜索結果頁面，獲得在這些搜索結果頁面中各廣告的展現次數，即各廣告的內容展現量；結果收集單元根據所有搜索結果頁面中展現的各廣告的廣告單次
展現價格及其內容展現量，通過公式“千次展現價格=((i廣告單次展
Z=I
現價格)/內容展現量)X 1000，k =內容展現量”，計算獲得各廣告的千次展現
價格；結果收集單元根據用戶通過用戶設備對搜索結果頁面的瀏覽和點擊操作記錄，獲得用戶對所有搜索結果頁面中各廣告的點擊次數，計算用戶對所有搜索結果頁面中所展現的各廣告的點擊次數與在所有搜索結果頁面中各廣告的展現次數的比值，即用戶點擊率；結果收集單元根據用戶通過用戶設備對搜索結果頁面的瀏覽和點擊操作記錄，獲得用戶對所有搜索結果頁面中各廣告的點擊次數以及各廣告的單次點擊價格，通過公式
“平均點擊價格=(i廣告單次點擊價格)/廣告點擊次數n =廣告點擊次
數”，例，其他現有的或今后可能出現的提供反饋信息及收集實驗結果信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。更優選地，實驗設備I還包括實驗控制裝置(未示出)，該實驗控制裝置在所述實驗結果信息收斂時，結束所述實驗。具體地，實驗執行裝置11并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得反饋信息；收集裝置根據實驗執行裝置獲得的反饋信息，收集實驗結果信息；實驗執行裝置11和收集裝置不斷基于新的實驗網絡流量循環執行，實驗控制裝置檢測該循環每次獲得的實驗結果信息，并且在收集的實驗結果信息收斂時結束實驗。在此，收斂表示實驗結果信息數據，如對于用戶點擊率xl、x2等，存在某一函數f (X)，當f (Xl)、f (x2)等收斂于f (xO)時，實驗結果信息收斂。例如，對收集裝置收集的用戶點擊率進行統計，獲得點擊率為xl、x2、x3等，且這些用戶點擊率滿足函數f(x)，對于任意實數b>0,存在 c>0,并當 0< |xl_xO| < c,0 < |x2_x0| <c,有函數 | f (xl)-f (x2)
<b存在，則用戶點擊率收斂于f(xO)，實驗控制裝置結束該實驗。本領域技術人員應能理解上述結束實驗的方式僅為舉例，其他現有的或今后可能出現的結束實驗的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。不同時間段的實驗網絡流量不同，因此根據每段時間的實驗網絡流量進行實驗所獲得的實驗結果會有波動。根據不同實驗網絡流量執行該實驗以獲得不同的實驗結果，直到該實驗結果趨于收斂，據此所獲得的實驗結果信息準確性可靠性大大提高。在再一個優選實施例中(參照圖8)，實驗設備I還包括流量獲取裝置(未示出)，該流量獲取裝置根據實驗的相關信息，獲取與所述多個實驗相對應的實驗網絡流量。以下參照圖8對該再一優選實施例進行詳細描述，其中，實驗相關信息獲取裝置12’獲取待執行 的并行利用網絡流量的多個實驗的相關信息；網絡流量獲取裝置13’根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量；實驗執行裝置11’并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖8所描述的實施例中實驗相關信息獲取裝置12’、網絡流量獲取裝置13’和實驗執行裝置11’所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，流量獲取裝置根據實驗相關信息獲取裝置12’獲得的實驗的相關信息，如實驗內容或實驗參數設置，獲取與該(等)實驗的相關信息相對應的實驗網絡流量，其中，實驗內容包括但不限于處理用戶網頁搜索請求、處理用戶訂閱信息更新內容推送、無用戶交互壓力測試實驗等，實驗參數設置包括但不限于如實驗所包括地理范圍、實驗對象等。在此，實驗網絡流量的獲取方式包括但不限于隨機地從全網絡流量或仿真網絡流量中提取流量作為實驗網絡流量。例如，根據實驗的相關信息中預設實驗內容為用戶頁面打開請求，預設實驗地理范圍為華北地區，流量獲取裝置根據全網絡流量中每條用戶請求的IP地址，有針對性的提取來自華北地區用戶頁面打開請求的網絡流量作為實驗網絡流量。在此，本領域技術人員應能理解上述實驗的相關信息中的任一項可以單獨用于獲取實驗網絡流量，也可以多項結合用于獲取實驗網絡流量。本領域技術人員應能理解上述獲取實驗網絡流量的方式僅為舉例，其他現有的或今后可能出現的獲取實驗網絡流量的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，流量獲取裝置還根據實驗環境，調整實驗網絡流量在全網絡流量中的比例；其中，所述實驗環境包括但不限于以下至少任一項-所述全網絡流量中的實際網絡流量；-用于執行所述多個實驗的時間長度。具體地，在預定實驗網絡流量下，流量獲取裝置根據實驗環境如全網絡流量的實際網絡流量的大小、執行多個實驗的時長等，提高或降低提取全網絡流量的比例以作為實驗網絡流量。例如，假設當全網絡流量的實際網絡流量為150M時，提取該全網絡流量中50%的流量作為實驗網絡流量，則當全網絡流量的實際網絡流量降低為IOOM時，在實驗時間長度不變的情況下，為達到滿足該實驗所需的實驗網絡流量，流量獲取裝置提高全網絡流量的提取比例至75%。又例如，假設當全網絡流量的實際網絡流量為250M，提取該全網絡流量中的40%的流量作為實驗網絡流量，則當全網絡流量的實際網絡流量不變的情況下，實驗時間長度縮短，為達到滿足該實驗所需的實驗網絡流量，流量獲取裝置提高全網絡流量的提取比例至80%。本領域技術人員應能理解上述獲取調整比例的方式僅為舉例，其他現有的或今后可能出現的調整比例的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，所述實驗網絡流量包括但不限于以下至少任一項-用戶網絡流量；-仿真網絡流量。具體地，若實驗網絡流量為用戶網絡流量，則流量獲取裝置從真實用戶的全網絡流量中提取部分網絡流量作為實驗網絡流量；若實驗網絡流量為仿真網絡流量，則流量獲 取裝置通過在專用仿真平臺如Opnet、Matlab等進行流量模型的建模和仿真，以獲取仿真網絡流量。例如，流量獲取裝置隨機地從用戶網絡流量提取流量作為實驗網絡流量。再如，流量獲取裝置利用專用仿真軟件Matlab，進行用戶網絡流量的建模和仿真，獲得與用戶網絡流量相同的仿真網絡流量，該仿真網絡流量達到預定的流量數據及各項性能指標，并從該仿真網絡流量中提取實驗網絡流量。本領域技術人員應能理解上述實驗網絡流量僅為舉例，其他現有的或今后可能出現的實驗網絡流量如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。圖11為根據本發明一個方面的方法流程圖，示出并行利用網絡流量進行實驗的過程。具體地，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。在此，實驗設備I包括但不限于網絡主機、單個網絡服務器、多個網絡服務器集或基于云計算的計算機集合，在此，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。本領域技術人員應能理解上述實驗設備僅為舉例，其他現有的或今后可能出現的實驗設備如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。更具體地，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。具體地，如圖12所示，存在多個待執行的并行利用網絡流量的實驗El、E2、E3，對于實驗網絡流量X，在步驟SI中，實驗設備I將其中的一部分網絡流量用于執行該多個實驗中的某一個實驗，如E1，以獲得相應的實驗反饋信息，而并行利用另一部分網絡流量執行該多個實驗中的至少兩個實驗，如E1、E2，以獲得相應的實驗反饋信息，或者在步驟SI中，實驗設備I并行利用該全部實驗網絡流量執行該多個實驗中的至少兩個實驗，如E1、E3和E1、E2、E3，以獲得相應的實驗反饋信息，再或者在步驟SI中，實驗設備I并行利用該全部網絡流量執行該多個實驗中的全部實驗，以獲得相應的實驗反饋信息。在此，“并行利用”意指利用網絡流量中的同一部分網絡流量執行多個實驗，該多個實驗的執行方式不限于并發執行或順序執行。其中，所述實驗網絡流量包括但不限于用戶網頁搜索請求、用戶頁面訪問請求、用戶訂閱信息、用戶歷史行為記錄、其他網站服務器的訪問請求等。例如，如圖13所示，El為根據用戶網頁搜索請求獲得搜索結果的實驗，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，實驗設備I從實驗網絡流量中提取一條用戶搜索網頁請求II，并根據Il中的查詢序列進行網頁搜索，在步驟SIIa中，實驗設備I執行實驗El以獲取搜索結果，然后，在步驟S12a中，實驗設備I執行實驗E2對其在步驟Slla中獲得的搜索結果按廣告價格進行排序，接著，在步驟S13a中，實驗設備I執行E3設置其在步驟S12a中獲得的排序后的搜索結果為按從左到右的方式展現，從而獲得搜索結果頁面作為反饋信息。又例如，如圖14所示，El為根據用戶網頁搜索請求獲得搜索結果的實驗，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，實驗設備I從實驗網絡流量中提取一條用戶搜索網頁請求12，并根據12中的查詢序列進行網頁搜索，在步驟Sllb中，實驗設備I執行實驗El以獲取搜索結果，然后，在步驟S12b中，實驗設備I對其在步驟Sllb中獲得的搜索結果按廣告價格進行排序；在執行實驗E2的同時，實驗設備I并發在步驟S13b中執行E3設置其在步驟Sllb中獲得的搜索結果為按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息。再例如，如圖15所示，E3為根據用戶網頁搜索請求將搜索結果按從左到右的方式展現的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗，E5為壓力測試實驗，測 試網站服務器可承受的最大壓力負荷，實驗設備I從實驗網絡流量中提取一條用戶搜索網頁請求13，并根據13中的查詢序列進行網頁搜索，在步驟S13c中，實驗設備I執行實驗E3將搜索結果按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息；在執行實驗E3的同時，實驗設備I并發在步驟S 14c中并發執行E4將搜索結果頁面以黃色背景顯示的方式進行展現，從而獲得另一個搜索結果頁面作為反饋信息；在執行實驗E3、E4的同時，實驗設備I并發在步驟S15c中并發執行實驗E5進行壓力測試實驗，從而獲得網站服務器可承受的最大搜索壓力負荷作為又一個反饋信息。再例如，如圖16所示，E2為根據用戶網頁搜索請求，將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，E6為根據用戶訂閱信息，推送該訂閱信息更新內容，實驗設備I從實驗網絡流量中提取一條用戶搜索網頁請求14，根據14中的查詢序列進行網頁搜索，在步驟S12d中，實驗設備I執行實驗E2對該搜索結果按廣告價格進行排序，接著，在步驟S13d中，實驗設備I執行E3設置其在步驟S12d中獲得的排序后的搜索結果為按從左到右的方式展現，從而獲得搜索結果頁面作為反饋信息；然后，從實驗網絡流量中提取一條用戶訂閱信息15，在步驟S 16d中，實驗設備I執行15相對應的實驗E6以推送該用戶訂閱信息的更新內容，并將該用戶訂閱信息更新內容作為反饋信息。本領域技術人員應能理解上述執行多個實驗或獲取反饋信息的方式僅為舉例，其他現有的或今后可能出現的執行多個實驗和獲取反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，實驗設備I在步驟SI中是持續不斷地工作。具體地，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。在此，本領域技術人員應理解“持續”是指實驗設備I在步驟SI中按照設定的或實時調整的工作模式要求進行執行多個實驗以及獲取實驗反饋信息，直至實驗設備I在較長時間內停止并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗。在一個優選實施例中(參照圖17)，該過程還包括步驟S2’和步驟S3’，在步驟S2’中，實驗設備I獲取待執行的并行利用網絡流量的多個實驗的相關信息；在步驟S3’中，實驗設備I根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。以下參照圖17對該優選實施例進行詳細描述，其中，在步驟SI，中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖11所描述的實施例中實驗設備I在步驟SI中所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，在步驟S2’中，實驗設備I通過諸如按照預先約定的通信協議接收從網絡服務器等網絡設備發送的預設的并行利用網絡流量的多個實驗的相關信息，或通過第三方設備提供的應用程序接口(API)，從第三方設備中獲取待執行的并行利用網絡流量的多個實驗的相關信息。例如，假設實驗設備I為網絡服務器，在步驟S2’中，實驗設備I按照預先約定的通信協議，如http、https等通信協議，接收該網絡服務器發送的預設的并行利用網絡流量的待執行多個實驗的相關信息。又如，在步驟S2’中，實驗設備I根據第三方設備提供的應用程序接口(API)，向第三方設備發送獲取并行利用網絡流量的預設的多個實驗的相關信息的請求，并接收該第三方設備基于該請求返回的預設多個實驗的相關信息。在此，實驗的相關信息包括但不限于參與執行用戶請求的實驗，如執行用戶請求處理中的一個步 驟，或執行一個完整的用戶請求處理；執行內容推送的實驗，如根據用戶的訂閱信息，執行用戶訂閱內容推送；及無用戶交互的實驗，如用于獲取系統能提供的最大服務級別的壓力測試實驗。隨后，在步驟S3’中，實驗設備I根據多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。具體地，在步驟S3’中，實驗設備I過濾實驗網絡流量，如遍歷當前實驗網絡流量，提取其中一條網絡流量，對該網絡流量進行分析，提取該網絡流量類型，將該網絡流量類型與實驗設備I在步驟S2’中獲取的待執行的并行利用網絡流量的多個實驗的相關信息一一進行匹配比較，若該網絡流量類型滿足該多個實驗的相關信息，則在步驟S3’中，實驗設備I獲取該與該多個實驗相對應的該一條網絡流量，循環執行該操作，直至實驗設備I在步驟S3’中完成過濾全部實驗網絡流量，并獲取與該多個實驗相對應的至少部分網絡流量。其中，實驗網絡流量包括但不限于從全網絡流量中隨機提取的用于實驗的部分網絡流量或從仿真網絡流量中提取的用于實驗的仿真網絡流量。例如，在步驟S2’中，實驗設備I獲取待執行的并行利用網絡流量的兩個實驗E2、E4的相關信息，其中，E2為根據用戶搜索網頁請求，將搜索結果按廣告價格進行排序的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗；在步驟S3’中，實驗設備I利用隨機從全網絡流量中提取的用于實驗的實驗網絡流量，提取其中一條網絡流量16，對16進行分析，提取其網絡流量類型為用戶頁面訪問請求，將該網絡流量類型與實驗E2、E4的相關信息中包括的該兩個實驗能夠處理的網絡流量類型進行匹配比較，結果為實驗E4能夠處理的網絡流量類型中包括16的網絡流量類型，但實驗E2能夠處理的網絡流量類型中不包括16的網絡流量類型，則在步驟S3’中，實驗設備I濾除該網絡流量16 ;實驗設備I在步驟S3’中循環提取下一條網絡流量17，對17進行分析，提取其網絡流量類型為用戶網頁搜索請求，將該網絡流量類型與實驗E2、E4的相關信息中包括的兩個實驗能夠處理的網絡流量類型進行匹配比較，結果為實驗E2、E4能夠處理的網絡流量類型中均包括17的網絡流量類型，則實驗設備I’獲取該網絡流量17。本領域技術人員應能理解上述獲取實驗的相關信息或獲取至少部分網絡流量的方式僅為舉例，其他現有的或今后可能出現的獲取實驗的相關信息和獲取至少部分網絡流量的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在另一個優選實施例中(參照圖18)，該過程還包括步驟S4”，在步驟S4”中，實驗設備I根據所述多個實驗的相關信息，確定所述多個實驗的執行順序；其中，在步驟SI”中，實驗設備I還用于根據所述執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。以下參照圖18對該另一優選實施例進行詳細描述，其中，在步驟S2”中，實驗設備I獲取待執行的并行利用網絡流量的多個實驗的相關信息；在步驟S3”中，實驗設備I根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量；其具體過程與前述參照圖17所描述的實施例中實驗設備I在步驟S2’和步驟S3’中所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。 具體地，在步驟S4”中，實驗設備I根據其在步驟S2”中獲取待執行的并行利用網絡流量的多個實驗的相關信息，提取多個實驗的相關信息中多個實驗相互依賴關系，例如實驗El的輸出是實驗E2的輸入，確定該多個實驗的執行順序；其中，在步驟SI”中，實驗設備I還用于根據該執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。例如，在步驟S2”中，實驗設備I獲取待執行的并行利用網絡流量的多個實驗分別為El根據用戶網頁搜索請求獲得搜索結果的實驗、E2將搜索結果按廣告價格進行排序的實驗、E3將搜索結果按從左到右的方式展現的實驗；其中，三個實驗的相互依賴關系為El的輸出為E2和E3的輸入，則在步驟S4”中，實驗設備I根據該依賴關系確定三個實驗執行的順序為先執行El獲得El的實驗輸出結果，并將該輸出作為E2和E3的實驗輸入并發執行E2和E3 ;在步驟SI”中，實驗設備I從實驗網絡流量中提取一條用戶搜索網頁請求12，并根據12中的查詢序列進行網頁搜索，在此過程中執行實驗El以獲取搜索結果，然后，執行實驗E2對搜索結果按廣告價格進行排序；在執行實驗E2的同時，并發執行E3設置搜索結果為按從左到右的方式展現，從而獲得一個搜索結果頁面作為反饋信息。本領域技術人員應能理解上述確定多個實驗的執行順序的方式僅為舉例，其他現有的或今后可能出現的確定多個實驗的執行順序的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在另一個優選實施例中(參照圖11)，在步驟SI中，實驗設備I還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，將每個實驗的輸出進行合并以獲得實驗反饋信息。具體地，在步驟SI中，實驗設備I還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，從而獲得每個實驗的實驗結果輸出，將每個實驗的輸出進行合并以獲得實驗反饋信息。例如，E2為將搜索結果按廣告價格進行排序的實驗，E3為將搜索結果按從左到右的方式展現的實驗，E4為將頁面以黃色背景顯示的方式進行展現的實驗；在步驟SI中，實驗設備I利用實驗網絡流量中的一條用戶網頁搜索請求18，并根據18中的查詢序列進行網頁搜索，在此過程中執行實驗E2從而得到實驗E2的實驗結果輸出，且執行E3從而得到實驗E3的實驗結果輸出，并執行E4從而得到實驗E4的實驗結果輸出，將三個實驗結果輸出合并，進而獲得合并后的搜索結果頁面作為反饋信息。本領域技術人員應能理解上述合并獲得反饋信息的方式僅為舉例，其他現有的或今后可能出現的合并獲得反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。
在另一個優選實施例中(參照圖11)，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，并基于每個實驗的輸出分別獲得實驗反饋信息。具體地，在步驟SI中，實驗設備I還并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，從而獲得每個實驗的實驗結果輸出，并將每個實驗的輸出分別生成反饋結果。例如，E5為壓力測試實驗，測試網站服務器可承受的最大壓力負荷，獲得該網站服務器提供的最大的服務級別，E6為根據用戶訂閱信息，推送該訂閱信息更新內容；在步驟SI中，實驗設備I利用實驗網絡流量中的一條用戶訂閱信息19，執行實驗E6對用戶訂閱信息更新內容進行推送，將該用戶訂閱信息更新內容作為反饋信息，同時執行實驗E5進行壓力測試，以獲得服務器可承受的最大推送壓力負荷作為反饋信息。本領域技術人員應能理解上述分別獲得反饋信息的方式僅為舉例，其他現有的或今后可能出現的分別獲得反饋信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。在又一個優選實施例中(參照圖11)，該過程還包括步驟S5(未示出)，在步驟S5中，實驗設備I根據所述反饋信息，收集實驗結果信息。以下參照圖11對該又一優選實施例進行詳細描述，其中，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖11所描述的實施例中實 驗設備I在步驟SI中所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，在步驟S5中，實驗設備I根據其在步驟SI中獲得的實驗反饋信息，收集實驗結果信息。例如反饋信息為結果展示頁面，在步驟S5中，實驗設備I根據該結果展示頁面，收集實驗結果信息。在此，實驗結果信息包括但不限于內容展現量、千次展現價格等。例如，在步驟S5中，實驗設備I根據其在步驟SI中獲得的所有搜索結果頁面，獲得在這些搜索結果頁面中各廣告的展現次數，即各廣告的內容展現量；并根據所有搜索結果頁面中展現的各廣告的廣告單次展現價格及其內容展現量，通過公式
“千次展現價格=(廣告單次展現價格)/內容展現量)xl000,k =內
容展現量”，計算獲得各廣告的千次展現價格。本領域技術人員應能理解上述收集實驗結果信息的方式僅為舉例，其他現有的或今后可能出現的收集實驗結果信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，該過程還包括步驟S51(未示出)和S52(未示出)，在步驟S51中，實驗設備I向用戶提供所述反饋信息；在步驟S52中，實驗設備I根據所述反饋信息和所述用戶對所述反饋信息的響應，收集所述實驗結果信息。具體地，根據實驗設備I在步驟SI中獲得的諸如搜索結果頁面的反饋信息，在步驟S51中，實驗設備I例如將該反饋信息發送至該用戶的用戶設備，用戶通過其用戶設備瀏覽該反饋信息；或者將該反饋信息的URL發送至該用戶的用戶設備，由該用戶經該用戶設備點擊該URL，從而進入相應頁面以獲得該反饋信息。例如，在步驟SI中，實驗設備I獲得的作為反饋信息的所有搜索結果頁面，在步驟S51中，實驗設備I將該搜索結果頁面發送至用戶的用戶設備，該用戶通過該用戶設備瀏覽該搜索結果頁面。在步驟S52中，實驗設備I根據其在步驟S51中向用戶提供的反饋信息和該(等)用戶對該(等)反饋信息的響應，收集實驗結果信息，例如根據實驗設備I在步驟S51中向用戶提供的搜索結果頁面，和這些用戶通過用戶設備進行的瀏覽和點擊操作記錄，在步驟S52中，實驗設備I收集實驗結果信息。在此，實驗結果信息包括但不限于內容展現量、千次展現價格、平均點擊率和平均點擊價格等。例如，在步驟S52中，實驗設備I根據其在步驟SI中獲得的所有搜索結果頁面，獲得在這些搜索結果頁面中各廣告的展現次數，即各廣告的內容展現量；在步驟S52中，實驗設備I根據所有搜索結果頁面中展現的各廣告的廣告
單次展現價格及其內容展現量，通過公式“千次展現價格=((i廣告單次展現
卜I
價格)/內容展現量)X 1000，k =內容展現量”，計算獲得各廣告的千次展現價格；在步驟S52中，實驗設備I根據用戶通過用戶設備對搜索結果頁面的瀏覽和點擊操作記錄，獲得用戶對所有搜索結果頁面中各廣告的點擊次數，計算用戶對所有搜索結果頁面中所展現的各廣告的點擊次數與在所有搜索結果頁面中各廣告的展現次數的比值，即用戶點擊率；在步驟S52中，實驗設備I根據用戶通過用戶設備對搜索結果頁面的瀏覽和點擊操作記錄，獲得用戶對所有搜索結果頁面中各廣告的點擊次數以及各廣告的單次點擊價格，通過 公式“平均點擊價格=(a廣告單次點擊價格)/廣告點擊次數,n =廣告點
擊次數”，計算獲得各廣告的平均點擊價格。本領域技術人員應能理解上述提供反饋信息或收集實驗結果信息的方式僅為舉例，其他現有的或今后可能出現的提供反饋信息及收集實驗結果信息的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。更優選地，該過程還包括步驟S6 (未示出)，在步驟S6中，實驗設備I在所述實驗結果信息收斂時，結束所述實驗。具體地，在步驟SI中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得反饋信息；在步驟S5中，實驗設備I根據其在步驟SI中獲得的反饋信息，收集實驗結果信息；在步驟SI和步驟S5中，實驗設備I不斷基于新的實驗網絡流量循環執行，在步驟S6中，實驗設備I檢測該循環每次獲得的實驗結果信息，并且在收集的實驗結果信息收斂時結束實驗。在此，收斂表示實驗結果信息數據，如對于用戶點擊率xl、x2等，存在某一函數f(x)，當f(xl)、f(x2)等收斂于f(x0)時，實驗結果信息收斂。例如，對實驗設備I在步驟S5中收集的用戶點擊率進行統計，獲得點擊率為xl、x2、x3等，且這些用戶點擊率滿足函數f(x)，對于任意實數b > 0，存在c > 0，并當0
<xl-xO <c，0< x2-x0 < c，有函數|f(xl)-f(x2) I < b存在，則用戶點擊率收斂于f (xO),在步驟S6中，實驗設備I結束該實驗。本領域技術人員應能理解上述結束實驗的方式僅為舉例，其他現有的或今后可能出現的結束實驗的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。不同時間段的實驗網絡流量不同，因此根據每段時間的實驗網絡流量進行實驗所獲得的實驗結果會有波動。根據不同實驗網絡流量執行該實驗以獲得不同的實驗結果，直到該實驗結果趨于收斂，據此所獲得的實驗結果信息準確性可靠性大大提高。在再一個優選實施例中(參照圖17)，該過程還包括步驟S7’，在步驟S7’中，實驗設備I根據實驗的相關信息，獲取與所述多個實驗相對應的實驗網絡流量。以下參照圖17對該再一優選實施例進行詳細描述，其中，在步驟S2’中，實驗設備I獲取待執行的并行利用網絡流量的多個實驗的相關信息；在步驟S3’中，實驗設備I根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量；在步驟SI’中，實驗設備I并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息；其具體過程與前述參照圖17所描述的實施例中實驗設備I在步驟S2’、步驟S3’中和步驟SI’中所執行的過程相同，為簡明起見，以引用方式包含于此，而不做贅述。具體地，在步驟S7’中，實驗設備I根據其在步驟S2’中獲得的實驗的相關信息，如實驗內容或實驗參數設置，獲取與該(等)實驗的相關信息相對應的實驗網絡流量，其中，實驗內容包括但不限于處理用戶網頁搜索請求、處理用戶訂閱信息更新內容推送、無用戶交互壓力測試實驗等，實驗參數設置包括但不限于如實驗所包括地理范圍、實驗對象等。在此，實驗網絡流量的獲取方式包括但不限于隨機地從全網絡流量或仿真網絡流量中提取流量作為實驗網絡流量。例如，根據實驗的相關信息中預設實驗內容為用戶頁面打開請求，預設實驗地理范圍為華北地區，在步驟S7’中，實驗設備I根據全網絡流量中每條用戶請求的IP地址，有針對性的提取來自華北地區用戶頁面打開請求的網絡流量作為實驗網絡流量。在此，本領域技術人員應能理解上述實驗的相關信息中的任一項可以單獨用于獲取實驗網絡流量，也可以多項結合用于獲取實驗網絡流量。本領域技術人員應能理解上述獲取實驗網絡流量的方式僅為舉例，其他現有的或今后可能出現的獲取實驗網絡流量的方式如 可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，在步驟S7’中，實驗設備I還根據實驗環境，調整實驗網絡流量在全網絡流量中的比例；其中，所述實驗環境包括但不限于以下至少任一項-所述全網絡流量中的實際網絡流量；-用于執行所述多個實驗的時間長度。具體地，在預定實驗網絡流量下，在步驟S7’中，實驗設備I根據實驗環境如全網絡流量的實際網絡流量的大小、執行多個實驗的時長等，提高或降低提取全網絡流量的比例以作為實驗網絡流量。例如，假設當全網絡流量的實際網絡流量為150M時，提取該全網絡流量中50%的流量作為實驗網絡流量，則當全網絡流量的實際網絡流量降低為100M時，在實驗時間長度不變的情況下，為達到滿足該實驗所需的實驗網絡流量，在步驟S7’中，實驗設備I提高全網絡流量的提取比例至75%。又例如，假設當全網絡流量的實際網絡流量為250M，提取該全網絡流量中的40%的流量作為實驗網絡流量，則當全網絡流量的實際網絡流量不變的情況下，實驗時間長度縮短，為達到滿足該實驗所需的實驗網絡流量，在步驟S7’中，實驗設備I提高全網絡流量的提取比例至80%。本領域技術人員應能理解上述獲取調整比例的方式僅為舉例，其他現有的或今后可能出現的調整比例的方式如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。優選地，所述實驗網絡流量包括但不限于以下至少任一項-用戶網絡流量；-仿真網絡流量。具體地，若實驗網絡流量為用戶網絡流量，則在步驟S7’中，實驗設備I從真實用戶的全網絡流量中提取部分網絡流量作為實驗網絡流量；若實驗網絡流量為仿真網絡流量，貝1J在步驟S7’中，實驗設備I通過在專用仿真平臺如Opnet、Matlab等進行流量模型的建模和仿真，以獲取仿真網絡流量。例如，在步驟S7’中，實驗設備I隨機地從用戶網絡流量提取流量作為實驗網絡流量。再如，在步驟S7’中，實驗設備I利用專用仿真軟件Matlab，進行用戶網絡流量的建模和仿真，獲得與用戶網絡流量相同的仿真網絡流量，該仿真網絡流量達到預定的流量數據及各項性能指標，并從該仿真網絡流量中提取實驗網絡流量。本領域技術人員應能理解上述實驗網絡流量僅為舉例，其他現有的或今后可能出現的實驗網絡流量如可適用于本發明，也應包含在本發明保護范圍以內，并以引用方式包含于此。對于本領域技術人員而言，顯然本發明不限于上述示范性實施例的細節，而且在不背離本發明的精神或基本特征的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有 變化涵括在本發明內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。此夕卜，顯然“包括” 一詞不排除其他單元或步驟，單數不排除復數。裝置權利要求中陳述的多個單元或裝置也可以由一個單元或裝置通過軟件或者硬件來實現。第一，第二等詞語用來表示名稱，而并不表示任何特定的順序。
權利要求
1.一種由計算機實現的基于網絡流量進行實驗的方法，其中，該方法包括以下步驟 A并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。
2.根據權利要求I所述的方法，其中，該方法還包括 -獲取待執行的并行利用網絡流量的多個實驗的相關信息； -根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。
3.根據權利要求2所述的方法，其中，該方法還包括 -根據所述多個實驗的相關信息，確定所述多個實驗的執行順序； 其中，所述步驟A還包括 -根據所述執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。
4.根據權利要求I至3中任一項所述的方法，其中，所述步驟A還包括 -并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，將每個實驗的輸出進行合并以獲得實驗反饋信息。
5.根據權利要求I至3中任一項所述的方法，其中，所述步驟A還包括 -并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，并基于每個實驗的輸出分別獲得實驗反饋信息。
6.根據權利要求I至5中任一項所述的方法，其中，該方法還包括 i根據所述反饋信息，收集實驗結果信息。
7.根據權利要求6所述的方法，其中，所述步驟i還包括 -向用戶提供所述反饋信息； -根據所述反饋信息和所述用戶對所述反饋信息的響應，收集所述實驗結果信息。
8.根據權利要求6至7中任一項所述的方法，其中，該方法還包括 -重復執行所述步驟A和i，直到所述實驗結果信息收斂。
9.根據權利要求2至8中任一項所述的方法，其中，該方法還包括 X根據所述多個實驗的相關信息，獲取與所述多個實驗相對應的實驗網絡流量。
10.根據權利要求9所述的方法，其中，所述步驟X還包括 -根據實驗環境，調整所述實驗網絡流量在全網絡流量中的比例； 其中，所述實驗環境包括以下至少任ー項 -所述全網絡流量中的實際網絡流量； -用于執行所述多個實驗的時間長度。
11.根據權利要求10所述的方法，其中，所述實驗網絡流量包括以下至少任ー項 -用戶網絡流量； -仿真網絡流量。
12.ー種基于網絡流量進行實驗的設備，其中，該設備包括 實驗執行裝置，用于并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。
13.根據權利要求12所述的設備，其中，該設備還包括 實驗相關信息獲取裝置，用于獲取待執行的并行利用網絡流量的多個實驗的相關信息； 網絡流量獲取裝置，用于根據所述多個實驗的相關信息來過濾實驗網絡流量，以獲得與所述多個實驗相對應的所述至少部分網絡流量。
14.根據權利要求13所述的設備，其中，該設備還包括 實驗順序控制裝置，用于根據所述多個實驗的相關信息，確定所述多個實驗的執行順序; 其中，所述實驗執行裝置還用于根據所述執行順序，并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。
15.根據權利要求12至14中任一項所述的設備，其中，實驗執行裝置還用于并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，將每個實驗的輸出進行合并以獲得實驗反饋信息。
16.根據權利要求12至14中任一項所述的設備，其中，實驗執行裝置還用于并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，并基于每個實驗的輸出分別獲得實驗反饋信息。
17.根據權利要求12至16中任一項所述的設備，其中，該設備還包括 收集裝置，用于根據所述反饋信息，收集實驗結果信息。
18.根據權利要求17所述的設備，其中，所述收集裝置還包括 提供単元，用于向用戶提供所述反饋信息； 結果收集単元，用于根據所述反饋信息和所述用戶對所述反饋信息的響應，收集所述實驗結果信息。
19.根據權利要求17至18中任一項所述的設備，其中，該設備還包括 實驗控制裝置，用于當所述實驗結果信息收斂吋，結束所述實驗。
20.根據權利要求13至19中任一項所述的設備，其中，該設備還包括 流量獲取裝置，用于根據實驗的相關信息，獲取與所述多個實驗相對應的實驗網絡流量。
21.根據權利要求20所述的設備，其中，所述流量獲取裝置還用于根據實驗環境，調整實驗網絡流量在全網絡流量中的比例； 其中，所述實驗環境包括以下至少任ー項 -所述全網絡流量中的實際網絡流量； -用于執行所述多個實驗的時間長度。
22.根據權利要求21所述的設備，其中，所述實驗網絡流量包括以下至少任ー項 -用戶網絡流量； -仿真網絡流量。
全文摘要
本發明的目的是提供一種并行利用網絡流量進行實驗的方法與設備。其中，實驗設備并行利用實驗網絡流量中至少部分網絡流量來執行多個實驗，以獲得實驗反饋信息。本發明根據待執行的并行利用網絡流量的多個實驗的相關信息，通過過濾實驗網絡流量，獲得與所述多個實驗相對應的至少部分網絡流量，并根據該部分網絡流量，執行與部分網絡流量相對應的多個實驗，由此提高每個實驗獲得的網絡流量樣本輸入數量，在實驗時間一定的情況下，使得實驗結果準確性得到極大的提高，并降低實驗執行的時間成本。
文檔編號H04L12/24GK102780573SQ20111012149
公開日2012年11月14日 申請日期2011年5月11日 優先權日2011年5月11日
發明者毛繼明, 高楠 申請人:百度在線網絡技術(北京)有限公司