具有功能鏈接能力的網絡功能虛擬化平臺的制作方法

            文檔序號:10724849閱讀:251來源:國知局
            具有功能鏈接能力的網絡功能虛擬化平臺的制作方法
            【專利摘要】本申請公開了具有功能鏈接能力的網絡功能虛擬化平臺。本申請提供一種用于網絡功能虛擬化(NFV)的虛擬化平臺。虛擬化平臺可以包括耦合至加速器協處理器的主處理器。加速器協處理器可以是可重新配置的集成電路,以有助于提供針對NFV的改進的靈活性和敏捷性。協處理器可以包括多個虛擬功能硬件加速器模塊,每個虛擬功能硬件加速器模塊經配置以執行相應的加速器功能。運行在主處理器上的虛擬機可希望在協處理器處對給定數據連續執行多個加速器功能。在一個合適的布置中,由加速器功能中的每個輸出的中間數據可以被反饋至主處理器。在另一合適的布置中,連續的功能調用可以被鏈接在一起,以便僅有最終所得數據被反饋至主處理器。
            【專利說明】具有功能鏈接能力的網絡功能虛擬化平臺
            [0001 ] 本申請要求在2015年4月28日提交的美國專利申請N0.14/698636的優先權,該美國專利申請通過引用以其整體并入本文。
            技術領域
            【背景技術】
            [0002]互聯網的發展已經幫助創建將全球范圍內的數十億臺設備連接在一起的網絡的網絡。通常,最快和最可靠的網絡利用定制的專用集成電路(ASIC)和專用硬件建成。因此,大型企業網絡往往類似于復雜的單片系統。在此類定制系統中,臨時添加功能并對這些系統做出改變的同時確保網絡不遭受任何干擾是非常具有挑戰性的。
            [0003]由于近來網絡在商品計算硬件方面集聚的進步,以前只能通過專有的專用硬件才能夠被供給的服務現在可以使用運行在商品硬件上的軟件通過利用標準信息技術(IT)的虛擬化技術來提供,該標準信息技術(IT)的虛擬化技術在大容量服務器、交換機和存儲硬件上運行以虛擬化網絡功能。通過利用標準IT虛擬化技術來將不同類型的網絡設備整合到商用“現成的”大容量服務器、交換機和存儲裝置上,網絡功能諸如網絡地址轉換(NAT)、防火墻、入侵檢測、域名服務(DNS)、負載均衡和高速緩存(僅舉幾例)可以從專有硬件被解耦并且代替地可以以軟件運行。這種在商品硬件上的網絡功能的虛擬化有時被稱為網絡功能虛擬化(NFV)。
            [0004]為了開發完全虛擬化的基礎設施,領先的服務供應商已經走到一起并創建了用于網絡功能虛擬化(NFV)的歐洲電信標準協會(ETSI)行業規范組(ISG)。該行業規范組已幫助創建了用于虛擬化電信網絡內的各種功能的體系結構和相關要求。網絡功能虛擬化的益處包含降低資本支出(即,通過減少購買專用硬件的需求)、運營支出(即,通過減少空間、電力和冷卻要求)、減少進入市場的時間(S卩,加速部署)、提高了解決不斷變化的需求的靈活性等。
            [0005]正是在這種背景下,出現了本文所描述的實施例。

            【發明內容】

            [0006]本發明提供一種網絡功能虛擬化(NFV)平臺,其包括耦合至充當硬件加速器的可重新配置的協處理器的主處理器。協處理器可以包括虛擬功能硬件加速器,所述虛擬功能硬件加速器用于提高運行在主處理器上的至少一些虛擬機的性能。根據一個實施例,在協處理器中的多個虛擬功能硬件加速器模塊可以經配置以執行不同的功能。
            [0007]例如,第一加速器模塊可經配置以執行第一功能,第二加速器模塊可經配置以執行不同于第一功能的第二功能,以及第三加速器模塊可經配置以執行不同于第一功能和第二功能的第三功能。具體地,所述協處理器可以包括數據交換電路,所述數據交換電路接收從第一加速器模塊輸出的數據并將所述數據直接路由回至第二加速器模塊(同時防止所述數據被輸出到主處理器)。類似地,所述數據交換電路也可以接收從第二加速器模塊輸出的數據并將所述數據直接路由回至第三加速器模塊(同時防止所述數據被輸出到主處理器)。
            [0008]正由加速器模塊處理的數據可以從外部存儲器裝置被檢索,所述外部存儲器裝置使用協處理器內的直接存儲器存取(DMA)引擎而被直接附連至主處理器。
            [0009]數據交換電路可經配置以根據條件鏈接指令組執行功能鏈接而無需將中間數據發送回至外部存儲器裝置。
            [0010]根據另一實施例,數據交換電路可將中間數據結果路由回至外部存儲器裝置以用于臨時存儲。換句話說,中間數據結果可仍然被發送回至主處理器,即使它們將被立即發送回至另一加速器模塊以執行連續的功能調用。
            [0011]通過隨附附圖和以下的詳細描述,本發明的進一步特征、其本質以及各種優點將更加明顯。
            【附圖說明】
            [0012I圖1是根據實施例示出網絡功能虛擬化(NFV)的示意圖。
            [0013]圖2是根據實施例的說明性可編程集成電路的示意圖。
            [0014]圖3是根據實施例的包括耦合至可編程硬件加速器的中央處理單元(CPU)的說明性NFV平臺的示意圖。
            [0015]圖4是根據實施例示出在其中每個硬件加速器功能結果被發送回至主存儲器的一個合適的實施方式的示意圖。
            [0016]圖5是根據實施例的用于操作圖4的電路實施方式的說明性步驟的流程圖。
            [0017]圖6根據實施例示出提供硬件加速器功能鏈接能力的另一合適的實施方式的示意圖。
            [0018]圖7是根據實施例的說明性數據類型描述符的示意圖。
            [0019]圖8是根據實施例的與具體路由標識符的數據相關聯的說明性鏈接指令的示意圖。
            [0020]圖9是根據實施例示出需要被滿足以便執行圖8的鏈接指令中的每個的示例性條件的示意圖。
            [0021]圖10是根據圖6-9的實施例的涉及操作NFV平臺的說明性步驟的流程圖。
            【具體實施方式】
            [0022]本發明的實施例涉及網絡功能虛擬化(NFV),并且更具體地涉及用于NFV的硬件加速。本領域的技術人員將認識到,本示例性實施例可以在沒有這些具體細節的一些或全部的情況下來實施。在其它實例中,眾所周知的操作并沒有被詳細描述,以免不必要地模糊本實施例。
            [0023]通常,使用零散的非商品硬件來創建復雜的網絡。當擴展或升級網絡時,需要安裝新的專用硬件,這不僅增加現有供應商的部署成本,而且對新供應商呈現出大的進入壁皇,限制了創新和競爭。
            [0024]為了加快新網絡服務的部署,以滿足不斷增長的提高網絡速度和可靠性的消費者需求,供應商(例如,電信運營商或服務提供商,諸如AT&T、Verizon、British Telecom等)已經走到一起并創建了歐洲電信標準協會(ETSI)行業規范組(ISG)。自此以來,ETSI ISG已引進了可應用到聯網(networking)技術以形成更智能和更靈活的服務基礎設施的虛擬化技術。運行網絡功能諸如通常由專用路由器、防火墻、負載均衡器、內容分發網絡(CDN)、寬帶網絡網關(BNG)、網絡地址轉換器(NAT)、域名系統(DNS)以及在商品硬件上以軟件形式的其它聯網設備所執行的那些網絡功能的這種概念有時被稱為網絡功能虛擬化(NFV)。
            [0025]網絡功能虛擬化的概念在圖1中被示出。如圖1的系統100所示,NFV允許由多個獨立供應商提供的服務單獨運行在云102中的一個或多個虛擬應用104上。實際上,由不同軟件供應商提供的網絡服務可以使用運行在商用的現成硬件上的虛擬應用104來實現,所述硬件包括但不限于標準大容量交換機106、標準大容量存儲器108和標準大容量服務器110(例如,網絡功能可以被編排并被遠程地安裝在商品物理基礎設施上而不是在更昂貴的制造商設計的專用硬件上)。
            [0026]將不同的網絡組件轉移到商品硬件有助于消除針對現場的(onsite)不同應用而對更昂貴的專用硬件的使用,并且因此有助于消除浪費的過度配置并可以大大減少資本支出。整體基礎設施的虛擬化還有助于簡化用于管理網絡的操作過程和設備。由于所有的服務都在相同的商品硬件上被運行,所以數據中心運營商不再需要支持多個供應商和硬件模型,從而簡化了基礎硬件支持/管理,并提供允許在不同的服務和組件內和在不同的服務和組件之間的自動操作和編排的統一的基礎設施。
            [0027]例如,網絡管理員可以協調資源的可用性(在NFV框架內)并且使服務可用所需要的程序自動操作,這減少了管理過程的人類操作員的需求,并從而降低錯誤的可能性。此夕卜,NFV也可以幫助減少時間以在對網絡基礎設施的破壞最小化的情況下部署新聯網服務,從而有助于抓住新的市場機遇并提高新服務的投資回報(ROI),同時通過允許服務以軟件形式迅速地被擴大或縮小以滿足客戶的需求來提供增強的敏捷性和靈活性。如果需要的話,NFV可以結合軟件定義聯網(SDN)方法來實現,該方法使網絡的控制面和轉發面分離以提供更集中的分布式網絡視圖,以便網絡服務的更有效的編排和自動化。
            [0028]通常,可以存在至少兩種不同類型的網絡功能虛擬化平臺,其包括本地(native)“裸機(bare metal ),’虛擬化實施方式和“托管/主控(hosted)”虛擬化實施方式。裸機虛擬化包括在主機上安裝作為第一操作系統的管理程序(hypervisor)(S卩,創建并運行一個或多個虛擬機的計算機軟件),而托管虛擬化包括在運行在主機上的已活(live)的操作系統(即,主操作系統)之上安裝管理程序。“裸機”虛擬化提供對主機上的硬件資源的直接訪問并且通常被用于企業解決方案。另一方面,托管虛擬化除了允許運行多個訪客(guest)操作系統外只可以通過主操作系統訪問硬件,并且因此托管虛擬化通常被用于桌面(desktop)解決方案。
            [0029]通常,與裸機實施方式相比,托管實施方式在平均響應時間上表現出增加的延時和相對較寬的統計擴散(statistical spread)。托管實施方式的這種延時增加和變化性可能是由于通過共享資源所引起的爭奪并且也可能由于與用于在多個訪客操作系統之間處理所需要的額外聯網層相關聯的開銷。
            [0030]為了提供改進的性能可預測性,數據中心運營商(例如,網絡協調器(orchestrator),諸如微軟、谷歌和亞馬遜,僅舉幾例)為通用中央處理單元(例如,圖1的設備106、108和110內的用于實現虛擬應用的CPU)提供資源可用性描述(RAD)。然而,資源可用性描述只提供本地信息(諸如CPU速度和本地存儲的量/類型),但并不明確說明CPU與外部組件交互的如何。
            [0031]為進一步加強虛擬化網絡的可實現速度,商品CPU可耦合到硬件加速器集成電路(有時候稱為“協處理器”)。根據一個實施例,硬件加速器器件可以是可編程集成電路,諸如可編程邏輯器件(PLD)。可以作為硬件加速器使用的該類型的說明性集成電路在圖2中被示出。如圖2所示,集成電路10可以包括存儲器元件20。存儲器元件20可以被加載有配置數據以配置可編程晶體管,諸如在可編程電路(可編程邏輯)18中的導通(pass)晶體管(有時被稱為導通柵極(gate)或導通柵極晶體管)。
            [0032]因為存儲器元件20可以被用于存儲可編程邏輯18的配置數據,所以存儲器元件20有時可以被稱為配置隨機存取存儲器元件(CRAM)。集成電路10可以被配置為通過配置可編程邏輯18而實現自定義邏輯功能,因此集成電路10有時可以被稱為可編程集成電路。
            [0033]如圖2所示,可編程集成電路10可具有用于經由輸入-輸出引腳14驅離器件10的信號和接收來自其他器件的信號的輸入/輸出電路12。互連資源16 (諸如全局和局部的垂直和水平的導線和總線)可以被用于路由器件10上的信號。互連資源16可以包括固定互連(導線)和可編程互連(即,在相應固定互連之間的可編程連接)。
            [0034]可編程邏輯18可以包括組合邏輯電路和時序邏輯電路。可編程邏輯18可以經配置以執行自定義邏輯功能。與互連資源16相關聯的可編程互連可以被認為形成可編程邏輯18的一部分。
            [0035]當存儲器元件20被加載有配置數據時,所述存儲器元件中的每個提供對應的靜態控制輸出信號,所述靜態控制輸出信號控制可編程邏輯18中相關聯的邏輯組件的狀態。例如,存儲器元件的輸出信號可以被用于控制可編程組件(諸如復用器、邏輯門諸如“與”門、“與非”門等)中的金屬氧化物半導體(MOS)(諸如η溝道金屬氧化物半導體(匪OS)導通晶體管)晶體管的柵極。如果需要的話,P溝道金屬氧化物半導體(例如,P溝道金屬氧化物半導體導通晶體管)也可以由來自存儲器元件20的輸出信號來控制。當與NMOS導通晶體管相關聯的存儲器元件輸出為高時,由該存儲器元件控制的導通晶體管被接通并從其輸入端向其輸出端傳送邏輯信號。在存儲器元件輸出為低時,NMOS導通晶體管被關斷并且不傳送邏輯信號。當來自存儲器元件的輸出端的被施加到P溝道金屬氧化物半導體(PMOS)導通晶體管的柵極的信號為低(例如,O伏)時,所述P溝道金屬氧化物半導體(PMOS)導通晶體管被接通,并且當存儲器元件的輸出為高(即,NMOS和PMOS控制信號的極性被反轉)時,所述P溝道金屬氧化物半導體(PMOS)導通晶體管被關斷。
            [0036]配置隨機存取存儲器元件20可以被布置成陣列模式。例如,在集成電路10上可以存在數百萬個存儲器元件20。在編程操作期間,存儲器元件的陣列被提供有配置數據。一旦存儲器元件20被加載配置數據,其可以選擇性地控制(例如,接通和關斷)可編程邏輯18中的電路的部分并且由此自定義電路1的電路功能。
            [0037]可編程集成電路10的電路可使用任何合適的體系結構來組織。作為示例,可編程集成電路10的電路可以被組織為一系列可編程邏輯塊(區域)的行和列,每個可編程邏輯塊(區域)包括多個更小的邏輯區域。集成電路10的邏輯資源可以通過互連資源16(諸如相關聯的垂直導線和水平導線)而被互連。這些導線可以包括基本上跨越器件10的全部的全局導線、跨越器件10的一部分的部分線諸如半線或四分之一線、特定長度的交錯線(例如,足夠互連幾個邏輯區)、更小的局部線或任何其它合適的互連資源布置。如果需要的話,可編程集成電路10的電路可以以更多的級或層來被布置,其中多個大的區域被互連以形成更大的邏輯部分。其它器件布置可仍然使用不是以行和列布置的邏輯。
            [0038]在其中器件10被描述為可編程集成電路的圖2的示例僅僅是說明性的,并且不用于限制本發明的范圍。本文所描述的方法和裝置可被并入任何合適的電路。例如,所述方法和裝置也可以被并入多種類型的器件,諸如微處理器、數字信號處理器、專用標準產品(ASSP)、專用集成電路(ASIC)、可編程陣列邏輯(PAL)、可編程邏輯陣列(PLA)、現場可編程邏輯陣列(FPLA)、電可編程邏輯器件(EPLD)、電可擦除可編程邏輯器件(EEPLD)、邏輯單元陣列(LCA)、現場可編程門陣列(FPGA),僅舉幾例。
            [0039]圖3是說明性NFV平臺300的示意圖,其中中央處理單元(CPU)302被耦合到硬件加速器協處理器(諸如可編程集成電路350)。如圖3所示,在CPU302上運行的軟件/固件可以至少包括管理程序308和N個相關聯的虛擬機306 (例如,虛擬機306-1、306-2.....306-n)以及虛擬根310。管理程序308被安裝在其上的CPU 302可以被稱為“主機”。
            [0040]如上所述,管理程序308可以充當在服務器上運行一個或多個虛擬機306的虛擬機管理器(VMM)。每個虛擬機306可以被稱為“訪客機”并且均可以運行訪客操作系統(OS)。管理程序向訪客操作系統呈現虛擬操作平臺并管理訪客操作系統的執行,同時共享虛擬化硬件資源。管理程序308可以(作為類型-1裸機管理程序)直接運行在主機的硬件上或可以(作為類型-2托管管理程序)運行在現有的主操作系統之上。如果需要的話,附加的半虛擬化驅動程序和工具(未示出)可被用來幫助每個訪客虛擬機與底層物理硬件更有效地通信。CPU302也是可操作的以與片外主存儲器304直接通信。在其它合適的實施例中,CPU302可經配置以與網卡、盤驅動器控制器、圖形卡、聲卡等通信。
            [0041]在圖3的示例中,根310可用作根復合體(complex),其使用快速外圍組件互連(PCIe)標準與加速器350中的對應的虛擬端點(endpoint)352連接(interface)。在PCIe系統中,根復合體可以指經配置將CPU連接至其它PCIe端點和/或PCIe開關的器件,PCIe端點和其它類型的端點可以被連接到所述器件。根復合體通常利用包括事務層、數據鏈路層和物理層的完整PCIe協議棧來實現。使用PCIe總線來連接CPU 302和協處理器350僅是說明性的。如果需要的話,可以使用其它類型的輸入輸出接口技術,其包括工業標準體系結構(ISA)總線標準、微通道體系結構(MCA)總線標準、視頻電子標準協會本地總線(VESA)總線標準、傳統PCI總線標準、加速圖形端口(AGP)總線標準、通用串行總線(USB)標準、通用異步接收器/發送器(UART)總線標準等。
            [0042]仍參考圖3,在協處理器350上運行的軟件/固件也可以至少包括存儲器控制器358(例如,用于與直接耦合至協處理器350的外部存儲器360連接的存儲器控制器)、直接存儲器存取(DMA)引擎354、數據交換電路356、輸入/輸出(1)組件362和364以及一個或多個虛擬功能硬件加速器模塊(有時被稱為虛擬功能硬件加速器片)366。
            [0043]每個虛擬功能加速器片366可以用于向運行在主處理器302上的一個或多個虛擬機306提供硬件加速。組件362和364可以用作與耦合至協處理器350的其它1裝置進行通信的入口和/或出口接口。數據交換電路356可經配置以在加速器366、1組件362和364以及DMA引擎354之間路由數據。直接存儲器存取引擎354可經配置以將數據從主機CHJ存儲器304路由至協處理器350 ο加速器366也能夠經由路徑359與存儲器控制器358直接通信。
            [0044]具有硬件加速器的NFV系統有時可以一個緊接一個地使用多個虛擬功能加速器來處理數據。例如,在協處理器中的第一硬件加速器模塊經配置以執行第一指定功能,并且在協處理器中的第二硬件加速器模塊經配置以執行第二指定功能。在該示例中,考慮主處理器需要數據(例如,存儲在外部主存儲器裝置的數據)以使用在第一硬件加速器處的第一指定功能和使用在第二硬件加速器處的第二指定功能而連續被處理的情況。在此類情況中,需要存在針對處理后的數據在主處理器和協處理器之間(例如,在片外主存儲器裝置和協處理器中的虛擬功能硬件加速器片之間)流體傳送的方法。
            [0045]根據一個實施例,在對協處理器中的對應加速器片的每個功能調用后的結果可以被發送回至主存儲器(參見,例如圖4)。如圖4所示,第一虛擬功能硬件加速器模塊366-1經配置以執行第一功能/函數(funct1n)F(X),而第二虛擬功能硬件加速器模塊366-2可經配置以執行第二功能/函數(funct1n)G(x)。
            [0046]在圖4的示例中,在主處理器中的虛擬機的選定的一個可要求數據以使用第一功能F(X)并接著使用第二功能G(X)來被處理。涉及使用F(X)并接著使用G(X)來執行連續的功能調用的說明性步驟在圖5中示出。例如,選定的虛擬機可以引導主存儲器控制器從主存儲器304檢索數據A(步驟500)。作為響應,數據A可以經由DMA引擎和數據交換電路356被發送至加速器模塊366-1。在步驟502,第一加速器模塊366-1可對數據A執行第一功能以生成所得數據B。在步驟504,數據B(即,功能調用F(A)的結果)隨后可被傳送回至主存儲器304以用于臨時存儲。
            [0047]此時,由于還沒有對所得數據執行第二功能,數據B被立即檢索并經由DMA引擎和數據交換電路被傳送至第二加速器模塊366-2(步驟506)。作為響應,第二加速器模塊366-2可對數據B執行第二功能以生成所得數據C。在步驟508,數據C(即,功能調用G(B)的結果)可隨后被反饋回至CPU存儲器304以用于存儲。操作可以以通過在相關的硬件加速器模塊和主存儲器之間來回發送中間數據的這種方式繼續直到全部的連續功能調用完成(如點510所指示的)。換句話說,任何數量的連續功能調用可以使用這種迭代方法而被執行。
            [0048]根據另一合適的實施例,多個功能調用可以被“鏈接”在一起以有助于降低在主存儲器接口處的數據擁堵同時提高整體性能。鏈接連續功能調用確保中間數據結果停留在協處理器內,并且所述中間數據結果直接被反饋到下一加速器模塊而無需被反饋到主存儲器。換句話說,只有最終結果應當被傳送至主存儲器以用于存儲。以這種方式將多個“工作”鏈接在一起可以幫助提供在主處理器和協處理器之間的更有效的通信方案。
            [0049]這種鏈接方案在圖6中示出。如圖6所示,第一虛擬功能硬件加速器模塊366-1可經配置以執行第一功能F(x);第二虛擬功能硬件加速器模塊366-2可經配置以執行第二功能G(X);以及第三虛擬功能硬件加速器模塊366-3可經配置以執行第三功能H(X)。
            [0050]在圖6的示例中,在主處理器中的虛擬機的選定的一個可要求數據相繼使用功能FU)、功能G(X)和功能H(X)來處理。例如,選定的虛擬機可引導主在儲器控制器從主存儲器304檢索數據A。作為響應,數據A可經由DMA引擎和數據交換電路356被發送至加速器模塊366-1。第一加速器模塊366-1隨后可對數據A執行第一功能以生成所得數據B。
            [0051]當數據交換電路356接收來自第一加速器模塊366-1的中間所得數據B時,所述數據交換電路可分析到達的數據并識別出這種數據需要被發送至另一加速器片以便進一步處理。在該具體示例中,數據B可以被直接發送至第二VF硬件加速器模塊366-2(如路徑600所指示的)同時防止數據B被發送回至主處理器。第二加速器模塊366-2可隨后對數據B執行第二功能G(x)以生成所得數據C(即,功能調用G(B)的結果,其等于G[F(A)])。
            [0052]當數據交換電路356接收來自第二加速器模塊366-2的中間所得數據C時,所述數據交換電路可分析到達的數據并識別出該數據需要被發送至另一加速器片以便進一步處理同時防止數據C被發送回至主處理器。在該具體示例中,數據C可被直接發送回至第三VF硬件加速器模塊366-3(如路徑602所指示的)。第三加速器模塊366-3可隨后對數據C執行第三功能H(X)以生成最終數據D(即,功能調用H(C)的結果,其等于H{G[F(A)]})。
            [0053]在數據D到達數據交換電路時,所述數據交換電路可識別出該數據不需要被發送回至另一加速器模塊(即,沒有附加的功能調用需要被鏈接)并可以繼續經由主處理器將該最終數據發送回至CHJ存儲器304(如路徑604所指示的)。在其中三個HW加速器功能調用已被鏈接在一起的圖6的示例僅僅是說明性的,并不用于限制本發明的范圍。如果需要的話,少于或多于三個加速器功能可以以這種方式串聯鏈接。
            [0054]根據另一實施例,將由協處理器處理的數據可以具有相關聯的虛擬機寫數據移動描述符(參見,例如圖7)。如圖7所示,數據描述符700可為具有第一源地址和第一目的地址的數據分配第一路由標識符(即,ID-1 ),為具有第二源地址和第二目的地址的數據分配第二路由標識符(即,ID-2)等。不同的路由ID可被用于識別針對所述特定數據將要執行哪些類型的鏈接指令。例如,被分配路由ID-1的數據可具有第一組預定鏈接指令,而被分配路由ID-2的數據可具有不同于第一組鏈接指令的第二組預定鏈接指令。
            [0055]圖8示出針對被分配路由ID-1的數據的示例性虛擬機寫鏈接指令。如圖8所示,鏈接指令可以指定如果滿足第一組條件,則第一功能F(X)被執行,如果滿足第二組條件,則第二功能G(X)被執行,如果滿足第三組條件,則第三功能/函數(funct1n)H(x)被執行,等等。如果需要的話,鏈接指令可以指定任何數量的虛擬功能硬件加速器功能調用以條件方式被鏈接。當特定組的條件未被滿足時,在鏈接指令中的一個功能可以被跳過。這種類型的條件功能路由有時可以被稱為“動態”加速器功能鏈接。
            [0056]用于確定連續加速器功能調用是否應被鏈接的條件檢查可基于(I)與被處理的數據相關聯的參數/變元(argument),(2)由硬件加速器生成的附加邊帶信號,和/或其它合適的動態數據字段。鏈接控制可以主要由數據交換電路來處理(如圖6的示例所示)。
            [0057]圖9是根據一個實施例示出需要被滿足以便執行圖8的鏈接指令中的每個的示例性條件的示意圖。如圖9的表格900所示,當與被處理的數據相關聯的參數等于Argl或Arg2時,第一加速器功能F(X)可以被執行。當邊帶(SB)信號等于特定值X時,第二加速器功能G(X)可以被執行。當與被處理的數據相關聯的參數等于Arg5或Arg6時,第三加速器功能H(X)可以被執行。
            [0058]例如,考慮給定的虛擬機經配置以處理視頻數據包的情況。虛擬機可以首先需要確定當前接收的數據塊是否確實是視頻格式。在該示例中,虛擬機可以將具有相關聯的參數的接收的數據發送到第一“視頻類型檢測”加速器模塊。如果數據類型表示MP4文件類型(例如,如果圖9的參數Argl等于MP4),則第一加速器模塊可隨后生成帶有反映MP4文件格式的邊帶信號的結果。
            [0059]該結果可以被直接鏈接至第二“視頻解壓縮”加速器模塊。第二加速器模塊可以將MP4邊帶信號識別為壓縮的文件格式并對該接收到的數據進行解壓縮。第二加速器模塊可隨后生成對應的解壓縮后的數據。
            [0060]解壓縮后的數據可隨后被直接鏈接至第三“網絡封包”加速器模塊。第三加速器模塊可經配置以向解壓縮后的數據添加以太網標頭(head)、循環冗余校驗(CRC)位以及其它聯網控制位。至第三加速器模塊的參數可以是以太網類型(例如,在圖9中的參數Arg6等于以太網類型)。在第三加速器模塊已向解壓縮后的視頻數據添加期望的網絡控制位后,最終輸出可隨后被發送回至虛擬機。
            [0061]在其中用于處理視頻數據的三個Hff加速器功能被鏈接的這個示例僅是說明性的。表格900中的條件902可表示在處理具有路由ID-1的數據時需要滿足的標準。當處理具有其它路由標識符的數據時,可以使用不同于條件902的其它條件(例如,條件904)。
            [0062]圖10是根據圖6-9的實施例的操作NFV平臺所涉及的說明性步驟的流程圖。在步驟1000,數據可以從主CPU存儲器在指定的源地址處被檢索(例如,如在圖7的數據描述符中指定的源地址)。
            [0063]如果針對第一加速器模塊的條件已被滿足,則第一加速器功能F(X)可以被執行(在步驟1004)。如果針對第一加速器模塊的條件沒有被滿足(在步驟1002),則第一加速器功能F(X)可以被跳過。
            [0064]無論第一加速器功能F(X)是否被執行,數據交換電路可以基于參數或邊帶信息確定所得中間數據是否應當被鏈接至如由結合圖8描述的類型的鏈接指令所指定的第二加速器模塊。如果針對第二加速器模塊的條件已被滿足,則第二加速器功能G(X)可以被執行(在步驟1008)。如果針對第二加速器模塊的條件未被滿足(在步驟1006),則可跳過第二加速器功能G(X)。
            [0065]無論第二加速器功能G(X)是否被執行,數據交換電路可基于參數或邊帶信息確定所得中間數據是否應當被鏈接至如由相關聯的鏈接指令所指定的第三加速器模塊。如果針對第三加速器模塊的條件已被滿足,則第三加速器功能H(X)可以被執行(在步驟1012)。如果針對第三加速器模塊的條件未被滿足(在步驟1010),則可跳過第三加速器功能H(X)。
            [0066]在鏈接指令中的最終功能被完成或跳過后,所得最終數據可以被傳送回至主存儲器以用于存儲(在步驟1014)。圖10的步驟僅是說明性的,并不旨限制本發明的范圍。一般來講,這種鏈接方法可以被擴展至協處理器中的任何數量的VM硬件加速器功能調用(當不滿足相應條件時不管功能是否被跳過)而無需將任何中間數據發送回至主處理器。以這種方式操作NFV平臺可以幫助減少使用CPU系統存儲器的數據擁堵同時最小化延時。
            [0067]圖4-5的實施例和圖6-10的實施例可以在一個NFV平臺中單獨使用或一起使用。例如,一些類型的數據不需要具有任何鏈接指令,而其它類型的數據可以被設置有鏈接指令。例如,僅需要兩個連續功能調用的數據可以不需要被鏈接,而需要三個或更多連續加速器功能調用的數據可以具有具體的鏈接指令/條件。作為另一示例,針對第一數據類型的處理(例如,電子郵件文件)可以不需要被鏈接,而針對第二數據類型的處理(例如,聲音數據)可以具有具體的鏈接指令/條件。作為又另一示例,具有相對低優先級的數據可以不需要被鏈接,而帶有相對較高優先級的數據可以具有具體的鏈接指令/條件。
            [0068]在本文的一個或多個實施例中描述的可編程邏輯器件可以是數據處理系統的一部分,所述數據處理系統包括以下組件中的一個或多個:處理器;存儲器;1電路;以及外圍設備。數據處理可以在各種各樣的應用中被使用,諸如計算機聯網、數據聯網、儀器、視頻處理、數字信號處理或在其中使用可編程或可重新編程邏輯的優點是有利的任何合適的其它應用。可編程邏輯器件可以被用于執行各種不同的邏輯功能。例如,可編程邏輯器件可以被配置為協同系統處理器工作的處理器或控制器。可編程邏輯器件也可被用作用于在數據處理系統中仲裁對共享資源的訪問的仲裁器。在另一示例中,可編程邏輯器件可以被配置為在處理器和系統中的其它組件中的一個組件之間的接口。在一個實施例中,可編程邏輯器件可以是由ALTERA公司擁有的器件系列中的一種。
            [0069]雖然操作的方法以特定順序被描述,但是應當理解,其它操作可以在描述的操作之間被執行,描述的操作可以被調整,使得它們在稍微不同的時間處發生或描述的操作可以被分布在系統中,這允許處理操作發生在與所述處理相關聯的不同時間間隔處,只要覆蓋操作的處理以期望的方式被執行。
            [0070]附加實施例:
            [0071]附加實施例1.一種網絡功能虛擬化(NFV)平臺中的集成電路,其包括:執行第一功能的第一虛擬功能硬件加速器模塊;執行第二功能的第二虛擬功能硬件加速器模塊;以及數據交換電路,其接收從第一虛擬功能硬件加速器模塊輸出的數據并將所述數據直接路由回至第二虛擬功能硬件加速器模塊。
            [0072]附加實施例2.根據附加實施例1所述的集成電路,其中由所述第二虛擬功能硬件加速器模塊執行的所述第二功能不同于由所述第一虛擬功能硬件加速器模塊執行的所述第一功能。
            [0073]附加實施例3.根據附加實施例1所述的集成電路,還包括:執行第三功能的第三虛擬功能硬件加速器模塊,其中所述數據交換電路接收從所述第二虛擬功能硬件加速器模塊輸出的數據并將該數據直接路由回至所述第三虛擬功能硬件加速器模塊。
            [0074]附加實施例4.根據附加實施例1所述的集成電路,還包括:直接存儲器存取(DMA)引擎,其接收來自片外存儲器裝置的數據。
            [0075]附加實施例5.根據附加實施例1所述的集成電路,其中從所述第二虛擬功能硬件加速器模塊輸出的所述數據被反饋至在外部主處理器上運行的多個虛擬機中的選定的虛擬機,所述外部主處理器耦合至所述集成電路并且運行管理程序。
            [0076]附加實施例6.根據附加實施例5所述的集成電路,還包括:可編程邏輯元件,其能夠經重新配置以執行不同的自定義功能。
            [0077]附加實施例7.根據附加實施例5所述的集成電路,其中所述數據交換電路經配置以根據一組預定的鏈接指令執行功能鏈接而無需將中間數據發送回至所述外部主處理器。
            [0078]附加實施例8.—種操作具有主處理器和協處理器的網絡功能虛擬化(NFV)系統的方法,其包括:在所述協處理器處接收來自所述主處理器的第一數據;使用在所述協處理器中的第一虛擬功能加速器模塊來對所述第一數據執行第一功能以產生第二數據;并且使用在所述協處理器中的第二虛擬功能加速器模塊來對所述第二數據執行第二功能以產生第三數據,而無需將所述第二數據輸出到所述主處理器。
            [0079]附加實施例9.根據附加實施例8所述的方法,還包括:使用數據交換電路在多個虛擬功能加速器模塊之間路由數據,所述多個虛擬功能加速器模塊包括所述第一虛擬功能加速器模塊和第二虛擬功能加速器模塊,其中所述數據交換電路經配置以根據預定的鏈接指令組支持虛擬功能加速器鏈接。
            [0080]附加實施例10.根據附加實施例8所述的方法,還包括:使用在所述協處理器中的第三虛擬功能加速器模塊對所述第三數據執行第三功能以產生第四數據而無需將所述第三數據輸出到所述主處理器。
            [0081]附加實施例11.根據附加實施例10所述的方法,還包括:在所述協處理器處僅將所述第四數據輸出到所述主處理器。
            [0082]附加實施例12.根據附加實施例8所述的方法,其中響應于第一加速器條件被滿足而執行所述第一功能。
            [0083]附加實施例13.根據附加實施例12所述的方法,還包括:當所述第一加速器條件已沒有被滿足時,跳過所述第一功能。
            [0084]附加實施例14.根據附加實施例12所述的方法,其中響應于第二加速器條件被滿足而執行所述第二功能,并且其中所述第二加速器條件不同于所述第一加速器條件。
            [0085]附加實施例15.根據附加實施例8所述的方法,還包括:分析與所述第二數據相關聯的邊帶信號以確定是否應當對所述第二數據執行所述第二功能。
            [0086]附加實施例16.—種網絡功能虛擬化(NFV)平臺,其包括:具有管理程序的主處理器,所述管理程序創建并運行虛擬機;以及協處理器,其具有用于加速所述虛擬機的性能的多個加速器模塊,其中在所述多個加速器模塊中的第一加速器模塊經配置對第一數據執行第一功能以產生第二數據,并且其中在所述多個加速器模塊中的第二加速器模塊經配置對所述第二數據執行第二功能以產生第三數據。
            [0087]附加實施例17.根據附加實施例16所述的網絡功能虛擬化平臺,還包括:直接附連至所述主處理器的外部存儲器裝置,其中所述第一數據從所述外部存儲器裝置被檢索。
            [0088]附加實施例18.根據附加實施例17所述的網絡功能虛擬化平臺,還包括:在所述協處理器中的數據交換電路,所述數據交換電路經配置以將所述第二數據路由回至所述第二加速器模塊而同時防止所述第二數據從所述協處理器被輸出至所述主處理器。
            [0089]附加實施例19.根據附加實施例18所述的網絡功能虛擬化平臺,其中所述數據交換電路經配置以基于預定的條件鏈接指令組執行加速器功能鏈接。
            [0090]附加實施例20.根據附加實施例17所述的網絡功能虛擬化平臺,還包括:在所述協處理器中的數據交換電路,所述數據交換電路經配置以將所述第二數據路由回至所述主處理器。
            [0091]前述僅用于說明本發明的原理,并且本領域的技術人員可以進行各種更改。前述實施例可以單獨或以任何組合來實施。
            【主權項】
            1.一種在網絡功能虛擬化即NFV平臺中的集成電路,其包括: 執行第一功能的第一虛擬功能硬件加速器模塊; 執行第二功能的第二虛擬功能硬件加速器模塊;以及 數據交換電路,其接收從所述第一虛擬功能硬件加速器模塊輸出的數據并將所述數據直接路由回至所述第二虛擬功能硬件加速器模塊。2.根據權利要求1所述的集成電路,其中由所述第二虛擬功能硬件加速器模塊執行的第二功能不同于由所述第一虛擬功能硬件加速器模塊執行的第一功能。3.根據權利要求1所述的集成電路,還包括: 執行第三功能的第三虛擬功能硬件加速器模塊,其中所述數據交換電路接收從所述第二虛擬功能硬件加速器模塊輸出的數據并將該數據直接路由回至所述第三虛擬功能硬件加速器模塊。4.根據權利要求1所述的集成電路,還包括: 直接存儲器存取即DMA引擎,其從片外存儲器裝置接收所述數據。5.根據權利要求1所述的集成電路,其中從所述第二虛擬功能硬件加速器模塊輸出的所述數據被反饋至運行在外部主處理器上的多個虛擬機中的選定的虛擬機,所述外部主處理器被耦合至所述集成電路并且運行管理程序。6.根據權利要求5所述的集成電路,還包括: 可編程邏輯元件,其能夠被重新配置以執行不同的自定義功能。7.根據權利要求5所述的集成電路,其中所述數據交換電路經配置以根據預定的鏈接指令組執行功能鏈接而無需將中間數據發送回至所述外部主處理器。8.一種操作具有主處理器和協處理器的網絡功能虛擬化即NFV系統的方法,其包括: 在所述協處理器處接收來自所述主處理器的第一數據; 使用在所述協處理器中的第一虛擬功能加速器模塊對所述第一數據執行第一功能以產生第二數據;以及 使用在所述協處理器中的第二虛擬功能加速器模塊對所述第二數據執行第二功能以產生第三數據而無需將所述第二數據輸出至所述主處理器。9.根據權利要求8所述的方法,還包括: 使用數據交換電路在包括所述第一和第二虛擬功能加速器模塊的多個虛擬功能加速器模塊之間路由數據,其中所述數據交換電路經配置以根據預定的鏈接指令組來支持虛擬功能加速器鏈接。10.根據權利要求8所述的方法,還包括: 使用在所述協處理器中的第三虛擬功能加速器模塊對所述第三數據執行第三功能以產生第四數據而無需將所述第三數據輸出至所述主處理器。11.根據權利要求10所述的方法,還包括: 在所述協處理器處僅將所述第四數據輸出至所述主處理器。12.根據權利要求8所述的方法,其中響應于第一加速器條件被滿足,所述第一功能被執行。13.根據權利要求12所述的方法,還包括: 當所述第一加速器條件沒有被滿足時,跳過所述第一功能。14.根據權利要求12所述的方法,其中響應于第二加速器條件被滿足,所述第二功能被執行,并且其中所述第二加速器條件不同于所述第一加速器條件。15.根據權利要求8所述的方法,還包括: 分析與所述第二數據相關聯的邊帶信號以確定是否應當對所述第二數據執行所述第二功能。16.—種網絡功能虛擬化即NFV平臺,其包括: 主處理器,其具有創建并運行虛擬機的管理程序;和 協處理器,其具有用于加速所述虛擬機的性能的多個加速器模塊,其中在所述多個加速器模塊中的第一加速器模塊經配置以對第一數據執行第一功能以產生第二數據,并且其中在所述多個加速器模塊中的第二加速器模塊經配置以對所述第二數據執行第二功能以產生第三數據。17.根據權利要求16所述的網絡功能虛擬化平臺,還包括: 直接附連至所述主處理器的外部存儲器裝置,其中所述第一數據檢索自所述外部存儲器裝置。18.根據權利要求17所述的網絡功能虛擬化平臺,還包括: 在所述協處理器中的數據交換電路,所述數據交換電路經配置以將所述第二數據路由回至所述第二加速器模塊,同時防止所述第二數據從所述協處理器被輸出至所述主處理器。19.根據權利要求18所述的網絡功能虛擬化平臺,其中所述數據交換電路經配置以基于預定的條件鏈接指令組來執行加速器功能鏈接。20.根據權利要求17所述的網絡功能虛擬化平臺,還包括: 在所述協處理器中的數據交換電路,所述數據交換電路經配置以將所述第二數據路由回至所述主處理器。
            【文檔編號】G06F15/173GK106095719SQ201610277917
            【公開日】2016年11月9日
            【申請日】2016年4月27日 公開號201610277917.5, CN 106095719 A, CN 106095719A, CN 201610277917, CN-A-106095719, CN106095719 A, CN106095719A, CN201610277917, CN201610277917.5
            【發明人】A·H·瑞比, A·陳, M·J·路易斯, J·張
            【申請人】阿爾特拉公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品