機架空間分配方法及裝置的制作方法

            文檔序號:7953970閱讀:349來源:國知局
            專利名稱:機架空間分配方法及裝置的制作方法
            技術領域
            本發明涉及空間分配技術,更具體地說,涉及一種互聯網數據中心的機架空間的自動分配方法及裝置。
            背景技術
            在互聯網的數據中心,一般都是用機架(rack)容納客戶的設備(數據),機架具有機架空間(rack space),客戶的設備(數據)保存在機架空間中,客戶的設備(數據)稱之為業務,業務需要保存在連續的空閑的機架空間中。當有一個新的業務請求出現時,就需要查詢目前的機架空間中連續的空閑空間是否大于該業務所要求的空間,當有足夠的連續空間時,就能夠接受該業務。
            機架空間是一種昂貴而稀有的資源,通常,機架空間的大小以單位空間(Unit Space)來表示,下面的描述中將使用單位U來表示機架空間的大小。通常,一個中等大小的互聯網數據中心具有的機架空間的大小為200(單個機架的數量)×40(單個機架中所具有的單位空間數)=8000U=8KU。所以,相對而言,在互聯網數據中心中,機架空間是珍貴的資源。
            對于珍貴資源的利用必須是高效率的,但是,和其他所有的空間分配方案一樣,比如計算機的硬盤分配方案和內存分配方案,機架空間的分配也會遇到碎片的問題。碎片是由于反復地分配、釋放空間而產生。碎片的數量和分配的算法直接相關,同時,碎片的數量將直接影響到機架空間的整體性能。大量的碎片將導致機架空間中連續可用空間的數量大大減少,以至于在總的空閑空間量足夠的情況下仍然無法承接新的業務請求。
            比如,參考下面的例子,參見圖1所示,圖1中示出了兩個機架,機架A和機架B,它們都具有30U的總空間,但是使用的狀況不相同對于機架A,總共具有6U的空閑空間,被分成了4部分,分別是1U、1U、2U、2U。機架B也具有6U的空閑空間,被分成了2部分,分別是5U和1U。此時,出現了一個業務請求,大小是4U,對于機架A,雖然總共具有6U的空閑空間,但是其中沒有任何一個連續空間的大小是達到4U的,因此機架A無法承接這個業務,而機架B中具有一個5U的連續空間,機架B可以承接這個業務。此時,就可以看到,由于大量的碎片(相對于4U的業務來說,小于4U的連續空間都可被視為是碎片)存在,使得機架A在總的空閑空間足夠的情況下仍然無法承接這個新的業務,并且,此時的機架A只能夠承接2U以下的業務,如果沒有2U以下的業務出現,機架A中的空閑空間將一直閑置,這種情況對于珍貴的機架空間來說是一種極大的浪費。
            然后,在討論一下碎片產生的原因,參考圖2,圖2A示出了一個10U的連續的機架空間。此時,一個新的業務請求了1U的空間。對于10U的連續空間來說,其中的任意位置都能夠存放這1U的業務請求,但是不恰當的分配就會導致碎片的產生。
            比如,按照圖2B的分配方式,將位于中間1U空間分配給了這個業務,從而剩下的連續空間形成了4U和5U兩個空間,這時,該機架只能承接5U以下的新業務,對于一個6U的業務,它將無法承接,但是實際上該機架空間中的空閑空間有9U。
            如果更換一種分配的方式,將位于一端的1U空間分配給這個業務,參考圖2C所示,則剩下的連續空間還是9U,該機架仍然可以承接9U的業務,與其實際的空閑空間相等,達到高的利用效率。
            通過上面的實例,可以得知,在實際的應用中,由于業務請求的大小不一,在處理大量需要較小空間的業務請求時,如果分配的方式不合理,就會產生大量的碎片,從而大大地降低整個機架空間的性能。
            類似的問題也會出現在其他的空間分配領域中,比如計算機的硬盤空間或者內存空間的分配。參考圖3A,此時所示的是計算機的硬盤空間或者內存空間的狀況,同樣對于一個30U的空間(為了說明簡單,此處將計算機的硬盤空間或者內存空間也采用單位空間U作為計量單位)。它的使用狀況如下4個被占用的空間,大小分別是11U、5U、3U、3U,它們之間被空閑空間隔開,分別是1U、1U、2U、2U,此時出現了一個5U的業務請求。如果是計算機的硬盤空間或者內存空間,則可以通過調整空間的使用狀況來合并上述不連續的空閑空間,通過調整之后,將產生一個6U的連續空間,所有的被占用的空間也將變得連續,參考圖3B。在計算機的硬盤空間或者內存空間中,這樣的調整是可行的,因為底層的物理空間對用用戶來說是透明的,并且調整存儲位置并不會影響到這些數據的使用。
            但是,上述的方法在機架空間中是不可行的,因為1)互聯網數據中心的機架空間中保存的是用戶的設備(數據),每一次存儲空間的改變都會牽涉到該設備的相應調整,由于用戶的數量眾多,每當有新的業務請求產生時,就要求所有的用戶都調整存儲的位置并修改設備的相應設置顯然是不可行的。
            2)互聯網數據中心的機架空間是一個向用戶開放的空間,不像計算機的硬盤空間或者內存空間是一個僅供系統使用的內部空間。對于開放空間的頻繁改動是用戶所不能接受的。
            因此,和其他的空間分配方案相比較,機架空間的分配有著如下的重要差別,所分配的空間只能被釋放,而不能被移動,因而,對于已經分配的空間,不能通過調整合并的方式來進行修改。
            于是,對于機架空間的分配,就要求在分配時就要考慮如何減少碎片產生的可能性,并盡量保持較大的連續空閑空間,因為在分配之后就無法通過空間的移動和合并來消除碎片。

            發明內容
            本發明的目的是提供一種能夠有效減少碎片并盡量保持較大的連續空閑空間的機架空間的分配方法。
            根據本發明的第一方面,提供一種互聯網數據中心的機架空間的分配方法,包括確定一片段空間門限值;以及在所述機架空間中劃分一片段空間;其中,當接收到請求機架空間的業務時,首先判斷該業務所請求的空間大小是否小于所述片段空間門限值,如果小于所述片段空間門限值,則從所述片段空間中分配空間給所述業務。
            較佳的,每一次接收到新的業務并從所述機架空間中分配空間后,重新確定片段空間門限值。以及,每一次接收到新的業務并從所述機架空間中分配空間后,重新劃分片段空間。
            根據本發明,所述方法還包括確定一大空間門限值;以及在所述機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;其中當接收到請求機架空間的業務時,首先判斷該業務所請求的空間大小是否大于所述大空間門限值,如果大于所述大空間門限值,則從所述大空間中分配空間給所述業務。
            較佳的,每一次接收到新的業務并從所述機架空間中分配空間后,重新確定大空間門限值。以及,每一次接收到新的業務并從所述機架空間中分配空間后,重新劃分大空間。
            根據本發明,所述方法還包括,所述機架空間中除去片段空間和大空間以外的空間設定為一般業務空間,當接收到請求機架空間的業務,并且判斷該業務所請求的空間大小是小于所述大空間門限值而大于所述片段空間門限值,則從所述一般業務空間中分配空間給所述業務。
            較佳的,所述片段空間、大空間和一般業務空間都是連續的空間。
            根據本發明,所述方法還包括,所述互聯網數據中心的機架空間劃分為數個機架,設定第一對象,每個第一對象表示一單個的機架;設定第二對象,每個第二對象表示一單個機架中的一連續的空閑空間;當接收到請求機架空間的業務時,基于所述第一對象、第二對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            其中,所述第二對象包括第一子對象,表示該單個機架中的該連續的空閑空間的權重;第二子對象,表示該單個機架中的該連續的空閑空間的大小;當接收到請求機架空間的業務時,基于所述第一對象、第一子對象、第二子對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。以及,根據第一對象當前值、第一子對象當前值、第二子對象當前值、業務所請求的空間、大空間門限值以及片段空間門限計算確定新的第一子對象的值,即一單個機架中的一連續的空閑空間的權重;在分配空間時,所分配的空間需滿足如下的條件,該連續空間具有最大的第一子對象值,即最大的權重;該空間具有不小于業務所請求的空間的第二子對象值,即連續的空閑空間。
            較佳的,該方法還包括,設定第三對象,表示機架空間中一單位空間的大小。
            根據本發明的第二方面,提供一種互聯網數據中心的機架空間的分配裝置,包括門限值確定裝置,確定一片段空間門限值;空間劃分裝置,在所述機架空間中劃分一片段空間;判斷裝置,判斷所接收的業務所請求的空間大小;以及空間分配裝置,分配空間給所述業務;其中,當接收到請求機架空間的業務時,判斷裝置首先判斷該業務所請求的空間大小是否小于門限值確定裝置所設定的片段空間門限值,如果小于片段空間門限值,則空間分配裝置從空間劃分裝置劃分的片段空間中分配空間給所述業務。
            較佳的,門限值確定裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新確定片段空間門限值。以及,空間劃分裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分片段空間。
            根據本發明,門限值確定裝置還確定一大空間門限值;以及空間劃分裝置還在機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;其中,當接收到請求機架空間的業務時,判斷裝置首先判斷該業務所請求的空間大小是否大于門限值確定裝置所設定的大空間門限值,如果大于大空間門限值,則空間分配裝置從空間劃分裝置劃分的大空間中分配空間給所述業務。
            較佳的,門限值確定裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新確定大空間門限值。以及,空間劃分裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分大空間。
            根據本發明,空間劃分裝置將機架空間中除去片段空間和大空間以外的空間設定為一般業務空間,當接收到請求機架空間的業務,并且判斷裝置判斷該業務所請求的空間大小是小于大空間門限值而大于片段空間門限值,則從一般業務空間中分配空間給所述業務。
            較佳的,空間劃分裝置將片段空間、大空間和一般業務空間都劃分成連續的空間。
            根據本發明,所述互聯網數據中心的機架空間劃分為數個機架,所述分配裝置還包括對象設定裝置,該對象設定裝置,設定第一對象,每個第一對象表示一單個的機架;設定第二對象,每個第二對象表示一單個機架中的一連續的空閑空間;當接收到請求機架空間的業務時,基于所述第一對象、第二對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            其中,對象設定裝置還為第二對象設定子對象,包括第一子對象,表示該單個機架中的該連續的空閑空間的權重;第二子對象,表示該單個機架中的該連續的空閑空間的大小;當接收到請求機架空間的業務時,基于所述第一對象、第一子對象、第二子對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。以及,本發明的分配裝置還包括計算裝置,該計算裝置根據第一對象當前值、第一子對象當前值、第二子對象當前值、業務所請求的空間、大空間門限值以及片段空間門限計算確定新的第一子對象的值,即一單個機架中的一連續的空閑空間的權重;空間分配裝置將滿足如下的條件的空間分配給所述業務,該連續空間具有最大的第一子對象值,即最大的權重;該空間具有不小于業務所請求的空間的第二子對象值,即連續的空閑空間。
            較佳的,對象設定裝置還設定第三對象,表示機架空間中一單位空間的大小。
            采用了本發明的技術方案,通過將較小的業務請求放置在專門劃分的片段空間中,從而避免了較小的業務請求占用大段的連續空間的狀況,可有效地減小機架空間中碎片產生的可能性,并且,較大的連續空間可供較大的業務請求使用,加大了機架空間的整體利用效率,提高了性能并且較小了出現浪費的可能性。


            本發明上述的以及其他的特征、性質和優勢將通過下面結合附圖和實施例的詳細描述而變得更加明顯,在附圖中,相同的附圖標記始終表示相同的特征,其中圖1是機架空間使用狀況的一個實例,其中產生了碎片;圖2A-C是產生碎片的原因分析的示意圖;圖3A、B是其他空間分配方式中的碎片消除方法的示意圖;圖4A是根據本發明的機架空間分配方法的第一實施例的流程圖;圖4B是根據本發明的機架空間分配方法的第二實施例的流程圖;圖4C是根據本發明的機架空間分配方法的第三實施例的流程圖;圖5A-D是根據本發明的機架空間分配方法的第一實施例進行分配后的機架空間的分配狀況;圖5E-H是根據本發明的機架空間分配方法的第二實施例進行分配后的機架空間的分配狀況;圖6示出了根據本發明的一機架分配算法的示例;圖7示出了根據本發明的一實施例的權重計算算法的流程圖;圖8示出了根據本發明的一實施例的機架空間分配裝置的結構框圖。
            具體實施例方式
            本發明的目的是提供一種互聯網數據中心的機架空間的分配方案,其主要思想是對容易產生碎片的較小的業務請求從專門的區域中分配空間,從而避免對于較大的連續空間的不必要的分割,由此可保留較大的連續空間供較大的業務請求使用。
            示例的機架空間分配方法第一實施例參考圖4A,其示出了根據本發明的一種互聯網數據中心的機架空間的分配方法,包括如下的步驟400.確定一片段空間門限值;402.在機架空間中劃分一片段空間;404.接收到請求機架空間的業務時,判斷該業務所請求的空間大小是否小于片段空間門限值;406.如果小于片段空間門限值,則從片段空間中分配空間給所述業務;408.如果大于片段空間門限值,則從除片段空間以外的空間中分配給所述業務。
            參考圖5A所示,圖5A示出了根據圖4A所示的分配方法進行分配后的機架空間的分配狀況。在圖5A所示的實例中,一個具有20U的機架空間500被分成了兩個部分,5U的片段空間501以及15U的剩余空間502。根據使用狀況,設定片段空間門限值為2U,即小于2U的業務請求將被放置到5U的片段空間501中,大于2U的業務請求將被放置到15U的剩余空間502中,對于恰好是2U的業務請求,放在任何一個空間中都可以,這可以根據實際的使用狀況加以設定,本發明并不對此作出限制。
            通常,在進行了一次空間分配之后,需要重新確定片段空間門限值以及重新劃分片段空間。例如參考圖5B,在5U的片段空間501中已經有三個1 U的空間被占據,此時,片段空間501最大的連續空間已經變成了1U,則可以重新確定片段空間門限值為1U。
            在每一次接收到新的業務并從機架空間中分配空間后,還可以重新劃分片段空間,比如,參考圖5C所示,在5U的片段空間501中已經有兩個1U的空間被占據,且片段空間501最大的連續空間已經變成了1U,此時希望繼續保持片段空間門限值為2U,則可以通過改變片段空間501的大小來實現,比如,如圖5C所示的,將片段空間501的大小變為6U,從而使的片段空間501中最大的連續空間大小依然為2U。
            有時,需要同時調整片段空間門限值以及重新劃分片段空間,比如在圖5D所示的情況中,片段空間501中已經有兩個1U的空間被占據,而15U的剩余空間502中同樣有11U的空間被占據,此時,希望保持這個機架仍然能夠承接5U的業務,則需要將剩余空間502擴大為16U,這樣,片段空間501中最大的連續空間變成了1U,則需要將片段空間門限值為1U。
            第二實施例圖4B是根據本發明的機架空間分配方法的第二實施例的流程圖,根據該實施例,該方法包括如下的步驟410.確定一片段空間門限值;411.在機架空間中劃分一片段空間;412.確定一大空間門限值;413.在機架空間中劃分一大空間,大空間與片段空間不重疊;414.接收到請求機架空間的業務時,判斷該業務所請求的空間大小是否小于片段空間門限值;415.如果小于片段空間門限值,則從片段空間中分配空間給所述業務;416.如果大于片段空間門限值,則進一步判斷該業務所請求的空間是否大空間門限值;417.如果大于大空間門限,則從大空間中分配空間給所述業務;418.如果小于大空間門限,則從除了片段空間和大空間之外的空間中分配給所述業務。
            參考圖5E所示,圖5E示出了根據圖4B所示的分配方法進行分配后的機架空間的分配狀況。在圖5E所示的實例中,一個具有30U的機架空間510被分成了兩個部分,5U的片段空間511以及10U的剩余空間502和15U的大空間513。根據使用狀況,設定片段空間門限值為2U,即小于2U的業務請求將被放置到5U的片段空間511中,大空間門限值被設定為5U,即大于5U的業務請求將被放置到大空間513中,大于2U而小于5U的業務請求將被放置到10U的剩余空間512中,對于恰好是2U以及5U的業務請求,類似前面所述的情況,可以根據實際的使用狀況加以設定放置在哪一個空間中,本發明并不對此作出限制。
            通常,在進行了一次空間分配之后,也需要重新確定大空間門限值以及重新劃大空間。例如參考圖5F,在15U的大空間513中已經有一個6U和一個5U的空間被占據,此時,大空間513最大的連續空間已經變成了4U,則可以重新確定片段空間門限值為4U。
            在每一次接收到新的業務并從機架空間中分配空間后,還可以重新劃分大空間,比如,參考圖5G所示,此時希望繼續保持大空間門限值為5U,則可以通過改變大空間513的大小來實現,比如,如圖5G所示的,將大空間513的大小變為16U,從而使的大空間513中最大的連續空間大小依然為5U,此時,剩余空間的大小變為9U。
            有時,需要同時調整大空間門限值以及重新劃分大空間,比如在圖5G所示的情況中,大空間501中已經有一個6U和一個5U的空間被占據,此時,希望這個機架能夠承接一個7U的業務,則需要將大空間513擴大為18U,這樣,大空間513中最大的連續空間變成了7U,可將大空間門限值也調整為7U,相應的,剩余空間縮小到了7U,參考圖5H所示。
            對于本領域技術人員來說,可以預見到,在一些情況下,對于大空間參數的調整會影響到片段空間的參數,此時,就需要對兩者同時進行調整,比如,在上述的圖5H中,如果希望保持剩余空間的大小為10U,就需要調整片段空間的大小,結合片段空間的使用狀況,可能還需要調整片段門限值。這是屬于本領域的技術人員可以預見的內容,這里就不再詳細描述。
            第三實施例圖4C是根據本發明的機架空間分配方法的第三實施例的流程圖,根據該實施例,該方法包括如下的步驟420.確定一片段空間門限值;421.在機架空間中劃分一片段空間;422.確定一大空間門限值;423.在機架空間中劃分一大空間,大空間與片段空間不重疊;424.將剩余的空間設定為一般業務空間;425.接收到請求機架空間的業務時,判斷該業務所請求的空間大小是否小于片段空間門限值;426.如果小于片段空間門限值,則從片段空間中分配空間給所述業務;427.如果大于片段空間門限值,則進一步判斷該業務所請求的空間是否大空間門限值;428.如果大于大空間門限,則從大空間中分配空間給所述業務;429.如果小于大空間門限,則從一般業務空間中分配給所述業務。
            該實施例的流程以及空間分配的狀況和上述的第二實施例相近,這里就不再重復描述。需要說明,通常,片段空間、大空間和一般業務空間都是各自連續的空間。三個空間互相領接,對于如何安排這三個空間的順序,本發明并不進行限制。
            劃分機架時的機架空間分配算法在實際的應用中,通常在一個互聯網的數據中心的機架空間會被劃分成數個機架,每一個機架會具有一對應的機架空間,此時,當出現一業務請求時,就需要從數個機架中選取最合適的機架來分配給該業務。總的分配原則如上面所介紹的,下面說明一具體的示例分配算法。
            首先,需要定義一系列的對象,包括第一對象,每個第一對象表示一單個的機架。在該示例中,第一對象被設定為Rack;第二對象,每個第二對象表示一單個機架中的一連續的空閑空間,在該示例中,第二對象被設定為RackRoom。在該實例中,第二對象還包括兩個字對象第一子對象,表示該單個機架中的該連續的空閑空間的權重,此處被設定為iWeight;第二子對象,表示該單個機架中的該連續的空閑空間的大小,此處被設定為iSpace;該示例中,還設定了第三對象,表示機架空間中一單位空間的大小,即一個U的大小,由于U不是標準的空間單位,該對象規定了一個U的實際大小,第三對象被設定為RackSpace。
            此外,還定義了一系列的參數,包括片段空間門限值(fragment space threshold,FSH);大空間門限值(big space threshold,BSH);片段空間區域(fragment space area,FSA),FSA將表示片段空間的范圍。
            業務所請求的空間大小iNeedSpace。
            此處,并沒有定義大空間區域,下面的描述將結合上述三個參數來進行,對于本領域的技術人員來說,可以預見到,如果增加一個大空間區域的參數,也可以實現上述的算法。
            當接收到一個新的業務請求時,可根據Rack當前值、iWeight當前值、iSpace當前值、iNeedSpace、BSH、FSH和FSA計算確定新的iWeight值,即一單個機架中的一連續的空閑空間的權重;在分配空間時,所分配的空間需滿足如下的條件,該空間具有最大的iWeight,即最大的權重;該空間具有不小于iNeedSpace的iSpace,即連續的空閑空間。
            圖6示出了根據本發明的一機架分配算法的示例,參考圖6,該算法包括600.接收業務所要求的機架空間iNeedSpace;602.計算所有單個機架中的所有連續空間的權重,即對于所有的Rack,計算其中母一個RackRoom的iWeight;604.從所有的單個機架的所有連續空間中,找到具有最大權重的一個,即遍歷所有Rack的所有RackRoom,尋找具有最高的iWeight的一個;606.如果該RackRoom的iSpace同樣符合小于iNeedSpace條件,就確定為該連續空間分配給該業務;608.在分配之后,重新計算所有的所有單個機架中的所有連續空間的權重,即對于所有的Rack,重新計算其中每一個RackRoom的iWeight;610.在全部運行結束后,清除所有的權重值,即對于所有Rack中的所有RackRoom清除其iWeight值。
            在上述的步驟中,無疑計算權重iWeight是實現本發明的算法的最重要一環。
            圖7示出了根據本發明的一實施例的權重計算算法的流程圖,參考圖7,該算法包括700.接收業務所要求的機架空間iNeedSpace;701.判斷iNeedSpace與BSH的大小,如果iNeedSpace大于BSH,則進入步驟703,如果不大于,則進入步驟702;702.設置一中間變量iCtrl,并將其設置為1,之后進入步驟704;703.設置一中間變量iCtrl,并將其設置為-1,之后進入步驟704;704.設置一中間變量i,且對于所有Rack,使用i作為其索引;705.判斷下述條件是否滿足當前的Rack不是處于FSA中,并且iNeedSpace不大于FSH,如果符合上述條件,則改變上述的索引值i,查詢下一Rack時候符合上述條件,直至找到出現不符合的Rack;706.對于在該Rack中的所有RackRoom,進行如下的判斷該RackRoom的iSpace大于iNeedSpace,如果是的話,進入步驟708,如果不是的話,則進入步驟707;707.將該RackRoom的iWeight設置為0;進入步驟709;708.將該RackRoom的iWeight設置為iWeightthreshold-i*iCtrl;進入步驟709,此處,iWeightthreshold是一預定的變量值,通常,iWeightthreshold會被設置成一個常量,以保證iWeight總是能夠大于0;709.判斷是否對于該Rack內所有的RackRoom都進行了iWeight設置,如果沒有完成,回到步驟706對該Rack中的下一個RackRoom計算iWeight;如果該Rack中的RackRoom已經計算完畢,則回到步驟705,查找下一個Rack。
            當所有的Rack以及其中所有的RackRoom都具有了iWeight之后,遍歷所有的Rack中的所有RackRoom,找到其中具有最高的iWeight的RackRoom,并判斷該RackRoom的iSpace大于iNeedSpace,即可進行分配。
            上述的算法中,RackRoom的iSpace大于iNeedSpace的,它們的iWeight總是要比那些iSpace小于等于iNeedSpace的RackRoom大。
            通過上述的算法,可以將要求較小空間的業務限制在FSA內,以保證留有足夠的連續空間供要求較大空間的業務使用。
            示例的機架空間分配裝置第一實施例根據本發明的第二方面,提供一種互聯網數據中心的機架空間的分配裝置,圖8示出了根據本發明的一實施例的機架空間分配裝置的結構框圖,如圖8所示,該裝置800包括門限值確定裝置802,用于確定一片段空間門限值;空間劃分裝置804,在機架空間中劃分一片段空間;判斷裝置806,判斷所接收的業務所請求的空間大小;以及空間分配裝置808,分配空間給所述業務;其中,當接收到請求機架空間的業務時,判斷裝置806首先判斷該業務所請求的空間大小是否小于門限值確定裝置802所設定的片段空間門限值,如果小于片段空間門限值,則空間分配裝置808從空間劃分裝置804劃分的片段空間中分配空間給所述業務。
            第一實施例的空間分配裝置的功能與上述的第一實施例的機架空間的分配方法相對應,具體的功能以及空間分配的實例參考上面的描述以及圖5A-5D。
            同樣,根據第一實施例,門限值確定裝置802在每一次接收到新的業務并從機架空間中分配空間后重新確定片段空間門限值。以及,空間劃分裝置804在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分片段空間。
            第二實施例第二實施例的結構框圖同樣參考圖8所示,該裝置800包括門限值確定裝置802,用于確定一片段空間門限值,還確定一大空間門限值空間劃分裝置804,在機架空間中劃分一片段空間,還在機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;判斷裝置806,判斷所接收的業務所請求的空間大小;以及空間分配裝置808,分配空間給所述業務;其中,當接收到請求機架空間的業務時,判斷裝置806首先判斷該業務所請求的空間大小是否小于門限值確定裝置802所設定的片段空間門限值,如果小于片段空間門限值,則空間分配裝置808從空間劃分裝置804劃分的片段空間中分配空間給所述業務,如果不小于片段空間門限值,則判斷裝置806還判斷該業務所請求的空間大小是否大于門限值確定裝置802所設定的大空間門限值,如果大于大空間門限值,則空間分配裝置808從空間劃分裝置804劃分的大空間中分配空間給所述業務。
            第二實施例的空間分配裝置的功能與上述的第二實施例的機架空間的分配方法相對應,具體的功能以及空間分配的實例參考上面的描述以及圖5E-5H。
            同樣,根據第二實施例,門限值確定裝置802在每一次接收到新的業務并從所述機架空間中分配空間后重新確定大空間門限值。以及,空間劃分裝置804在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分大空間。類似的,第二實施例的裝置也可能由門限值確定裝置802同時調整片段空間門限值和大空間門限值,而空間劃分裝置804可同時調整片段空間和大空間。
            第三實施例第三實施例的結構框圖同樣參考圖8所示,該裝置800包括門限值確定裝置802,用于確定一片段空間門限值,還確定一大空間門限值;空間劃分裝置將機架空間中除去片段空間和大空間以外的空間設定為一般業務空間空間劃分裝置804,在機架空間中劃分一片段空間,還在機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;空間劃分裝置804還將判斷裝置806,判斷所接收的業務所請求的空間大小;以及空間分配裝置808,分配空間給所述業務;其中,當接收到請求機架空間的業務時,判斷裝置806首先判斷該業務所請求的空間大小是否小于門限值確定裝置802所設定的片段空間門限值,如果小于片段空間門限值,則空間分配裝置808從空間劃分裝置804劃分的片段空間中分配空間給所述業務,如果不小于片段空間門限值,則判斷裝置806還判斷該業務所請求的空間大小是否大于門限值確定裝置802所設定的大空間門限值,如果大于大空間門限值,則空間分配裝置808從空間劃分裝置804劃分的大空間中分配空間給所述業務。對于判斷裝置806判斷該業務所請求的空間大小是小于大空間門限值而大于片段空間門限值,則從一般業務空間中分配空間給所述業務。
            在上述的三個實施例中,空間劃分裝置804將片段空間、大空間和一般業務空間都劃分成連續的空間。
            劃分機架時的機架空間分配裝置同樣對應于前面所述的劃分機架時的空間分配算法,本發明也提供一種劃分機架時的空間分配裝置,一般的互聯網數據中心的機架空間都會劃分為數個機架,因此,在上述三個實施例中的任一個的基礎上,該分配裝置還包括對象設定裝置810,該對象設定裝置810用于設定第一對象,每個第一對象表示一單個的機架。在該示例中,第一對象被設定為Rack;第二對象,每個第二對象表示一單個機架中的一連續的空閑空間,在該示例中,第二對象被設定為RackRoom。在該實例中,第二對象還包括兩個字對象第一子對象,表示該單個機架中的該連續的空閑空間的權重,此處被設定為iWeight;第二子對象,表示該單個機架中的該連續的空閑空間的大小,此處被設定為iSpace;該示例中,還設定了第三對象,表示機架空間中一單位空間的大小,即一個U的大小,由于U不是標準的空間單位,該對象規定了一個U的實際大小,第三對象被設定為RackSpace。
            此外,對象設定裝置804還定義了一系列的參數,包括片段空間門限值(fragment space threshold,FSH);大空間門限值(big space threshold,BSH);片段空間區域(fragment space area,FSA),FSA將表示片段空間的范圍。
            業務所請求的空間大小iNeedSpace。
            此處,并沒有定義大空間區域,下面的描述將結合上述三個參數來進行,對于本領域的技術人員來說,可以預見到,如果增加一個大空間區域的參數,也可以實現上述的算法。
            當接收到一個新的業務請求時,可根據Rack當前值、iWeight當前值、iSpace當前值、iNeedSpace、BSH、FSH和FSA計算確定新的iWeight值,即一單個機架中的一連續的空閑空間的權重;
            在分配空間時,空間分配裝置808所分配的空間需滿足如下的條件,該空間具有最大的iWeight,即最大的權重;該空間具有不小于iNeedSpace的iSpace,即連續的空閑空間。
            上述的分配裝置800中的判斷裝置806和空間分配裝置808共同實現下列的功能,或者,也可以在分配裝置800中另外增加一處理器812,用于實現下述的算法接收業務所要求的機架空間iNeedSpace;計算所有單個機架中的所有連續空間的權重,即對于所有的Rack,計算其中每一個RackRoom的iWeight;從所有的單個機架的所有連續空間中,找到具有最大權重的一個,即遍歷所有Rack的所有RackRoom,尋找具有最高的iWeight的一個;如果該RackRoom的iSpace同樣符合小于iNeedSpace條件,就確定為該連續空間分配給該業務;在分配之后,重新計算所有的所有單個機架中的所有連續空間的權重,即對于所有的Rack,重新計算其中每一個RackRoom的iWeight;在全部運行結束后,清除所有的權重值,即對于所有Rack中的所有RackRoom清除其iWeight值。
            在上述的過程中,無疑計算權重iWeight是實現本發明的算法的最重要一環。權重計算算法包括接收業務所要求的機架空間iNeedSpace;判斷iNeedSpace與BSH的大小,如果iNeedSpace大于BSH,則設置一中間變量iCtrl,并將其設置為-1;如果不大于,則設置一中間變量iCtrl,并將其設置為1;設置一中間變量i,且對于所有Rack,使用i作為其索引;判斷下述條件是否滿足當前的Rack不是處于FSA中,并且iNeedSpace不大于FSH,如果符合上述條件,則改變上述的索引值i,查詢下一Rack時候符合上述條件,直至找到出現不符合的Rack;對于在該Rack中的所有RackRoom,進行如下的判斷該RackRoom的iSpace大于iNeedSpace,如果是的話,將該RackRoom的iWeight設置為iWeightthreshold-i*iCtrl,此處,iWeightthreshold是一預定的變量值,通常,iWeightthreshold會被設置成一個常量,以保證iWeight總是能夠大于0;如果不是的話,則將該RackRoom的iWeight設置為0;判斷是否對于該Rack內所有的RackRoom都進行了iWeight設置,如果沒有完成,回到前面的過程對該Rack中的下一個RackRoom計算iWeight;如果該Rack中的RackRoom已經計算完畢,則回到前面的過程查找下一個Rack。
            當所有的Rack以及其中所有的RackRoom都具有了iWeight之后,遍歷所有的Rack中的所有RackRoom,找到其中具有最高的iWeight的RackRoom,并判斷該RackRoom的iSpace大于iNeedSpace,即可進行分配。
            上述的算法中,RackRoom的iSpace大于iNeedSpace的,它們的iWeight總是要比那些iSpace小于等于iNeedSpace的RackRoom大。
            通過上述的算法,可以將要求較小空間的業務限制在FSA內,以保證留有足夠的連續空間供要求較大空間的業務使用。
            需要說明,對本領域的技術人員來說,實現上述算法的裝置可以有多種實現的形式,比如執行一軟件程序的通用處理器、專門設計的專用處理器、邏輯電路等等,這些都在本發明的范圍之內。
            采用了本發明的技術方案,通過將較小的業務請求放置在專門劃分的片段空間中,從而避免了較小的業務請求占用大段的連續空間的狀況,可有效地減小機架空間中碎片產生的可能性,并且,較大的連續空間可供較大的業務請求使用,加大了機架空間的整體利用效率,提高了性能并且較小了出現浪費的可能性。
            上述實施例是提供給熟悉本領域內的人員來實現或使用本發明/實用新型的,熟悉本領域的人員可在不脫離本發明/實用新型的發明思想的情況下,對上述實施例做出種種修改或變化,因而本發明/實用新型的保護范圍并不被上述實施例所限,而應該是符合權利要求書提到的創新性特征的最大范圍。
            權利要求
            1.一種互聯網數據中心的機架空間的分配方法,其特征在于,包括確定一片段空間門限值;以及在所述機架空間中劃分一片段空間;其中,當接收到請求機架空間的業務時,首先判斷該業務所請求的空間大小是否小于所述片段空間門限值,如果小于所述片段空間門限值,則從所述片段空間中分配空間給所述業務。
            2.如權利要求1所述的分配方法,其特征在于,還包括每一次接收到新的業務并從所述機架空間中分配空間后,重新確定片段空間門限值。
            3.如權利要求2所述的分配方法,其特征在于,還包括每一次接收到新的業務并從所述機架空間中分配空間后,重新劃分片段空間。
            4.如權利要求1所述的分配方法,其特征在于,還包括確定一大空間門限值;以及在所述機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;其中當接收到請求機架空間的業務時,首先判斷該業務所請求的空間大小是否大于所述大空間門限值,如果大于所述大空間門限值,則從所述大空間中分配空間給所述業務。
            5.如權利要求4所述的分配方法,其特征在于,還包括每一次接收到新的業務并從所述機架空間中分配空間后,重新確定大空間門限值。
            6.如權利要求5所述的分配方法,其特征在于,還包括每一次接收到新的業務并從所述機架空間中分配空間后,重新劃分大空間。
            7.如權利要求4所述的分配方法,其特征在于,還包括所述機架空間中除去片段空間和大空間以外的空間設定為一般業務空間,當接收到請求機架空間的業務,并且判斷該業務所請求的空間大小是小于所述大空間門限值而大于所述片段空間門限值,則從所述一般業務空間中分配空間給所述業務。
            8.如權利要求7所述的分配方法,其特征在于,所述片段空間、大空間和一般業務空間都是連續的空間。
            9.如權利要求7所述的分配方法,其特征在于,所述互聯網數據中心的機架空間劃分為數個機架,該方法還包括設定第一對象,每個第一對象表示一單個的機架;設定第二對象,每個第二對象表示一單個機架中的一連續的空閑空間;當接收到請求機架空間的業務時,基于所述第一對象、第二對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            10.如權利要求9所述的分配方法,其特征在于,所述第二對象包括第一子對象,表示該單個機架中的該連續的空閑空間的權重;第二子對象,表示該單個機架中的該連續的空閑空間的大小;當接收到請求機架空間的業務時,基于所述第一對象、第一子對象、第二子對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            11.如權利要求10所述的分配方法,其特征在于,根據第一對象當前值、第一子對象當前值、第二子對象當前值、業務所請求的空間、大空間門限值以及片段空間門限計算確定新的第一子對象的值,即一單個機架中的一連續的空閑空間的權重;在分配空間時,所分配的空間需滿足如下的條件,該連續空間具有最大的第一子對象值,即最大的權重;該空間具有不小于業務所請求的空間的第二子對象值,即連續的空閑空間。
            12.如權利要求11所述的分配方法,其特征在于,還包括設定第三對象,表示機架空間中一單位空間的大小。
            13.一種互聯網數據中心的機架空間的分配裝置,其特征在于,包括門限值確定裝置,確定一片段空間門限值;空間劃分裝置,在所述機架空間中劃分一片段空間;判斷裝置,判斷所接收的業務所請求的空間大小;以及空間分配裝置,分配空間給所述業務;其中,當接收到請求機架空間的業務時,判斷裝置首先判斷該業務所請求的空間大小是否小于門限值確定裝置所設定的片段空間門限值,如果小于片段空間門限值,則空間分配裝置從空間劃分裝置劃分的片段空間中分配空間給所述業務。
            14.如權利要求13所述的分配裝置,其特征在于,門限值確定裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新確定片段空間門限值。
            15.如權利要求14所述的分配裝置,其特征在于,空間劃分裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分片段空間。
            16.如權利要求13所述的分配裝置,其特征在于,門限值確定裝置還確定一大空間門限值;以及空間劃分裝置還在機架空間中劃分一大空間,所述大空間與所述片段空間不重疊;其中,當接收到請求機架空間的業務時,判斷裝置首先判斷該業務所請求的空間大小是否大于門限值確定裝置所設定的大空間門限值,如果大于大空間門限值,則空間分配裝置從空間劃分裝置劃分的大空間中分配空間給所述業務。
            17.如權利要求16所述的分配裝置,其特征在于,門限值確定裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新確定大空間門限值。
            18.如權利要求17所述的分配裝置,其特征在于,空間劃分裝置在每一次接收到新的業務并從所述機架空間中分配空間后重新劃分大空間。
            19.如權利要求16所述的分配裝置,其特征在于,空間劃分裝置將機架空間中除去片段空間和大空間以外的空間設定為一般業務空間,當接收到請求機架空間的業務,并且判斷裝置判斷該業務所請求的空間大小是小于大空間門限值而大于片段空間門限值,則從一般業務空間中分配空間給所述業務。
            20.如權利要求19所述的分配裝置,其特征在于,空間劃分裝置將片段空間、大空間和一般業務空間都劃分成連續的空間。
            21.如權利要求20所述的分配裝置,其特征在于,所述互聯網數據中心的機架空間劃分為數個機架,所述分配裝置還包括對象設定裝置,該對象設定裝置,設定第一對象,每個第一對象表示一單個的機架;設定第二對象,每個第二對象表示一單個機架中的一連續的空閑空間;當接收到請求機架空間的業務時,基于所述第一對象、第二對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            22.如權利要求21所述的分配裝置,其特征在于,對象設定裝置還為第二對象設定子對象,包括第一子對象,表示該單個機架中的該連續的空閑空間的權重;第二子對象,表示該單個機架中的該連續的空閑空間的大小;當接收到請求機架空間的業務時,基于所述第一對象、第一子對象、第二子對象、該業務所請求的空間、所述大空間門限值以及所述片段空間門限確定分配給所述業務的空間。
            23.如權利要求22所述的分配裝置,其特征在于,還包括計算裝置,該計算裝置根據第一對象當前值、第一子對象當前值、第二子對象當前值、業務所請求的空間、大空間門限值以及片段空間門限計算確定新的第一子對象的值,即一單個機架中的一連續的空閑空間的權重;空間分配裝置將滿足如下的條件的空間分配給所述業務,該連續空間具有最大的第一子對象值,即最大的權重;該空間具有不小于業務所請求的空間的第二子對象值,即連續的空閑空間。
            24.如權利要求23所述的分配方法,其特征在于,對象設定裝置還設定第三對象,表示機架空間中一單位空間的大小。
            全文摘要
            本發明揭示了一種互聯網數據中心的機架空間的分配方法,包括確定一片段空間門限值;以及在機架空間中劃分一片段空間;其中,當接收到請求機架空間的業務時,首先判斷該業務所請求的空間大小是否小于片段空間門限值,如果小于片段空間門限值,則從片段空間中分配空間給所述業務。采用了本發明的技術方案,通過將較小的業務請求放置在專門劃分的片段空間中,從而避免了較小的業務請求占用大段的連續空間的狀況,可有效地減小機架空間中碎片產生的可能性,并且,較大的連續空間可供較大的業務請求使用,加大了機架空間的整體利用效率,提高了性能并且減小了出現浪費的可能性。
            文檔編號H04L12/24GK101071386SQ20061002648
            公開日2007年11月14日 申請日期2006年5月12日 優先權日2006年5月12日
            發明者蔡軍, 尤毅 申請人:上海惠普有限公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品