計算機系統和計算機系統中端點設備訪問的方法

            文檔序號:10517838閱讀:713來源:國知局
            計算機系統和計算機系統中端點設備訪問的方法
            【專利摘要】本發明實施例提供一種對計算機系統中端點設備進行訪問的方法和計算機系統,現有技術在對計算機設備中端點設備進行管理時,需要依賴操作系統,不利于維護的問題。本發明實施例通過上述計算機系統中端點設備進行訪問的方法和計算機系統,端點代理設備建立端點設備在所述計算子系統中的第一地址與在所述管理子系統的第二地址之間的對應關系,在接收到管理控制器對端點設備第一訪問請求時,根據所述對應關系生成攜帶所述端點設備在所述計算子系統中的第一地址的第二訪問請求,并發送給所述端點設備。實現了管理控制器對端點設備訪問請求的發送到所述端點設備,且不需要操作依賴于操作系統,提高了對端點設備進行管理時的可維護性。
            【專利說明】
            計算機系統和計算機系統中端點設備訪問的方法
            技術領域
            [0001] 本發明涉及信息技術領域,特別涉及對計算機系統中端點設備訪問的方法和計算 機系統。
            【背景技術】
            [0002] 數據中心通常用以太網技術構建局域網,用FC(Fibre Channel,光纖通道技術)技 術構建SAN(Storage Area Network and SAN Protocols,存儲區域網絡及其協議),計算機 設備以太網卡用以接入局域網,光纖通道主機總線適配器HBA(Host Bus Adapter,主機總 線適配器)用以接入SAN。多種類型的接口卡和網絡設備削弱了業務靈活性,增加了數據中 心網絡管理復雜性、增加了設備成本和電力等方面的開銷。FCoE(Fibre Channel over Ethernet,以太網光纖通道)實現了以太網幀承載FC幀,使得FC SAN和以太網局域網可共享 同一個單一的、集成的網絡基礎設施,解決了不同類型網絡共存所帶來的問題,實現了網絡 基礎設施整合、精簡的目標。
            [0003] 計算機設備中,網卡、RAID(Redundant Arrays of Independent Disks,冗余磁盤 陣列)卡、SSD(Solid State Drives,固態硬盤)卡和GPU(Graphics Processing Unit,圖形 處理器)卡等PCIE(Peripheral Component Interconnect express,快捷外圍部件互連標 準)端點設備。
            [0004] 現有技術中計算機設備的管理子系統通過與運行在操作系統上的多個管理軟件 模塊通信來實現對各PCIE端點設備的配置管理,各管理軟件模塊分別對應管理各個PCIE端 點設備。對多個不同種類的PCIE端點設備的配置管理,需部署多個管理軟件模塊,導致部署 復雜且不易于后續升級維護。

            【發明內容】

            [0005] 本發明實施例提供一種對計算機系統中端點設備進行訪問的方法和計算機系統, 以實現不依賴操作系統對端點設備的配置管理。
            [0006] 本發明實施例的第一方面,提供了一種計算機系統,包括計算子系統和管理子系 統,所述計算子系統包括中央處理器,所述管理子系統包括管理控制器,所述中央處理器用 于連接端點設備;
            [0007] 所述計算機系統還包括端點代理設備,所述端點代理設備的第一端口通過PCIE鏈 路連接所述計算子系統中的所述中央處理器,所述端點代理設備的第二端口與所述管理子 系統中的所述管理控制器連接;
            [0008] 所述中央處理器,用于分配所述端點設備在所述計算子系統中的設備信息,并將 所述端點設備在所述計算子系統中的設備信息寫入所述端點代理設備,所述端點設備在所 述計算子系統中的設備信息至少包括所述端點設備在所述計算子系統中的第一地址信息;
            [0009] 所述管理控制器,用于在確定所述端點代理設備中被寫入所述端點設備在所述計 算子系統中的設備信息后,根據所述端點設備在所述計算子系統中的第一地址分配所述端 點設備在所述管理子系統中的第二地址,并將所述端點設備在所述管理子系統中的第二地 址寫入所述端點代理設備;
            [0010]所述端點代理設備,用于在被寫入所述第二地址之后,建立所述端點設備在所述 計算子系統中的第一地址與所述端點設備在所述管理子系統中的第二地址之間的對應關 系;
            [0011]所述管理控制器還用于發送第一訪問請求,所述第一訪問請求攜帶所述端點設備 在所述管理子系統中的的第二地址;
            [0012] 所述端點代理設備還用于通過所述第二端口與所述管理控制器的連接接收所述 管理控制器發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點設備在所述計 算子系統中的第一地址的第二訪問請求,并通過所述第一端口連接的所述PCIE鏈路將所述 第二訪問請求發送給所述端點設備。
            [0013] 結合本發明實施例的第一方面,在本發明實施例的第一方面的第一種可能的實現 方式中,
            [0014] 所述中央處理器具體用于在所述計算子系統初始化過程中,根據基本輸入輸出系 統BIOS的指令掃描到所述端點設備和所述端點代理設備,分別為所述端點設備和所述端點 代理設備分配在所述計算子系統中的設備信息,并將所述端點設備在所述計算子系統中的 設備信息寫入所述端點代理設備。
            [0015] 結合本發明實施例的第一方面的第一種可能的實現方式,在本發明實施例的第一 方面的第二種可能的實現方式中,所述中央處理器具體用于根據分配的所述端點代理設備 的在所述計算子系統中的設備信息,通過所述第一端口連接的所述PCIE鏈路向所述端點代 理設備寫入所述端點設備在所述計算子系統中的設備信息。
            [0016] 結合本發明實施例的第一方面的第一種可能的實現方式,在本發明實施例的第一 方面的第三種可能的實現方式中,所述管理控制器與所述中央處理器通過南橋芯片連接;
            [0017] 所述中央處理器具體用于通過所述南橋芯片將所述端點設備在所述計算子系統 中的設備信息通知到所述管理控制器;
            [0018] 所述管理控制器還用于將獲取到的所述端點設備在所述計算子系統中的設備信 息通過所述第二端口的連接寫入所述端點代理設備。
            [0019] 結合本發明實施例的第一方面的第一種、第二中和第三種可能的實現方式,在本 發明實施例的第一方面的第四種可能的實現方式中,
            [0020] 所述端點代理設備還用于在被寫入所述端點設備在所述計算子系統中的設備信 息后,向所述管理控制器發送通知消息;
            [0021] 所述管理控制器具體用于接收所述端點代理設備發送的所述通知消息,根據所述 通知消息確定所述端點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0022] 結合本發明實施例的第一方面的第一種、第二中和第三種可能的實現方式,在本 發明實施例的第一方面的第五種可能的實現方式中,
            [0023]所述管理控制器具體用于周期性地向所述端點代理設備發送查詢消息,接收所述 端點代理設備發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確定所述端 點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0024]結合本發明實施例的第一方面的第一種至第五種可能的實現方式,在本發明實施 例的第一方面的第六種可能的實現方式中,
            [0025]所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器通過內部 集成電路I2C連接;
            [0026]所述管理控制器還用于為所述端點代理設備分配I2C號;
            [0027]所述管理控制器具體用于根據所述端點代理設備的I2C號,將所述第一訪問請求 發送到所述端點代理設備。
            [0028]結合本發明實施例的第一方面的第一種至第五種可能的實現方式,在本發明實施 例的第一方面的第七種可能的實現方式中,
            [0029]所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器通過PCIE 鏈路連接;
            [0030] 所述管理控制器還用于分配所述端點代理設備在所述管理子系統中的第二地址, 所述端點代理設備在所述管理子系統中的第二地址的范圍包含所述端點設備在所述管理 子系統中的第二地址的范圍;
            [0031] 所述管理控制器具體用于根據所述端點設備在所述管理子系統中的第二地址,將 所述第一訪問請求發送到所述端點代理設備。
            [0032] 結合本發明實施例的第一方面的第一種至第七種可能的實現方式,在本發明實施 例的第一方面的第八種可能的實現方式中,
            [0033] 所述計算子系統還包括PCIE交換設備,所述端點設備通過所述PCIE交換設備連接 到所述中央處理器;
            [0034]所述端點代理設備的第一端口通過PCIE鏈路連接所述PCIE交換設備以連接到所 述中央處理器。
            [0035]結合本發明實施例的第一方面的第一種至第八種可能的實現方式,在本發明實施 例的第一方面的第九種可能的實現方式中,
            [0036]所述端點代理設備位于所述計算子系統中;或,
            [0037]所述端點代理設備位于所述管理子系統的管理控制器中。
            [0038] 結合本發明實施例的第一方面的第一種至第九種可能的實現方式,在本發明實施 例的第一方面的第十種可能的實現方式中,
            [0039] 所述端點設備在所述計算子系統中的設備信息包括下述信息中的至少一項:
            [0040] 所述端點設備的輸入輸出I/O地址信息,所述端點設備的內存Memory地址信息,所 述端點設備的總線/設備/功能B/D/F號,或所述端點設備的設備類型信息。
            [0041] 本發明實施例的第二方面,提供了一種對計算機系統中端點設備進行訪問的方 法,包括計算子系統和管理子系統,所述計算子系統包括中央處理器,所述管理子系統包括 管理控制器,所述中央處理器用于連接端點設備;所述方法包括:
            [0042]所述中央處理器為所述端點設備分配在所述計算子系統中的設備信息,并將所述 端點設備在所述計算子系統中的設備信息寫入所述計算子系統中的端點代理設備中,所述 端點設備在所述計算子系統中的設備信息至少包括所述端點設備在所述計算子系統中的 第一地址信息;
            [0043]所述管理控制器在確定所述端點代理設備中被寫入所述端點設備在所述計算子 系統中的設備信息后,根據所述端點設備在所述計算子系統中的第一地址分配所述端點設 備在所述管理子系統中的第二地址,并將所述端點設備在所述管理子系統中的第二地址寫 入所述端點代理設備;
            [0044] 所述端點代理設備在被寫入所述第二地址之后,建立所述端點設備在所述計算子 系統中的第一地址與所述端點設備在所述管理子系統中的第二地址之間的對應關系;所述 端點代理設備的第一端口通過PCIE鏈路連接所述計算子系統中的所述中央處理器,所述端 點代理設備的第二端口與所述管理子系統中的所述管理控制器連接;
            [0045] 所述管理控制器發送第一訪問請求,所述第一訪問請求攜帶所述端點設備在所述 管理子系統中的的第二地址;
            [0046]所述端點代理設備通過所述第二端口與所述管理控制器的連接接收所述管理控 制器發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點設備在所述計算子系 統中的第一地址的第二訪問請求,并通過所述第一端口連接的所述PCIE鏈路將所述第二訪 問請求發送給所述端點設備。
            [0047]結合本發明實施例的第二方面,在本發明實施例的第二方面的第一種可能的實現 方式中,所述方法還包括:
            [0048]所述中央處理器在所述計算子系統初始化過程中,根據基本輸入輸出系統BIOS的 指令掃描到所述端點設備和所述端點代理設備,分別為所述端點設備和所述端點代理設備 分配在所述計算子系統中的設備信息,并將所述端點設備在所述計算子系統中的設備信息 寫入所述端點代理設備。
            [0049] 結合本發明實施例的第二方面的第一種可能的實現方式,在本發明實施例的第二 方面的第二種可能的實現方式中,
            [0050] 所述中央處理器根據分配的所述端點代理設備的在所述計算子系統中的設備信 息,通過所述第一端口連接的所述PCIE鏈路向所述端點代理設備寫入所述端點設備在所述 計算子系統中的設備信息。
            [0051] 結合本發明實施例的第二方面的第一種可能的實現方式,在本發明實施例的第二 方面的第三種可能的實現方式中,所述管理控制器與所述中央處理器通過南橋芯片連接, 所述方法還包括:
            [0052]所述中央處理器通過所述南橋芯片將所述端點設備在所述計算子系統中的設備 信息通知到所述管理控制器;
            [0053]所述管理控制器將獲取到的所述端點設備在所述計算子系統中的設備信息通過 所述第二端口的連接寫入所述端點代理設備。
            [0054]結合本發明實施例的第二方面的第一種、第二中和第三種可能的實現方式,在本 發明實施例的第二方面的第四種可能的實現方式中,
            [0055] 所述方法還包括:
            [0056] 所述端點代理設備在被寫入所述端點設備在所述計算子系統中的設備信息后,向 所述管理控制器發送通知消息;
            [0057]所述管理控制器接收所述端點代理設備發送的所述通知消息,根據所述通知消息 確定所述端點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0058]結合本發明實施例的第二方面的第一種、第二中和第三種可能的實現方式,在本 發明實施例的第二方面的第五種可能的實現方式中,
            [0059] 所述方法還包括:
            [0060] 所述管理控制器周期性地向所述端點代理設備發送查詢消息,接收所述端點代理 設備發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確定所述端點代理設 備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0061] 結合本發明實施例的第二方面的第一種至第五種可能的實現方式,在本發明實施 例的第二方面的第六種可能的實現方式中,
            [0062]所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器通過內部 集成電路12C連接,所述方法還包括:
            [0063]所述管理控制器為所述端點代理設備分配I2C號;
            [0064]所述管理控制器根據所述端點代理設備的I2C號,將所述第一訪問請求發送到所 述端點代理設備。
            [0065]結合本發明實施例的第二方面的第一種至第五種可能的實現方式,在本發明實施 例的第二方面的第七種可能的實現方式中,
            [0066]所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器通過PCIE 鏈路連接,所述方法還包括:
            [0067]所述管理控制器還用于分配所述端點代理設備在所述管理子系統中的第二地址, 所述端點代理設備在所述管理子系統中的第二地址的范圍包含所述端點設備在所述管理 子系統中的第二地址的范圍;
            [0068]所述管理控制器具體用于根據所述端點設備在所述管理子系統中的第二地址,將 所述第一訪問請求發送到所述端點代理設備。
            [0069] 結合本發明實施例的第二方面的第一種至第七種可能的實現方式,在本發明實施 例的第二方面的第八種可能的實現方式中,
            [0070] 所述計算子系統還包括PCIE交換設備,所述端點設備通過所述PCIE交換設備連接 到所述中央處理器;
            [0071] 所述端點代理設備的第一端口通過PCIE鏈路連接所述PCIE交換設備以連接到所 述中央處理器。
            [0072] 結合本發明實施例的第二方面的第一種至第八種可能的實現方式,在本發明實施 例的第二方面的第九種可能的實現方式中,
            [0073]所述端點代理設備位于所述計算子系統中;或,
            [0074]所述端點代理設備位于所述管理子系統的管理控制器中。
            [0075] 結合本發明實施例的第二方面的第一種至第九種可能的實現方式,在本發明實施 例的第二方面的第十種可能的實現方式中,
            [0076] 所述端點設備在所述計算子系統中的設備信息包括下述信息中的至少一項:
            [0077]所述端點設備的輸入輸出I/O地址信息,所述端點設備的內存Memory地址信息,所 述端點設備的總線/設備/功能B/D/F號,或所述端點設備的設備類型信息。
            [0078]通過上述計算機系統中端點設備進行訪問的方法和計算機系統,端點代理設備建 立端點設備在所述計算子系統中的第一地址與在所述管理子系統的第二地址之間的對應 關系,在接收到管理控制器對端點設備第一訪問請求時,根據所述對應關系生成攜帶所述 端點設備在所述計算子系統中的第一地址的第二訪問請求,并發送給所述端點設備。實現 了管理控制器對端點設備訪問請求的發送到所述端點設備,且不需要操作依賴于操作系 統,不需要對不同的端點設備進行不同的管理配置,提高了對端點設備進行管理時的可維 護性。
            【附圖說明】
            [0079] 為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現 有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本 發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可 以根據這些附圖獲得其他的附圖。
            [0080] 圖1為現有技術中一種計算機設備的基本結構示意圖;
            [0081] 圖2為本發明實施例提供的一種計算機設備200的結構示意圖;
            [0082] 圖3為本發明實施例提供的另一種計算機設備200的結構示意圖;
            [0083]圖4為本發明實施例中端點代理設備2014的結構示意圖;
            [0084]圖5為本發明實施例中端點代理設備2014的另一種實現方式結構示意圖;
            [0085]圖6為本發明實施例中端點代理設備2014的進一步實現方式結構示意圖;
            [0086]圖7為本發明實施例一種計算機系統300的結構示意圖;
            [0087] 圖8為本發明實施例一種計算機系統300的另一種實現方式結構示意圖;
            [0088] 圖9為本發明實施例對計算機系統中端點設備進行訪問的方法的流程示意圖。
            【具體實施方式】
            [0089] 下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完 整地描述,顯然,所描述的實施例是本發明的一部分實施例,而不是全部實施例。基于本發 明中的實施例,本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實 施例,都應屬于本發明保護的范圍。
            [0090] 參考圖1,圖1為現有技術中一種計算機設備的基本結構示意圖。如圖1所示,計算 機設備100包含管理子系統102和計算子系統101。計算子系統101包含一個或者多個計算 CPU1011,多個計算CPU通過CPU總線或者互聯芯片進行連接,每一個計算CPU都可以訪問系 統所有的設備。同時,計算子系統的CPU與為操作系統提供存儲空間的內存1012 (MEMORY)連 接。計算子系統的CPU1011直接或使用PCIE鏈路通過PCIE交換模塊1013連接一個或者多個 PCIE端點設備,以擴展計算子系統的功能。例如,網卡作為端點設備1015提供以太網絡接入 能力,RAID卡作為端點設備1016提供存儲冗余功能,GPU卡作為端點設備1017提供圖形化輸 出能力,不同的計算機設備也可以根據需要設計由用戶來選擇擴展終端設備種類。計算子 系統的CPU通過南橋芯片1018或者直接連接的磁盤1019 (圖1以通過南橋芯片1018連接磁盤 1019為例),所述磁盤1019-般作為系統存儲設備。計算子系統上電后,計算子系統的CPU, 例如主用CPU1011,會運行固定的BI0S(basic input/output system,基本輸入輸出系統) 程序,由BIOS完成計算子系統硬件的初始化、PCIE的端點設備發現和配置、加載操作系統 等。在操作系統啟動后,計算子系統由加載的操作系統進行控制。
            [0091] 本發明實施例中,所述計算機設備100包括各種具有計算或存儲功能的計算機設 備,可以包括各種服務器,例如刀片服務器、機架服務器等等,也可以包括使用各種操作系 統的服務器,例如使用Windows或Linux操作系統的服務器等等。
            [0092]管理控制器MCPU1021是管理子系統的執行部件,通過各種傳感器收集計算機設備 100各個部件的運行信息和故障信息,以及對計算機設備100中的端點設備進行配置管理, 例如配置或管理RAID卡的級別,配置或管理網卡的MAC地址,配置或管理PF(Physical Fuction,物理功能)等。MCPU1021連接計算子系統的南橋芯片1018或者直連計算CPU1011, 實現KVM功能,或者實現計算子系統101和管理子系統102之間的通信。
            [0093]計算機設備100上電后,首先是管理子系統102先上電,在管理子系統102上電并完 成初始化后,管理子系統102控制計算子系統101上電,計算子系統101完成上電、硬件檢測 和啟動操作系統后,計算機設備100開始運行。
            [0094] BIOS程序是儲存在計算機設備上的程序,在計算機設備的計算子系統上電后運 行,由計算機設備的CPU調取BIOS程序來運行。BIOS在運行后主要完成三部分的功能,分別 是:
            [0095] -、在計算機設備的計算子系統上電后對硬件部分的檢測,也叫做P0ST(Power On Self Test,加電自檢),功能是檢查計算機設備是否良好,通常完整的POST自檢將包括對 CPU,基本內存,擴展內存,主板,CMOS存儲器,串并口,顯示卡,軟硬盤子系統及鍵盤等進行 測試,一旦在自檢中發現問題,系統將給出提示信息或鳴笛警告。自檢中如發現有錯誤,將 按兩種情況處理:對于嚴重故障(致命性故障)則停機,此時由于各種初始化操作還沒完成, 不能給出任何提示或信號;對于非嚴重故障則給出提示或聲音報警信號,等待用戶處理;
            [0096]二、初始化,包括創建中斷向量、設置寄存器、對一些外部設備,例如PCIE的端點設 備,進行初始化和檢測等;在掃描和初始化PCIE端點設備的過程中,通常是采用深度優先算 法,發現計算機設備中所有PCIE端點設備,并為每個PCIE端點設備分配B/D/F(Bus/D eviCe/ Funct ion,總線/設備/功能)號、1/0地址空間和Memory地址空間;
            [0097]三、引導程序,即引導和啟動操作系統。BIOS先從軟盤或硬盤的開始扇區讀取引導 記錄,如果沒有找到,則會在顯示器上顯示沒有引導設備,如果找到引導記錄會把電腦的控 制權轉給引導記錄,由引導記錄把操作系統載入計算機設備,在計算機設備啟動完成后, BIOS程序運行完成,計算子系統的控制權交由引導記錄載入的操作系統,運行操作系統的 程序。
            [0098]現有技術中,在對PCIE端點設備配置管理時,計算機設備的管理子系統通過與運 行在操作系統上的多個管理軟件模塊通信來實現對各PCIE端點設備的配置管理,各管理軟 件模塊分別對應管理各個PCIE端點設備。對多個不同種類的PCIE端點設備的配置管理,需 部署多個管理軟件模塊,且各管理軟件模塊本身需由各PCIE設備廠商提供或由服務器廠商 針對各PCIE設備開發(以適配不同的操作系統類型),導致部署復雜且不易于后續升級維 護。
            [0099]本發明實施例提供一種技術方案,對上述計算機設備100進行改進,解決現有技術 中對端點設備管理時需要依賴操作系統才能實現的問題,以提高計算機設備的管理子系統 在對PCIE端點設備進行管理時的可維護性。
            [0100]如圖2所示,圖2為本發明實施例提供的一種計算機設備200的結構示意圖。計算機 設備200包括計算子系統201和管理子系統202,計算子系統201包括中央處理器2011、內存 2012、PCIE交換模塊2013、端點設備2015、端點設備2016、端點設備2017、南橋芯片2018等; 管理子系統202包括管理控制器2021和內存2022。
            [0101]本發明實施例在計算機設備200中新增一個端點代理設備2014,例如一個PCIE端 點代理設備。該端點代理設備2014可以是一個芯片,也可以是處理器的一部分,或獨立的端 點設備(例如設備卡)等等。該端點代理設備2014分別與管理控制器2021和PCIE交換模塊 2013相連。
            [0102] 其中,所述端點代理設備2014可以通過PCIE鏈路通過計算子系統201中的PCIE交 換模塊與CPU2011相連,也可以與CPU2011直接相連,或者直接與南橋芯片2018相連。例如, 端點代理設備2014的第一端口(PCIE端口)通過PCIE鏈路與CPU2011相連,或端點代理設備 2014的第一端口(PCIE端口)通過PCIE鏈路通過PCIE交換模塊與CPU2011相連。圖2以端點代 理設備2014通過PCIE交換模塊與CPU2011相連為例進行說明。
            [0103] 所述端點代理設備2014通過標準總線或者私有總線(例如PCIE總線等)與管理子 系統102的管理控制器2021相連。例如,端點代理設備2014的第二端口(PCIE端口)通過PCIE 鏈路與與管理子系統102的管理控制器2021相連,或端點代理設備2014的第二端口(I2C端 口)通過I2C鏈路與管理子系統102的管理控制器2021相連。管理控制器2021通過端點代理 設備2014間接訪問計算子系統201中的端點設備,例如端點設備2015等,實現帶外配置(包 括但不限于配置RAID卡的級別,網卡的MAC地址,PF類型等)、監控系統所有端點設備的運行 狀態(包括但不限于監控RAID卡下的硬盤健康狀態,網卡鏈路狀態,統計計數器等),從而能 夠達到在計算子系統201的CPU上通過管理工具帶內管理端點設備的效果,但同時又不依賴 計算機設備的操作系統,減少了對外部的依賴性,不需要對不同的端點設備進行不同的管 理配置,且不需要各管理軟件模塊由各PCIE設備廠商提供或由服務器廠商針對各PCIE設備 開發,提升了計算機設備的可維護性。
            [0104] 需要說明的是,上述第一端口和第二端口在圖中未示出,應理解,第一端口和第二 端口是端點代理設備的端口,其具體實現可以有多種的實現方式,包括但不限于通過具體 的硬件接口,或通過具備通信功能的軟件接口來實現,本發明實施例不限定接口的具體實 現方式。
            [0105] 可選的,本發明實施例中的端點代理設備2014,和計算機設備中端點設備(例如端 點設備2015) -樣,遵循PCIE標準進行通信。
            [0106] 以圖2所示的示例為例,中央處理器2011通過BIOS芯片中的BIOS程序在計算子系 統201啟動階段能發現端點代理設備2014,以及端點設備2015、端點設備2016和端點設備 2017,并根據每個端點設備的要求進行配置,以及對輸入/輸出資源、內存資源分配等。對于 端點設備2015、端點設備2016和端點設備2017,中央處理器2011通過BIOS程序進行初始化, 采用深度優先算法,發現端點設備2015、端點設備2016和端點設備2017,并為每個端點設備 分配B/D/F號、I/O地址空間或Memory地址空間等。其中,所述I/O地址空間可以為本發明實 施例中端點設備(例如端點設備2015)在所述計算子系統201中的第一地址信息;或者,所述 Memory地址空間也可以為本發明實施例中端點設備(例如端點設備2015)在所述計算子系 統201中的第一地址信息。
            [0107] 中央處理器2011通過BIOS程序在對端點代理設備2014初始化,也是采用采用深度 優先算法,為端點代理設備2014分配B/D/F號、1/0和Memory空間等。同時,中央處理器2011 通過BIOS程序能夠識別出端點代理設備2014的類型,即識別出端點代理設備2014是代理設 備,使得CPU2011能夠將端點設備(例如端點設備2015、端點設備2016、端點設備2017)的設 備信息寫入端點識別出的端點代理設備。根據PCIE標準的定義,每個PCIE的端點設備必須 支持64個字節的配置空間,例如范圍為0x00-0x3f,
            [0108] 其中,在08H的Class Code字段定義了EP設備的類型,假設Class Code代碼為 "1111"的為代理設備類型,Class Code代碼不是"1111"的端點設備(例如端點設備2015)。 中央處理器2011通過BIOS程序讀取該Class Code字段,就能夠識別每個PCIE端點設備的類 型,包括能夠識別出端點代理設備2014為代理設備的類型,。
            [0109] 中央處理器2011通過BIOS程序完成計算機設備200中計算子系統201所有的端點 設備初始化后,將計算子系統201中除端點代理設備2014之外的端點設備(例如端點設備 2015、端點設備2016和端點設備2017等)的設備信息寫入所述端點代理設備2014中。具體 的,可以是所述中央處理器2011通過端點代理設備上的第一端口,以及所述第一端口連接 的PCIE鏈路將端點設備(例如端點設備2015、端點設備2016和端點設備2017等)的設備信息 寫入所述端點代理設備2014中。寫入端點代理設備2014中的其它端點設備的設備信息包括 但不限于:每個端點設備的B/D/F號、1/0地址空間、Memory地址空間或設備類型等。例如可 以是寫入端點設備2015的B/D/F號和1/0地址空間,也可以是寫入端點設備2016的B/D/F號 和memory地址空間,或者是可以是寫入端點設備2015的B/D/F號,1/0地址和memory地址空 間。
            [0110] 端點代理設備2014保存中央處理器2011通過BIOS程序寫入的端點設備的設備信 息,并通過中斷的方式通知管理子系統202中的管理控制器2021,管理控制器2021根據端點 代理設備2014的通知,確定所述端點代理設備中被寫入所述端點設備在所述計算子系統中 的設備信息。
            [0111] 具體的,可以是端點代理設備2014在被寫入端點設備(例如端點設備2015)在所述 計算子系統201中的設備信息后,向所述管理控制器2021發送通知消息,所述管理控制器 2021接收所述端點代理設備2014發送的所述通知消息,根據所述通知消息確定所述端點代 理設備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0112] 管理子系統202中的管理控制器2021也可以通過查詢的方式獲取端點代理設備 2014中被寫入端點設備的設備信息。例如,所述管理控制器2021周期性地向所述端點代理 設備2014發送查詢消息,在所述端點代理設備2014被寫入端點設備的設備信息時,接收所 述端點代理設備2014發送的所述查詢消息的響應消息,所述響應消息包含所述端點代理設 備2014中寫入的端點設備的設備信息,所述管理控制器2021根據所述查詢消息的響應消息 確定所述端點代理設備2014中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0113] 在本發明實施例的一種實現方式中,所述端點代理設備2014通過第一端口與PCIE 交換模塊2013相連。具體的,所述端點代理設備2014的第一端口可以通過PCIE鏈路連接所 述PCIE交換模塊2013,并通過所述交換模塊2013與所述中央處理器2011相連。
            [0114] 作為可選的實現方式,本發明實施例中,所述端點代理設備2014通過第二端口與 管理控制器2021相連。具體的,所述端點代理設備2014的第二端口(I2C端口)通過I2C (Inter - Integrated Circuit)鏈路與所述管理控制器2021相連;或所述端點代理設備 2014的第二端口(PCIE端口)通過PCIE鏈路,與所述管理控制器2021相連。當所述端點代理 設備2014的第二端口與所述管理控制器2021通過I2C鏈路連接時,所述管理控制器2021為 所述端點代理設備2014分配I2C號,并根據所述端點代理設備2014的I2C號,將對端點設備 (例如端點設備2015)的訪問請求發送到所述端點代理設備。當所述端點代理設備2014的第 二端口與所述管理控制器2021通過PCIE鏈路連接時,所述管理控制器2021分配所述端點代 理設備2014在所述管理子系統202中的第二地址,所述端點代理設備2014在所述管理子系 統202中的第二地址的范圍包含端點設備(包括端點設備2015、端點設備2016、端點設備 2016)在所述管理子系統中202中的地址范圍。所述管理控制器2021根據所述端點代理設備 2014在所述管理子系統中的第二地址,將對端點設備(例如端點設備2015)的訪問請求發送 到所述端點代理設備。
            [0115] 作為一種可選的實現方式,中央處理器2011通過BIOS程序完成計算機設備200中 計算子系統201所有的端點設備設備后,可以將計算子系統201中除端點代理設備2014之外 的端點設備的設備信息,中央處理器2011通過南橋芯片2018寫入管理子系統202中的管理 控制器2021中,然后由管理控制器2021通過所述管理控制器2021的第二端口將所述端點設 備在計算子系統201中的設備信息寫入端點代理設備2014中。
            [0116] 管理子系統202中的管理控制器2021獲取計算子系統201中除所述端點代理設備 2014之外的所有端點設備的設備信息后,為每個端點設備分配管理子系統的地址空間(包 括輸入/輸出I/O地址空間,或內存memory地址空間)。具體的,可以是管理控制器2021根據 所述端點設備(例如端點設備2015)在所述計算子系統201中的第一地址分配所述端點設備 (例如端點設備2015)在所述管理子系統202中的第二地址,該第二地址可以是I/O地址空間 或memory地址空間。管理控制器2021根據所述端點設備2014在所述計算子系統201中的第 一地址分配所述端點設備(例如端點設備2015)在所述管理子系統202中的第二地址后,將 所述端點設備(例如端點設備2015)在所述管理子系統202中的第二地址寫入所述端點代理 設備2014中。端點代理設備2014建立每個端點設備(例如端點設備2015)在管理子系統202 的地址空間,例如所述第二地址,與每個端點設備(例如端點設備2015)在計算子系統202的 地址空間,例如所述第一地址,之間的對應關系。這種對應關系可以如表1所示:
            [0119]表 1
            [0120] 表1中,管理控制器2021為端點設備2015分配的管理I/O地址空間All~A12與端點 設備2015的物理I/O地址空間C11~C12大小相同且對應,管理控制器2021為端點設備2015 分配的管理memory地址空間B11~B12與端點設備2015的物理memory地址空間D11~D12大 小相同且對應。管理控制器2021為其它端點設備分配的管理地址空間,與端點設備2015分 配的管理地址空間類同,不再贅述。
            [0121] 管理控制器2021能夠根據分配的所述地址空間,通過所述端點代理設備2014訪問 端點設備,例如訪問端點設備2015、端點設備2016和端點設備2017等,實現對端點設備的配 置或管理。
            [0122] 所述端點代理設備2014接收管理控制器2021發送的對端點設備(例如端點設備 2015)的第一訪問請求,該第一訪問請求攜帶為端點設備(例如端點設備2015)在所述管理 子系統202中分配的地址空間,例如所述第二地址。所述端點代理設備2014根據保存的地址 空間的對應關系(例如所述端點設備2015的第一地址與第二地址之間的對應關系),轉換為 端點設備在計算子系統的物理地址空間,例如所述第一地址,生成攜帶所述端點設備在所 述計算子系統中的第一地址的第二訪問請求,并通過PCIE交換模塊2013將所述第二訪問請 求轉發給端點設備(例如端點設備2015)。例如,管理控制器2021要訪問端點設備2015的 memory空間,則基于對端點設備2015分配的memory地址(D11~D12 ),發送訪問請求到端點 代理設備2014。端點代理設備2014接收到管理控制器2021發送的訪問請求,基于保存的 memory空間對應關系,轉換為端點設備2015的物理memory空間(B11~B12),并基于該端點 設備2015的物理memory空間,將管理控制器2021的訪問請求通過PCIE交換模塊2013發送給 端點設備2015。
            [0123] 作為一種可選的實現方式,如圖3所示,所述端點代理設備2014也可以位于所述管 理控制器2021中,所述管理控制器2021與端點代理設備2014直接交互,實現設備信息和管 理命令的轉發。
            [0124] 具體的,如圖4所示,所述端點代理設備2014包括地址管理單元20141和控制單元 20142。其中,地址管理單元20141用于存儲中央處理器2011通過BIOS程序寫入的端點設備 的信息,例如每個端點設備的B/D/F號、物理I/0地址空間和物理Memory地址空間,設備類型 等;并且還存儲管理控制器2021寫入的為每個端點設備分配的地址空間的信息,建立每個 端點設備的物理1/0地址空間與管理控制器2021分配的1/0地址空間的對應關系,以及每個 端點設備的物理memory地址空間與管理控制器2021分配的memory地址空間的對應關系。
            [0125] 控制單元20142用于接收管理控制器2021的訪問請求,根據訪問請求中攜帶的1/0 地址信息或memory地址信息,從所述地址管理單元20141中獲取對應的端點設備的物理1/0 地址或對應的物理memory地址,基于獲取的具體的物理I /0地址或對應的物理memory地址, 將管理控制器2021的訪問請求發送給相應的端點設備。具體的,控制單元20142在獲取到具 體的物理1/0地址或對應的物理memory地址后,通過構造TLP報文,通過PCIE鏈路發送給 PCIE交換模塊2013,并通過PCIE交換模塊2013將構造的TLP報文發送給對應的端點設備。
            [0126] 為進一步說明本發明實施例中端點代理設備的實現方式,如圖5所示,所述端點代 理設備2014還包括轉發單元20143(即PCIE Core),用于接收中央處理器2011通過BIOS程序 的初始化、基地址空間配置,資源分配請求等,并為所述轉換單元20142提供標準的PCIE傳 輸層服務。在實現端點代理設備2014在轉發管理控制器2021的訪問請求時,所述轉發單元 20143具體用于接收所述控制單元20142生成的TLP報文,并發送給PCIE交換單元2013。并 且,在端點設備返回TLP報文時,接收PCIE交換單元2013轉發的TLP報文,發送給所述控制單 元20142。
            [0127] 參考圖6,圖6為端點代理設備2014中轉發單元20143具體實現結構示意圖。轉發單 元20143包括物理層(Physical Layer)、數據鏈路層(Data Link Layer)和傳輸層 (Transport Layer),以及配置單元(包括但不限于I/O或Memory的配置等)。轉發單元20143 通過物理層、數據鏈路層和傳輸層實現控制單元20142發送的報文的轉發,以及將PCIE交換 模塊2013轉發的TLP報文發送給所述控制單元20142。
            [0128] 參考圖7,圖7為本發明實施例一種計算機系統300的結構示意圖。計算機系統300 包括計算子系統301和管理子系統302,所述計算子系統301包括中央處理器3011,所述管理 子系統302包括管理控制器3021,所述中央處理器3011連接端點設備(包括端點設備3015、 端點設備3016和/或端點設備3017)以及端點代理設備3014;
            [0129] 所述計算機系統301還包括端點代理設備3014,所述端點代理設備3014的第一端 口(圖中未示出)通過PCIE鏈路連接所述計算子系統301中的所述中央處理器3011,所述端 點代理設備3014的第二端口(圖中未示出)與所述管理子系統302中的所述管理控制器3021 連接;
            [0130]所述中央處理器3011,用于分配所述端點設備(例如端點設備3015)在所述計算子 系統301中的設備信息,并將所述端點設備(例如端點設備3015)在所述計算子系統301中的 設備信息寫入所述端點代理設備3014,所述端點設備(例如端點設備3015)在所述計算子系 統301中的設備信息至少包括所述端點設備(例如端點設備3015)在所述計算子系統301中 的第一地址信息;
            [0131]所述管理控制器3021,用于在確定所述端點代理設備3014中被寫入所述端點設備 (例如端點設備3015)在所述計算子系統中的設備信息后,根據所述端點設備(例如端點設 備3015)在所述計算子系統301中的第一地址分配所述端點設備(例如端點設備3015)在所 述管理子系統302中的第二地址,并將所述端點設備(例如端點設備3015)在所述管理子系 統302中的第二地址寫入所述端點代理設備3014;
            [0132] 所述端點代理設備3014,用于在被寫入所述第二地址之后,建立所述端點設備(例 如端點設備3015)在所述計算子系統301中的第一地址與所述端點設備(例如端點設備 3015)在所述管理子系統302中的第二地址之間的對應關系;
            [0133] 所述管理控制器3021還用于發送第一訪問請求,所述第一訪問請求攜帶所述端點 設備(例如端點設備3015)在所述管理子系統302中的的第二地址;
            [0134] 所述端點代理設備3014還用于通過所述第二端口與所述管理控制器3021的連接 接收所述管理控制器3021發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點 設備(例如端點設備3015)在所述計算子系統301中的第一地址的第二訪問請求,并通過所 述第一端口連接的所述PCIE鏈路將所述第二訪問請求發送給所述端點設備(例如端點設備 3015)。
            [0135] 上述計算機系統中,端點代理設備3014建立端點設備(例如端點設備3015)在所述 計算子系統301中的第一地址與在所述管理子系統302中的第二地址之間的對應關系,在接 收到管理控制器3021對端點設備(例如端點設備3015)第一訪問請求時,根據所述對應關系 生成攜帶所述端點設備(例如端點設備3015)在所述計算子系統301中的第一地址的第二訪 問請求,并發送給所述端點設備(例如端點設備3015)。實現了管理控制器3021對端點設備 訪問請求的發送到所述端點設備,且不需要操作依賴于操作系統,不需要對不同的端點設 備進行不同的管理配置,提高了對端點設備進行管理時的可維護性。
            [0136] 在具體實現中,作為一種較優的實現方式,所述中央處理器3011可以在所述計算 子系統301初始化過程中,根據基本輸入輸出系統BIOS的指令掃描到所述端點設備(例如端 點設備3015)和所述端點代理設備3014,分別為所述端點設備(例如端點設備3015)和所述 端點代理設備3014分配在所述計算子系統301中的設備信息,并將所述端點設備(例如端點 設備3015)在所述計算子系統301中的設備信息寫入所述端點代理設備3014。其中,所述端 點設備在所述計算子系統中的設備信息可以是下述信息中的至少一項:所述端點設備的輸 入輸出I/O地址信息,所述端點設備的內存Memory地址信息,所述端點設備的總線/設備/功 能B/D/F號,或所述端點設備的設備類型信息。相應的,所述第一地址可以是所述端點設備 的輸入輸出I/O地址信息,也可以是所述端點設備的內存Memory地址信息。
            [0137] 可選的,所述中央處理器3011可以根據分配的所述端點代理設備3014的在所述計 算子系統301中的設備信息,通過所述第一端口連接的所述PCIE鏈路向所述端點代理設備 3014寫入所述端點設備(例如端點設備3015)在所述計算子系統301中的設備信息。
            [0138] 在具體實現中,如圖8所示,所述管理控制器3021還可以通過南橋芯片3018與所述 中央處理器3011連接。相應的,所述中央處理器3011具體用于通過所述南橋芯片3018將所 述端點設備(例如端點設備3015)在所述計算子系統301中的設備信息通知到所述管理控制 器3021;所述管理控制器3021將獲取到的所述端點設備(例如端點設備3015)在所述計算子 系統301中的設備信息寫入所述端點代理設備3014。具體的,可以是通過所述端點代理設備 3014的第二端口的連接將所述端點設備(例如端點設備3015)在所述計算子系統301中的設 備信息寫入所述端點代理設備3014。
            [0139] 當所述端點代理設備3014被寫入所述端點設備(例如端點設備3015)在所述計算 子系統301中的設備信息后,可以通過兩種方式通知管理控制器3021。
            [0140] 一種是所述端點代理設備3014向所述管理控制器3021發送通知消息,管理控制器 3021接收所述端點代理設備3014發送的所述通知消息,根據所述通知消息確定所述端點代 理設備3014中被寫入所述端點設備(例如端點設備3015)在所述計算子系統301中的設備信 息。
            [0141] 另一種是管理控制器3021周期性地向所述端點代理設備3014發送查詢消息,接收 所述端點代理設備3014發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確 定所述端點代理設備3014中被寫入所述端點設備(例如端點設備3015)在所述計算子系統 301中的設備信息。
            [0142] 本發明實施例中,作為一種可選的實現方式,所述端點代理設備3014的第二端口 與所述管理子系統302中的所述管理控制器3021可以通過內部集成電路I2C連接。當所述端 點代理設備3014的第二端口與所述管理控制器3021通過I2C連接時,所述管理控制器3021 為所述端點代理設備3014分配I2C號并根據分配的I2C號,將所述第一訪問請求發送到所述 端點代理設備3014。
            [0143] 所述端點代理設備3014的第二端口與所述管理子系統302中的所述管理控制器 3021也可以通過PCIE鏈路連接。當所述端點代理設備3014的第二端口與所述管理控制器 3021通過PCIE鏈路連接時,所述管理控制器3021分配所述端點代理設備3014在所述管理子 系統302中的第二地址,所述第二地址的范圍包含所述端點設備(例如端點設備3015)在所 述管理子系統302中的第二地址的范圍,所述管理控制器3021根據所述端點設備(例如端點 設備3015)在所述管理子系統302中的第二地址,將所述第一訪問請求發送到所述端點代理 設備3014。
            [0144] 需要說明的是,上述第一地址還可以是所述端點設備(例如端點設備3015)在計算 子系統301中的地址空間,例如上述表2所述的物理I/O地址空間或物理Memory地址空間。所 述第二地址可以是與所述第一地址對應的地址空間,如表2中的管理地址空間類似。在管理 控制器3021訪問端點設備(例如端點設備3015)的地址時,通常是訪問端點設備的一段地址 空間,本發明實施例從簡化角度,表述為第一地址或第二地址,實際實現中,第一第一可以 是一段地址空間,第二地址也可以是一段地址空間。
            [0145] 可選的,如圖8所示,所述計算子系統301還可以包括PCIE交換設備3013,所述端點 設備(例如端點設備3015)通過所述PCIE交換設備連接到所述中央處理器3011,相應的,所 述端點代理設備3014的第一端口通過PCIE鏈路連接所述PCIE交換設備以連接到所述中央 處理器3011。其中,所述PCIE交換設備3013可以是圖3中的PCIE交換模塊2013,即可以通過 硬件或軟件實現,本發明實施例不限定具體的實現方式。
            [0146] 可選的,本發明實施例中,所述端點代理設備3014可以位于所述計算子系統301 中,也可以位于所述管理子系統302的管理控制器3021中。
            [0147] 上述圖7或圖8所示的實施例的具體實現方式,還可以參照圖2至圖6所示的實施例 的實現方式實現,不再贅述。
            [0148] 參考圖9,圖9為本發明實施例一種對計算機系統中端點設備進行訪問的方法流程 示意圖。其中,包括計算子系統和管理子系統,所述計算子系統包括中央處理器,所述管理 子系統包括管理控制器,所述中央處理器用于連接端點設備;所述方法包括:
            [0149] 步驟900:所述中央處理器為所述端點設備分配在所述計算子系統中的設備信息, 并將所述端點設備在所述計算子系統中的設備信息寫入所述計算子系統中的端點代理設 備中,所述端點設備在所述計算子系統中的設備信息至少包括所述端點設備在所述計算子 系統中的第一地址信息;
            [0150]步驟902:所述管理控制器在確定所述端點代理設備中被寫入所述端點設備在所 述計算子系統中的設備信息后,根據所述端點設備在所述計算子系統中的第一地址分配所 述端點設備在所述管理子系統中的第二地址,并將所述端點設備在所述管理子系統中的第 二地址寫入所述端點代理設備;
            [0151]步驟904:所述端點代理設備在被寫入所述第二地址之后,建立所述端點設備在所 述計算子系統中的第一地址與所述端點設備在所述管理子系統中的第二地址之間的對應 關系;所述端點代理設備的第一端口通過PCIE鏈路連接所述計算子系統中的所述中央處理 器,所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器連接;
            [0152]步驟906:所述管理控制器發送第一訪問請求,所述第一訪問請求攜帶所述端點設 備在所述管理子系統中的的第二地址;
            [0153]步驟908:所述端點代理設備通過所述第二端口與所述管理控制器的連接接收所 述管理控制器發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點設備在所述 計算子系統中的第一地址的第二訪問請求,并通過所述第一端口連接的所述PCIE鏈路將所 述第二訪問請求發送給所述端點設備。
            [0154]上述方法實施例中,端點代理設備建立端點設備在所述計算子系統中的第一地址 與在所述管理子系統中的第二地址之間的對應關系,在接收到管理控制器對端點設備第一 訪問請求時,根據所述對應關系生成攜帶所述端點設備在所述計算子系統中的第一地址的 第二訪問請求,并發送給所述端點設備。實現了管理控制器對端點設備訪問請求的發送到 所述端點設備,且不需要操作依賴于操作系統,不需要對不同的端點設備進行不同的管理 配置,提高了對端點設備進行管理時的可維護性。
            [0155]在具體實現時,所述方法還可以包括:
            [0156]所述中央處理器在所述計算子系統初始化過程中,根據基本輸入輸出系統BIOS的 指令掃描到所述端點設備和所述端點代理設備,分別為所述端點設備和所述端點代理設備 分配在所述計算子系統中的設備信息,并將所述端點設備在所述計算子系統中的設備信息 寫入所述端點代理設備。其中,所述端點設備在所述計算子系統中的設備信息可以是下述 信息中的至少一項:所述端點設備的輸入輸出I/O地址信息,所述端點設備的內存Memory地 址信息,所述端點設備的總線/設備/功能B/D/F號,或所述端點設備的設備類型信息。相應 的,所述第一地址可以是所述端點設備的輸入輸出I/O地址信息,也可以是所述端點設備的 內存Memory地址信息。
            [0157] 可選的,所述中央處理器根據分配的所述端點代理設備的在所述計算子系統中的 設備信息,通過所述第一端口連接的所述PCIE鏈路向所述端點代理設備寫入所述端點設備 在所述計算子系統中的設備信息。或者,所述管理控制器與所述中央處理器通過南橋芯片 連接,所述中央處理器通過所述南橋芯片將所述端點設備在所述計算子系統中的設備信息 通知到所述管理控制器,所述管理控制器將獲取到的所述端點設備在所述計算子系統中的 設備信息通過所述第二端口的連接寫入所述端點代理設備。
            [0158] 當所述端點代理設備被寫入所述端點設備在所述計算子系統中的設備信息后,可 以通過兩種方式通知管理控制器。
            [0159] -種是所述端點代理設備在被寫入所述端點設備在所述計算子系統中的設備信 息后,向所述管理控制器發送通知消息,所述管理控制器接收所述端點代理設備發送的所 述通知消息,根據所述通知消息確定所述端點代理設備中被寫入所述端點設備在所述計算 子系統中的設備信息。
            [0160]另一種是所述管理控制器周期性地向所述端點代理設備發送查詢消息,接收所述 端點代理設備發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確定所述端 點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。
            [0161]作為一種可選的實現方式,所述端點代理設備的第二端口與所述管理子系統中的 所述管理控制器通過內部集成電路12C連接,所述方法還包括:
            [0162] 所述管理控制器為所述端點代理設備分配I2C號;
            [0163] 所述管理控制器根據所述端點代理設備的I2C號,將所述第一訪問請求發送到所 述端點代理設備。
            [0164] 或者,所述端點代理設備的第二端口與所述管理子系統中的所述管理控制器通過 PCIE鏈路連接,所述方法還包括:
            [0165] 所述管理控制器還用于分配所述端點代理設備在所述管理子系統中的第二地址, 所述端點代理設備在所述管理子系統中的第二地址的范圍包含所述端點設備在所述管理 子系統中的第二地址的范圍,所述管理控制器具體用于根據所述端點設備在所述管理子系 統中的第二地址,將所述第一訪問請求發送到所述端點代理設備。
            [0166] 需要說明的是,上述第一地址還可以是所述端點設備在計算子系統301中的地址 空間,例如上述表2所述的物理I/O地址空間或物理Memory地址空間。所述第二地址可以是 與所述第一地址對應的地址空間,如表2中的管理地址空間類似。在管理控制器訪問端點設 備的地址時,通常是訪問端點設備的一段地址空間,本發明實施例從簡化角度,表述為第一 地址或第二地址,實際實現中,第一第一可以是一段地址空間,第二地址也可以是一段地址 空間。
            [0167] 可選的,所述計算子系統還包括PCIE交換設備,所述端點設備通過所述PCIE交換 設備連接到所述中央處理器,所述端點代理設備的第一端口通過PCIE鏈路連接所述PCIE交 換設備以連接到所述中央處理器。其中,所述PCIE交換設備3013可以是圖3中的PCIE交換模 塊2013,即可以通過硬件或軟件實現,本發明實施例不限定具體的實現方式。
            [0168] 可選的,所述端點代理設備位于所述計算子系統中或位于所述管理子系統的管理 控制器中。
            [0169] 上述方法實施例的具體實現方式,還可以參照圖2至圖6所示的實施例的實現方式 實現,不再贅述。
            [0170] 本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單 元及算法步驟,能夠以電子硬件、計算機軟件或者二者的結合來實現,為了清楚地說明硬件 和軟件的可互換性,在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這 些功能究竟以硬件還是軟件方式來執行,取決于技術方案的特定應用和設計約束條件。專 業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不 應認為超出本發明的范圍。
            [0171] 所屬領域的技術人員可以清楚地了解到,為了描述的方便和簡潔,上述描述的系 統、裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。
            [0172] 在本申請所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以 通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的 劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件 可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執行。另外,所顯示或討 論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口、裝置或單元的間接耦合 或通信連接,也可以是電的,機械的或其它的形式連接。
            [0173]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯 示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個 網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本發明實施例方案 的目的。
            [0174] 另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以 是各個單元單獨物理存在,也可以是兩個或兩個以上單元集成在一個單元中。上述集成的 單元既可以采用硬件的形式實現,也可以采用軟件功能單元的形式實現。
            [0175] 所述集成的單元如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用 時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發明的技術方案本質上 或者說對現有技術做出貢獻的部分,或者該技術方案的全部或部分可以以軟件產品的形式 體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機 設備(可以是個人計算機,服務器,或者網絡設備等)執行本發明各個實施例所述方法的全 部或部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程 序代碼的介質。
            [0176]以上所述,僅為本發明的【具體實施方式】,但本發明的保護范圍并不局限于此,任何 熟悉本技術領域的技術人員在本發明揭露的技術范圍內,可輕易想到各種等效的修改或替 換,這些修改或替換都應涵蓋在本發明的保護范圍之內。因此,本發明的保護范圍應以權利 要求的保護范圍為準。
            【主權項】
            1. 一種計算機系統,其特征在于,包括計算子系統和管理子系統,所述計算子系統包括 中央處理器,所述管理子系統包括管理控制器,所述中央處理器用于連接端點設備; 所述計算機系統還包括端點代理設備,所述端點代理設備的第一端口通過PCIE鏈路連 接所述計算子系統中的所述中央處理器,所述端點代理設備的第二端口與所述管理子系統 中的所述管理控制器連接; 所述中央處理器,用于分配所述端點設備在所述計算子系統中的設備信息,并將所述 端點設備在所述計算子系統中的設備信息寫入所述端點代理設備,所述端點設備在所述計 算子系統中的設備信息至少包括所述端點設備在所述計算子系統中的第一地址信息; 所述管理控制器,用于在確定所述端點代理設備中被寫入所述端點設備在所述計算子 系統中的設備信息后,根據所述端點設備在所述計算子系統中的第一地址分配所述端點設 備在所述管理子系統中的第二地址,并將所述端點設備在所述管理子系統中的第二地址寫 入所述端點代理設備; 所述端點代理設備,用于在被寫入所述第二地址之后,建立所述端點設備在所述計算 子系統中的第一地址與所述端點設備在所述管理子系統中的第二地址之間的對應關系; 所述管理控制器還用于發送第一訪問請求,所述第一訪問請求攜帶所述端點設備在所 述管理子系統中的的第二地址; 所述端點代理設備還用于通過所述第二端口與所述管理控制器的連接接收所述管理 控制器發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點設備在所述計算子 系統中的第一地址的第二訪問請求,并通過所述第一端口連接的所述PCIE鏈路將所述第二 訪問請求發送給所述端點設備。2. 根據權利要求1所述的計算機系統,其特征在于, 所述中央處理器具體用于在所述計算子系統初始化過程中,根據基本輸入輸出系統 BIOS的指令掃描到所述端點設備和所述端點代理設備,分別為所述端點設備和所述端點代 理設備分配在所述計算子系統中的設備信息,并將所述端點設備在所述計算子系統中的設 備信息寫入所述端點代理設備。3. 根據權利要求2所述的計算機系統,其特征在于,所述中央處理器具體用于根據分配 的所述端點代理設備的在所述計算子系統中的設備信息,通過所述第一端口連接的所述 PCIE鏈路向所述端點代理設備寫入所述端點設備在所述計算子系統中的設備信息。4. 根據權利要求2所述的計算機系統,其特征在于,所述管理控制器與所述中央處理器 通過南橋芯片連接; 所述中央處理器具體用于通過所述南橋芯片將所述端點設備在所述計算子系統中的 設備信息通知到所述管理控制器; 所述管理控制器還用于將獲取到的所述端點設備在所述計算子系統中的設備信息通 過所述第二端口的連接寫入所述端點代理設備。5. 根據權利要求2-4任一項所述的計算機系統,其特征在于, 所述端點代理設備還用于在被寫入所述端點設備在所述計算子系統中的設備信息后, 向所述管理控制器發送通知消息; 所述管理控制器具體用于接收所述端點代理設備發送的所述通知消息,根據所述通知 消息確定所述端點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。6. 根據權利要求2-4任一項所述的計算機系統,其特征在于, 所述管理控制器具體用于周期性地向所述端點代理設備發送查詢消息,接收所述端點 代理設備發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確定所述端點代 理設備中被寫入所述端點設備在所述計算子系統中的設備信息。7. 根據權利要求1-6任一項所述的計算機系統,其特征在于,所述端點代理設備的第二 端口與所述管理子系統中的所述管理控制器通過內部集成電路I2C連接; 所述管理控制器還用于為所述端點代理設備分配I2C號; 所述管理控制器具體用于根據所述端點代理設備的I2C號,將所述第一訪問請求發送 到所述端點代理設備。8. 根據權利要求1-6任一項所述的計算機系統,其特征在于,所述端點代理設備的第二 端口與所述管理子系統中的所述管理控制器通過PCIE鏈路連接; 所述管理控制器還用于分配所述端點代理設備在所述管理子系統中的第二地址,所述 端點代理設備在所述管理子系統中的第二地址的范圍包含所述端點設備在所述管理子系 統中的第二地址的范圍; 所述管理控制器具體用于根據所述端點設備在所述管理子系統中的第二地址,將所述 第一訪問請求發送到所述端點代理設備。9. 根據權利要求1-8任一項所述的計算機系統,其特征在于,所述計算子系統還包括 PCIE交換設備,所述端點設備通過所述PCIE交換設備連接到所述中央處理器; 所述端點代理設備的第一端口通過PCIE鏈路連接所述PCIE交換設備以連接到所述中 央處理器。10. 根據權利要求1-9任一所述的計算機系統,其特征在于: 所述端點代理設備位于所述計算子系統中;或, 所述端點代理設備位于所述管理子系統的管理控制器中。11. 根據權利要求1-10任一所述的計算機系統,其特征在于: 所述端點設備在所述計算子系統中的設備信息包括下述信息中的至少一項: 所述端點設備的輸入輸出I/O地址信息,所述端點設備的內存Memory地址信息,所述端 點設備的總線/設備/功能B/D/F號,或所述端點設備的設備類型信息。12. -種對計算機系統中端點設備進行訪問的方法,其特征在于,包括計算子系統和管 理子系統,所述計算子系統包括中央處理器,所述管理子系統包括管理控制器,所述中央處 理器用于連接端點設備;所述方法包括: 所述中央處理器為所述端點設備分配在所述計算子系統中的設備信息,并將所述端點 設備在所述計算子系統中的設備信息寫入所述計算子系統中的端點代理設備中,所述端點 設備在所述計算子系統中的設備信息至少包括所述端點設備在所述計算子系統中的第一 地址信息; 所述管理控制器在確定所述端點代理設備中被寫入所述端點設備在所述計算子系統 中的設備信息后,根據所述端點設備在所述計算子系統中的第一地址分配所述端點設備在 所述管理子系統中的第二地址,并將所述端點設備在所述管理子系統中的第二地址寫入所 述端點代理設備; 所述端點代理設備在被寫入所述第二地址之后,建立所述端點設備在所述計算子系統 中的第一地址與所述端點設備在所述管理子系統中的第二地址之間的對應關系;所述端點 代理設備的第一端口通過PCIE鏈路連接所述計算子系統中的所述中央處理器,所述端點代 理設備的第二端口與所述管理子系統中的所述管理控制器連接; 所述管理控制器發送第一訪問請求,所述第一訪問請求攜帶所述端點設備在所述管理 子系統中的的第二地址; 所述端點代理設備通過所述第二端口與所述管理控制器的連接接收所述管理控制器 發送的所述第一訪問請求,根據所述對應關系生成攜帶所述端點設備在所述計算子系統中 的第一地址的第二訪問請求,并通過所述第一端口連接的所述PCIE鏈路將所述第二訪問請 求發送給所述端點設備。13. 根據權利要求12所述的方法,其特征在于,所述方法還包括: 所述中央處理器在所述計算子系統初始化過程中,根據基本輸入輸出系統BIOS的指令 掃描到所述端點設備和所述端點代理設備,分別為所述端點設備和所述端點代理設備分配 在所述計算子系統中的設備信息,并將所述端點設備在所述計算子系統中的設備信息寫入 所述端點代理設備。14. 根據權利要求13所述的方法,其特征在于,所述方法還包括: 所述中央處理器根據分配的所述端點代理設備的在所述計算子系統中的設備信息,通 過所述第一端口連接的所述PCIE鏈路向所述端點代理設備寫入所述端點設備在所述計算 子系統中的設備信息。15. 根據權利要求13所述的方法,其特征在于,所述管理控制器與所述中央處理器通過 南橋芯片連接,所述方法還包括: 所述中央處理器通過所述南橋芯片將所述端點設備在所述計算子系統中的設備信息 通知到所述管理控制器; 所述管理控制器將獲取到的所述端點設備在所述計算子系統中的設備信息通過所述 第二端口的連接寫入所述端點代理設備。16. 根據權利要求13-15任一項所述的方法,其特征在于,所述方法還包括: 所述端點代理設備在被寫入所述端點設備在所述計算子系統中的設備信息后,向所述 管理控制器發送通知消息; 所述管理控制器接收所述端點代理設備發送的所述通知消息,根據所述通知消息確定 所述端點代理設備中被寫入所述端點設備在所述計算子系統中的設備信息。17. 根據權利要求13-15任一項所述的方法,其特征在于,所述方法還包括: 所述管理控制器周期性地向所述端點代理設備發送查詢消息,接收所述端點代理設備 發送的所述查詢消息的響應消息,根據所述查詢消息的響應消息確定所述端點代理設備中 被寫入所述端點設備在所述計算子系統中的設備信息。18. 根據權利要求12-17任一項所述的方法,其特征在于,所述端點代理設備的第二端 口與所述管理子系統中的所述管理控制器通過內部集成電路I2C連接,所述方法還包括: 所述管理控制器為所述端點代理設備分配I2C號; 所述管理控制器根據所述端點代理設備的I2C號,將所述第一訪問請求發送到所述端 點代理設備。19. 根據權利要求12-17任一項所述的方法,其特征在于,所述端點代理設備的第二端 口與所述管理子系統中的所述管理控制器通過PCIE鏈路連接,所述方法還包括: 所述管理控制器還用于分配所述端點代理設備在所述管理子系統中的第二地址,所述 端點代理設備在所述管理子系統中的第二地址的范圍包含所述端點設備在所述管理子系 統中的第二地址的范圍; 所述管理控制器具體用于根據所述端點設備在所述管理子系統中的第二地址,將所述 第一訪問請求發送到所述端點代理設備。20. 根據權利要求12-19任一項所述的方法,其特征在于,所述計算子系統還包括PCIE 交換設備,所述端點設備通過所述PCIE交換設備連接到所述中央處理器; 所述端點代理設備的第一端口通過PCIE鏈路連接所述PCIE交換設備以連接到所述中 央處理器。21. 根據權利要求12-20任一所述的方法,其特征在于: 所述端點代理設備位于所述計算子系統中;或, 所述端點代理設備位于所述管理子系統的管理控制器中。22. 根據權利要求12-21任一所述的方法,其特征在于: 所述端點設備在所述計算子系統中的設備信息包括下述信息中的至少一項: 所述端點設備的輸入輸出I/O地址信息,所述端點設備的內存Memory地址信息,所述端 點設備的總線/設備/功能B/D/F號,或所述端點設備的設備類型信息。
            【文檔編號】G06F13/12GK105874442SQ201580003596
            【公開日】2016年8月17日
            【申請日】2015年9月21日
            【發明人】蘇德現
            【申請人】華為技術有限公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品