光存儲(chǔ)器擴(kuò)展架構(gòu)的制作方法
【專利摘要】提供一種光存儲(chǔ)器擴(kuò)展架構(gòu)。第一晶片上的第一電邏輯電路按照分包點(diǎn)對(duì)點(diǎn)互連協(xié)議、以全數(shù)據(jù)速率來傳遞數(shù)據(jù)。第一密封電路耦合成從第一電邏輯電路來接收數(shù)據(jù)。第一密封電路使數(shù)據(jù)被轉(zhuǎn)換成光格式，以便以至少兩倍于全數(shù)據(jù)速率的速率來傳送。第二密封電路耦合成從第一密封電路接收按照光格式的數(shù)據(jù)。第二密封電路使數(shù)據(jù)被轉(zhuǎn)換成符合分包點(diǎn)對(duì)點(diǎn)互連協(xié)議的電格式。第二晶片上的第二電邏輯電路耦合成通過第一密封電路和第二密封電路從第一電邏輯電路接收數(shù)據(jù)。
【專利說明】光存儲(chǔ)器擴(kuò)展架構(gòu)
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實(shí)施例涉及與主機(jī)中的存儲(chǔ)器系統(tǒng)的光通信。更具體來說，本發(fā)明的實(shí) 施例涉及用于按照電子裝置所使用的協(xié)議來提供電子裝置（例如處理核、存儲(chǔ)器裝置、存 儲(chǔ)控制器）之間的光通信的技術(shù)。
【背景技術(shù)】
[0002] 隨著處理能力增加以及單個(gè)晶片（die)上能夠包含的處理核的數(shù)量增加，存儲(chǔ)器 帶寬的對(duì)應(yīng)增加是必要的，以便保持平衡系統(tǒng)性能。當(dāng)前架構(gòu)和技術(shù)一般無(wú)法提供充分可 縮放性以提供存儲(chǔ)器帶寬的對(duì)應(yīng)增加。
【專利附圖】
【附圖說明】
[0003] 通過附圖、作為舉例而不是限制來說明本發(fā)明的實(shí)施例，附圖中，相似的參考標(biāo)號(hào) 表示相似的元件。
[0004] 圖1是光接口的一個(gè)實(shí)施例的框圖。
[0005] 圖2是密封（gasket)接口信號(hào)初始化過程的一個(gè)實(shí)施例的定時(shí)圖。
[0006] 圖3是光訓(xùn)練模式狀態(tài)期間的Q2S密封操作的一個(gè)實(shí)施例的流程圖。
[0007] 圖4是光訓(xùn)練模式狀態(tài)期間的S2Q密封操作的一個(gè)實(shí)施例的流程圖。
[0008] 圖5是光存儲(chǔ)器擴(kuò)展（0ΜΕ)系統(tǒng)的一個(gè)實(shí)施例的框圖。
[0009] 圖6是Q2S模塊的一個(gè)實(shí)施例的頂層圖。
[0010] 圖7是Q2S模擬前端（Q2SAFE)的一個(gè)實(shí)施例的框圖。
[0011] 圖8是Q2S接收模擬前端（RxAFE)的一個(gè)實(shí)施例的框圖。
[0012] 圖9a是正常速度操作的RxAFE架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0013] 圖9b是高速操作的RxAFE架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0014] 圖10是二抽頭DFE/取樣器電路的一個(gè)實(shí)施例的框圖。
[0015] 圖11是示例半速率取樣圖。
[0016] 圖12是完整Q2S數(shù)據(jù)通路和時(shí)鐘通路架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0017] 圖13是S2Q模塊的一個(gè)實(shí)施例的頂層圖。
[0018] 圖14是S2Q控制邏輯（SCL)的一個(gè)實(shí)施例的框圖。
[0019] 圖15是S2Q模擬前端的一個(gè)實(shí)施例的框圖。
[0020] 圖16是S2Q接收模擬前端（RxAFE)的一個(gè)實(shí)施例的框圖。
[0021] 圖17a是正常速度操作的RxAFE架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0022] 圖17b是高速操作的RxAFE架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0023] 圖18是不例四倍速率取樣圖。
[0024] 圖19是S2Q發(fā)射電路架構(gòu)的一個(gè)實(shí)施例的框圖。
[0025] 圖20是完整S2Q數(shù)據(jù)通路和時(shí)鐘通路架構(gòu)的一個(gè)實(shí)施例的電路圖。
[0026] 圖21示出利用高性能互連架構(gòu)的多處理器配置的實(shí)施例。
[0027] 圖22示出高性能互連架構(gòu)的分層棧的實(shí)施例。
【具體實(shí)施方式】
[0028] 在以下描述中提出許多具體細(xì)節(jié)。但是，即使沒有這些具體細(xì)節(jié)也可實(shí)施本發(fā)明 的實(shí)施例。在其它情況下，沒有詳細(xì)示出眾所周知的電路、結(jié)構(gòu)和技術(shù)，以免混淆對(duì)本描述 的了解。
[0029] 本文所述的架構(gòu)和技術(shù)提供實(shí)現(xiàn)光存儲(chǔ)器擴(kuò)展的光狀態(tài)機(jī)和訓(xùn)練定序器。隨著技 術(shù)發(fā)展，現(xiàn)代嵌入式服務(wù)器和圖形處理器已經(jīng)由單個(gè)芯片上數(shù)十至數(shù)百個(gè)核組成，并且核 數(shù)量將通過11 nm或8 nm技術(shù)節(jié)點(diǎn)而持續(xù)增加到甚至一千。也要求存儲(chǔ)器帶寬和容量的 對(duì)應(yīng)增加，以獲得平衡系統(tǒng)性能。這些架構(gòu)和技術(shù)針對(duì)具有光互連（稱作光存儲(chǔ)器擴(kuò)展） 的存儲(chǔ)器帶寬。
[0030] 在一個(gè)實(shí)施例中，所述架構(gòu)和技術(shù)能夠用于將采用光互連的Intel的快速通道互 連（QPI)協(xié)議結(jié)合到主流服務(wù)器、客戶端、芯片上系統(tǒng)（SoC)、高性能計(jì)算機(jī)（HPC)和數(shù)據(jù)中 心平臺(tái)。Intel快速通道互連是由Intel開發(fā)的點(diǎn)對(duì)點(diǎn)處理器互連，其取代某些平臺(tái)中的前 端總線（FSB)。
[0031] QPI協(xié)議是高速分包點(diǎn)對(duì)點(diǎn)互連協(xié)議，其允許高速窄鏈路將分布式共享存儲(chǔ)器類 型平臺(tái)架構(gòu)中的處理核和其它節(jié)點(diǎn)凝聚在一起。QPI協(xié)議以低等待時(shí)間來提供高帶寬。QPI 協(xié)議包括對(duì)低等待時(shí)間和高可縮放性以及分組和通道結(jié)構(gòu)所優(yōu)化的窺探協(xié)議以實(shí)現(xiàn)事務(wù) 的快速完成。
[0032] 在一個(gè)實(shí)施例中，QPI協(xié)議層使用回寫協(xié)議來管理接口的高速緩存一致性。在一 個(gè)實(shí)施例中，它還具有用于管理非一致消息傳遞的一組規(guī)則。協(xié)議層通常連接到高速緩存 代理中的高速緩存一致性狀態(tài)機(jī)，以及連接到存儲(chǔ)控制器中的歸屬代理邏輯。協(xié)議層還負(fù) 責(zé)系統(tǒng)級(jí)功能，例如中斷、存儲(chǔ)器映射I/O和鎖定。協(xié)議層的一個(gè)主要特征在于，它處理跨 多個(gè)鏈路的消息，其中涉及多個(gè)裝置中的多個(gè)代理。
[0033] 在一個(gè)實(shí)施例中，本文所述的架構(gòu)和技術(shù)用來通過光學(xué)手段來擴(kuò)展QPI。在一個(gè)實(shí) 施例中，下面描述的狀態(tài)機(jī)和定序器進(jìn)行操作以適應(yīng)QPI協(xié)議，而無(wú)需知道基礎(chǔ)光鏈路。 [0034] 隨著技術(shù)發(fā)展，現(xiàn)代嵌入式服務(wù)器和圖形處理器已經(jīng)由單個(gè)芯片上數(shù)十至數(shù)百個(gè) 核組成，并且核數(shù)量將采用11 nm或8 nm制造過程而持續(xù)增加到甚至一千或以上。本文所 述的這個(gè)架構(gòu)進(jìn)行操作以使用光互連來提供這個(gè)存儲(chǔ)器帶寬，稱作QPI協(xié)議的光存儲(chǔ)器擴(kuò) 展。
[0035] 為了在時(shí)鐘和數(shù)據(jù)通道以全數(shù)據(jù)速率來建立鏈路的光域，需要光訓(xùn)練階段。在一 個(gè)實(shí)施例中，這之后接著QPI握手階段，其中遠(yuǎn)程和本地密封組件對(duì)于光鏈路的每一半建 立數(shù)據(jù)通道0和數(shù)據(jù)通道5上的通信協(xié)議。消息以全數(shù)據(jù)速率跨光鏈路來傳遞。在一個(gè)實(shí) 施例中，消息幀與參考時(shí)鐘同步，并且每個(gè)參考時(shí)鐘周期只有一個(gè)消息幀。
[0036] 在一個(gè)實(shí)施例中，消息包括前同步碼（preamble)、命令、數(shù)據(jù)和后同步碼 (postamble)。在一個(gè)實(shí)施例中，前同步碼是16位流，其中具有FFFE的數(shù)據(jù)模式，其標(biāo)記消 息幀的開始。也可使用其它模式。在一個(gè)實(shí)施例中，命令字段是8位流字段，以傳送供接收 接口采取的動(dòng)作。每個(gè)位表示用于極簡(jiǎn)單解碼的命令。位7能夠用于擴(kuò)展命令（若需要的 話）。在一個(gè)實(shí)施例中，數(shù)據(jù)字段是8位流字段，其包含與命令相關(guān)的數(shù)據(jù)。在一個(gè)實(shí)施例 中，后同步碼是4位流，其重復(fù)1100的模式以填充數(shù)據(jù)流的其余部分，直至參考時(shí)鐘周期結(jié) 束。該模式以流中作為〇的最后兩個(gè)位終止，因此能夠識(shí)別前同步碼。
[0037] 圖1是光接口的一個(gè)實(shí)施例的框圖。接口的主要組件如下：1)電（例如QPI)到 光（例如硅光子器件SiP)密封傳輸（Tx)芯片，（Q2S) 110;2)光到電密封接收（Rx)芯片， (S2Q) 120 ;3)調(diào)制器驅(qū)動(dòng)器；4)發(fā)射（TX)光（SiP)模塊140 ;5)接收（RX)SiP模塊150 ; 以及6)互阻抗放大器（TIA)。
[0038] 在一個(gè)實(shí)施例中，密封組件（110、120)包含2:1串行器/解串器（SERDES)，其將電 (例如20 QPI)數(shù)據(jù)通道復(fù)用到與進(jìn)行電-光轉(zhuǎn)換的SiP模塊進(jìn)行接口的（例如10個(gè)）通 道。在其它實(shí)施例中，能夠支持其它比率和其它通道數(shù)量。在一個(gè)實(shí)施例中，光鏈路分為兩 半，下半部攜帶低數(shù)據(jù)通道0:9,以及上半部攜帶上數(shù)據(jù)通道10:19。在其它實(shí)施例中，能夠 支持其它配置。
[0039] 代理190是與遠(yuǎn)程組件（例如存儲(chǔ)器）進(jìn)行通信的電組件，圖1中未示出。代理 190能夠是例如處理核或者其它系統(tǒng)組件。在一個(gè)實(shí)施例中，代理190向Q2S密封芯片110 提供傳輸（TX)時(shí)鐘信號(hào)以及TX數(shù)據(jù)（例如0-19)。在一些實(shí)施例中，代理190還能夠向 Q2S密封芯片110提供系統(tǒng)時(shí)鐘信號(hào)、系統(tǒng)復(fù)位信號(hào)和I2C信號(hào)。在一個(gè)實(shí)施例中，代理190 從S2Q密封芯片120接收TX時(shí)鐘前向信號(hào)和接收（RX)數(shù)據(jù)（例如0-19)。在一些實(shí)施例 中，代理190還能夠向S2Q密封芯片120提供系統(tǒng)時(shí)鐘信號(hào)、系統(tǒng)復(fù)位信號(hào)和I2C信號(hào)。
[0040] 在一個(gè)實(shí)施例中，Q2S密封芯片110和S2Q密封芯片120耦合成使得S2Q密封芯片 120向Q2S密封芯片110發(fā)送控制信號(hào)。來自Q2S密封芯片110的輸出信號(hào)包括送往一個(gè) 或多個(gè)發(fā)射光模塊140的TX時(shí)鐘信號(hào)（例如TX 0_Clk)、數(shù)據(jù)信號(hào)（例如TX 0_Data 0:9) 和控制信號(hào)。送往S2Q密封芯片120的輸入信號(hào)包括來自一個(gè)或多個(gè)接收光模塊150的RX 時(shí)鐘信號(hào)（例如RX 〇_Clk)、數(shù)據(jù)信號(hào)（例如RX 0_Data 0:9)和控制信號(hào)。
[0041] 為了建立光連通性，下面利用訓(xùn)練序列所述的狀態(tài)機(jī)與圖1的光接口配合使用。 在一個(gè)實(shí)施例中，首先建立光-到-電鏈路的由內(nèi)到外初始化序列、光域連通性。這個(gè)透明 光鏈路則用于電（例如QPI)握手，以及建立電代理之間的鏈路。光域具有表1所列示的對(duì) 初始化序列的4個(gè)主要階段：
【權(quán)利要求】
1. 一種系統(tǒng)，包括： 第一晶片上的第一電邏輯電路，按照分包點(diǎn)對(duì)點(diǎn)互連協(xié)議、按照全數(shù)據(jù)速率來傳遞數(shù) 據(jù)； 第一密封電路，耦合成從所述第一電邏輯電路接收所述數(shù)據(jù)，所述第一密封電路使所 述數(shù)據(jù)被轉(zhuǎn)換成光格式，以便以至少兩倍于所述全數(shù)據(jù)速率的速率來傳送； 第二密封電路，耦合成從所述第一密封電路接收按照光格式的數(shù)據(jù)，所述第二密封電 路使所述數(shù)據(jù)被轉(zhuǎn)換成符合所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議的電格式；以及 第二晶片上的第二電邏輯電路，耦合成從所述第一電邏輯電路接收所述數(shù)據(jù)。
2. 如權(quán)利要求1所述的設(shè)備，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議包括窺探協(xié)議。
3. 如權(quán)利要求1所述的設(shè)備，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議使用回寫協(xié)議來管理高 速緩存一致性。
4. 如權(quán)利要求1所述的設(shè)備，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議符合快速通道互連（QPI) 協(xié)議。
5. 如權(quán)利要求1所述的設(shè)備，其中，所述分包點(diǎn)對(duì)點(diǎn)協(xié)議利用嵌入式時(shí)鐘信號(hào)。
6. 如權(quán)利要求1所述的設(shè)備，其中，所述第一密封電路和所述第二密封電路使它們之 間的光鏈路在所述第一電邏輯電路與所述第二電邏輯電路之間的鏈路的初始化期間以對(duì) 應(yīng)于所述全數(shù)據(jù)速率的數(shù)據(jù)速率進(jìn)行操作。
7. 如權(quán)利要求1所述的設(shè)備，其中，所述第一電邏輯電路包括處理核，以及所述第二電 邏輯電路包括存儲(chǔ)器。
8. 如權(quán)利要求1所述的設(shè)備，還包括： 第三密封電路，耦合成從所述第二電邏輯電路接收所述數(shù)據(jù)，所述第三密封電路使所 述數(shù)據(jù)被轉(zhuǎn)換成光格式，以便以至少兩倍于所述全數(shù)據(jù)速率的速率來傳送； 第四密封電路，耦合成從所述第三密封電路接收按照光格式的數(shù)據(jù)，所述第四密封電 路使所述數(shù)據(jù)被轉(zhuǎn)換成符合所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議的電格式，并且耦合成向所述第一電 邏輯電路提供電數(shù)據(jù)。
9. 如權(quán)利要求8所述的設(shè)備，其中，所述第一密封電路和所述第三密封電路各將Μ個(gè)數(shù) 據(jù)通道復(fù)用到與電至光轉(zhuǎn)換模塊進(jìn)行接口的Ν個(gè)通道上，以便在所述Ν個(gè)通道上進(jìn)行電至 光轉(zhuǎn)換。
10. 如權(quán)利要求8所述的設(shè)備，其中，所述第二密封電路和所述第四密封電路各從光到 電轉(zhuǎn)換模塊接收Ν個(gè)通道的數(shù)據(jù)，以便在Ν個(gè)通道的數(shù)據(jù)上進(jìn)行光到電轉(zhuǎn)換，所述第二密封 電路和所述第四密封電路各將Ν個(gè)通道的數(shù)據(jù)解復(fù)用到Μ個(gè)數(shù)據(jù)通道。
11. 如權(quán)利要求9所述的設(shè)備，其中，Μ為20,以及Ν為10。
12. 如權(quán)利要求8所述的設(shè)備，還包括傳遞邊帶信號(hào)的附加光通道。
13. 如權(quán)利要求12所述的設(shè)備，其中，所述邊帶信號(hào)經(jīng)過編碼。
14. 如權(quán)利要求1所述的設(shè)備，還包括光信號(hào)狀態(tài)機(jī)。
15. 如權(quán)利要求14所述的設(shè)備，其中，所述光狀態(tài)機(jī)控制功率狀態(tài)和功率狀態(tài)轉(zhuǎn)變。
16. 如權(quán)利要求14所述的設(shè)備，其中，所述光狀態(tài)機(jī)控制光訓(xùn)練序列。
17. 如權(quán)利要求1所述的設(shè)備，其中，所述第一密封電路和所述第二密封電路包括具有 用于傳輸時(shí)鐘的至少一個(gè)密封鎖相環(huán)（PLL)的重新定時(shí)電路。
18. 如權(quán)利要求1所述的設(shè)備，還包括幫助符合快速通道互連（QPI)的慢啟動(dòng)操作的機(jī) 構(gòu)。
19. 如權(quán)利要求1所述的設(shè)備，還包括與數(shù)字前端（DFE)電路相結(jié)合的一個(gè)或多個(gè)動(dòng)態(tài) 增益控制電路，以對(duì)所接收信號(hào)進(jìn)行自適應(yīng)，其中避免用于信號(hào)對(duì)齊的周期再訓(xùn)練。
20. -種集成電路，包括： 第一密封電路，耦合成從第一電邏輯電路接收數(shù)據(jù)，第一晶片上的所述第一電邏輯電 路按照分包點(diǎn)對(duì)點(diǎn)互連協(xié)議、按照全數(shù)據(jù)速率來傳遞數(shù)據(jù)，所述第一密封電路使所述數(shù)據(jù) 被轉(zhuǎn)換成光格式，以便以至少兩倍于所述全數(shù)據(jù)速率的速率來傳送。
21. 如權(quán)利要求20所述的集成電路，所述第一密封電路耦合成使光數(shù)據(jù)被傳送給第二 密封電路，所述第二密封電路耦合成從所述第一密封電路接收按照所述光格式的數(shù)據(jù)，所 述第二密封電路使所述數(shù)據(jù)被轉(zhuǎn)換成符合所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議的電格式。
22. 如權(quán)利要求20所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議包括窺探協(xié)議。
23. 如權(quán)利要求20所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議使用回寫協(xié)議來 管理高速緩存一致性。
24. 如權(quán)利要求20所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議符合快速通道互 連（QPI)協(xié)議。
25. 如權(quán)利要求20所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)協(xié)議利用嵌入式時(shí)鐘信號(hào)。
26. 如權(quán)利要求20所述的集成電路，其中，所述第一密封電路和所述第二密封電路使 它們之間的光鏈路在所述第一電邏輯電路與所述第二電邏輯電路之間的鏈路的初始化期 間以對(duì)應(yīng)于所述全數(shù)據(jù)速率的數(shù)據(jù)速率進(jìn)行操作。
27. 如權(quán)利要求20所述的集成電路，其中，所述第一電邏輯電路包括處理核，以及所述 第二電邏輯電路包括存儲(chǔ)器。
28. 如權(quán)利要求20所述的集成電路，其中，所述第一密封電路將Μ個(gè)數(shù)據(jù)通道復(fù)用到與 電到光轉(zhuǎn)換模塊進(jìn)行接口的Ν個(gè)通道上，以便在所述Ν個(gè)通道上進(jìn)行電到光轉(zhuǎn)換。
29. 如權(quán)利要求28所述的集成電路，其中，所述第二密封電路從光到電轉(zhuǎn)換模塊接收Ν 個(gè)通道的數(shù)據(jù)，以便對(duì)Ν個(gè)通道的數(shù)據(jù)進(jìn)行光到電轉(zhuǎn)換，所述第二密封電路將Ν個(gè)通道的數(shù) 據(jù)解復(fù)用到Μ個(gè)數(shù)據(jù)通道。
30. 如權(quán)利要求29所述的集成電路，其中，Μ為20,以及Ν為10。
31. -種集成電路，包括： 第一密封電路，耦合成從第二密封電路接收按照光格式的數(shù)據(jù)，所述第一密封電路使 所述數(shù)據(jù)被轉(zhuǎn)換成符合所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議的電格式；以及 第一晶片上的第一電邏輯電路，耦合成從遠(yuǎn)程第一電邏輯電路接收所述數(shù)據(jù)。
32. 如權(quán)利要求31所述的集成電路，還包括第二晶片上的所述遠(yuǎn)程電邏輯電路，按照 所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議、按照全數(shù)據(jù)速率來傳遞數(shù)據(jù)；以及 所述第二密封電路耦合成從所述第一電邏輯電路接收所述數(shù)據(jù)，所述第一密封電路使 所述數(shù)據(jù)被轉(zhuǎn)換成光格式，以便以至少兩倍于所述全數(shù)據(jù)速率的速率來傳送。
33. 如權(quán)利要求31所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議包括窺探協(xié)議。
34. 如權(quán)利要求31所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議使用回寫協(xié)議來 管理高速緩存一致性。
35. 如權(quán)利要求31所述的集成電路，其中，所述分包點(diǎn)對(duì)點(diǎn)互連協(xié)議符合快速通道互 連（QPI)協(xié)議。
36. 如權(quán)利要求31所述的集成電路，其中，所述第一密封電路和所述第二密封電路使 它們之間的光鏈路在所述第一電邏輯電路與所述第二電邏輯電路之間的鏈路的初始化期 間以對(duì)應(yīng)于所述全數(shù)據(jù)速率的數(shù)據(jù)速率進(jìn)行操作。
37. 如權(quán)利要求31所述的集成電路，其中，所述第一電邏輯電路包括存儲(chǔ)器。
38. 如權(quán)利要求31所述的集成電路，其中，所述第二電邏輯電路包括處理核。
【文檔編號(hào)】G11C7/00GK104064207SQ201410094902
【公開日】2014年9月24日 申請(qǐng)日期:2014年3月14日 優(yōu)先權(quán)日:2013年3月15日
【發(fā)明者】J.J.徐, D.富, V.耶爾 申請(qǐng)人:英特爾公司