應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

銅進(jìn)光退的未來(lái),數(shù)據(jù)中心如何發(fā)展?

2020-10-13 10:01 與非網(wǎng)

導(dǎo)讀:“光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì),但并不意味著“銅”的消失,在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展,數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天,“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì),分別承擔(dān)好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。

“銅”進(jìn)“光”退的需求

伴隨著云業(yè)務(wù)的快速發(fā)展,數(shù)據(jù)中心互聯(lián)硬件對(duì)高運(yùn)行穩(wěn)定性和低成本的訴求也越來(lái)越強(qiáng)烈。以 25G 速率的服務(wù)器到交換機(jī)互聯(lián)方案為例,主要的連接方式有兩種,DAC和AOC。

DAC(direct attach cable)顧名思義,由于是直連方案,高速通信信號(hào)在設(shè)備之間傳遞,處于透?jìng)鳡顟B(tài),而常用的AOC(active optical cable)由于需要將電信號(hào)轉(zhuǎn)換成光信號(hào),再轉(zhuǎn)換成電信號(hào),存在多次信號(hào)轉(zhuǎn)換的過(guò)程,會(huì)引入相應(yīng)的適配問(wèn)題,而數(shù)據(jù)中心互聯(lián)硬件故障里面因?yàn)樾盘?hào)或者協(xié)議匹配導(dǎo)致的適配性問(wèn)題占比在 30%以上,而且故障更因定位過(guò)程復(fù)雜、時(shí)間長(zhǎng),嚴(yán)重的會(huì)影響數(shù)據(jù)中心的交付使用。

DAC由于裝配組件少,結(jié)構(gòu)簡(jiǎn)單,相比于AOC在 BOM 成本上有著明顯的優(yōu)勢(shì)。不僅如此,DAC 幾乎沒(méi)有功耗,一根 25GDAC的線纜功耗在 0.1w 左右,而同樣速率的 AOC 功耗在 2w 左右,相差 10 倍以上。以 20w 臺(tái)服務(wù)器接入的規(guī)模為例,一年可以節(jié)省大幾百萬(wàn)的電費(fèi)。

為滿足快速交付的要求,數(shù)據(jù)中心安裝布線的時(shí)效非常重要,布線過(guò)程中必然會(huì)存在線纜損傷,從材料及結(jié)構(gòu)上講,銅比玻璃有著更好的機(jī)械應(yīng)力容忍性,因此,DAC 也能夠比 AOC 容忍更多布線過(guò)程中導(dǎo)致的損傷。

但由于機(jī)柜功耗的限制,服務(wù)器到交換機(jī)的連接距離很多場(chǎng)景下往往需要達(dá)到甚至超過(guò) 7m,所以早期 25G 服務(wù)器到交換機(jī)連接的方式以 AOC(有源光纜)為主,而 DAC(直連銅纜)方案,由于理論上只能支持到 5m 的應(yīng)用,使得其應(yīng)用大為受限。

25G NRZ 的嘗試

在保證低成本的前提下,如何延長(zhǎng)銅纜連接距離,有效的方式有兩種:一種是基于信號(hào)時(shí)鐘恢復(fù)的 Retimer 方案,一種是基于信號(hào)放大的 Redriver 方案,如下圖:

Retimer 技術(shù)原理:

Redriver 技術(shù)原理:

顯而易見(jiàn),以 25G 為例。在成本,功耗和功能復(fù)雜性等各方面,Repeater 方案都有著明顯的優(yōu)勢(shì),因此我們選擇了 Repeater 方案。

根據(jù)信號(hào)傳輸?shù)奶攸c(diǎn),我們?cè)诙鄠€(gè)不同的頻點(diǎn)和頻率范圍進(jìn)行輸出參數(shù)調(diào)整,使輸出信號(hào)能夠,最終使得極限情況下 DAC 的連接距離延長(zhǎng)到了 10m。

但是,理論上設(shè)計(jì)的連接距離,并不意味著最終量產(chǎn)可用,除了成本還要考慮量產(chǎn)一致性和系統(tǒng)的冗余度。

通過(guò)多輪的測(cè)試驗(yàn)證,結(jié)合現(xiàn)網(wǎng)故障率容忍度,我們最終確定了 25G Linear-ACC 的應(yīng)用范圍<8m,這個(gè)距離已經(jīng)可以覆蓋 25G 服務(wù)器 80%的應(yīng)用場(chǎng)景。

最終,25G 相關(guān)的產(chǎn)品帶來(lái)了預(yù)想的收益,通過(guò) DAC+ACC 的布線方案,成本相對(duì)于傳統(tǒng) AOC 方案,降低了 40%,現(xiàn)網(wǎng)故障率由原來(lái)的 0.3%降低一個(gè)數(shù)量級(jí)。

50G PAM4 的升級(jí)

對(duì)于 linear-ACC 方案的嘗試,25G 只是一個(gè)開(kāi)始,無(wú)論是方案,還是成本,都還沒(méi)有做到極致化,進(jìn)入 50G PAM4 時(shí)代,成本必然進(jìn)一步提高,而系統(tǒng)對(duì)于信號(hào)質(zhì)量的要求也更上了一個(gè)臺(tái)階,ACC 的設(shè)計(jì)也需要更加精細(xì)化。在 50G PAM4 調(diào)制下,我們進(jìn)一步參與到的芯片設(shè)計(jì)上,包括整體方案選擇、參數(shù)調(diào)節(jié)功能優(yōu)化、融入降噪技術(shù)等一系列的工作。從這一代開(kāi)始,我們給它一個(gè)新的名字 TAC(Tencent Active Cable)。

200G 7m TAC 產(chǎn)品

1.  更精細(xì)的成本控制

通信行業(yè)硬件成本優(yōu)化離不開(kāi)的大原則:?jiǎn)螐牟牧蠈用嫔现v,InP 比 Si 貴,Cu 比 Si 貴。跟 25G 一樣,DAC 和 ACC 一定有一個(gè)交界點(diǎn),同樣的長(zhǎng)度下,ACC 一定比 DAC 便宜;在 50G PAM4 下,以 200G1 分 2 銅纜為例,2.5m 就是這個(gè)成本變化的交叉點(diǎn),超過(guò) 2.5m 的銅纜應(yīng)用,用 ACC 不僅性能裕量更大,而且綜合成本更低。

2. 系統(tǒng)參數(shù)歸一化

IEEE802.3cd 要求 50G PAM4 調(diào)制下的線纜滿足在 13.28GHz 下的 SDD21 小于 17dB,而實(shí)際大規(guī)模生產(chǎn)出來(lái)的線纜,超過(guò) 2.8m 長(zhǎng)的距離,已經(jīng)超出這個(gè)標(biāo)準(zhǔn)。另一方面,雖然 50G PAM4 調(diào)制下的基準(zhǔn)頻率與 25G NRZ 相差不大,但對(duì)于信號(hào)輸出強(qiáng)度更加敏感,中高頻的衰減相比于 25G NRZ 帶來(lái)的誤碼代價(jià)更高,因此在 50G PAM4 的應(yīng)用和設(shè)計(jì)上我們傾向于更大的冗余度。

新一代 ACC 的設(shè)計(jì),我們?nèi)∶?TAC,這里 T 即有 Tencent 的意思,也有 Tunable 的意思,意味著相比 25G,我們可以更加靈活的調(diào)制線纜的參數(shù),使其與系統(tǒng)更加匹配。

需要特別說(shuō)的是,系統(tǒng)在識(shí)別銅纜的過(guò)程中,需要對(duì)銅纜的 SI 進(jìn)行定標(biāo),這個(gè)定標(biāo)的過(guò)程,我們稱之為 Training,如果已知銅纜的 SI 參數(shù),并且參數(shù)統(tǒng)一,我們只需要在系統(tǒng)側(cè)輸入一個(gè)匹配參數(shù),即可快速連接,降低了系統(tǒng)在識(shí)別過(guò)程中的時(shí)間損耗和錯(cuò)誤率,并且由此可能帶來(lái)的鏈路故障。

TAC 的最大特點(diǎn)就是可以將不同長(zhǎng)度的線纜 SI 歸一化到一個(gè)極小的范圍,使得不同長(zhǎng)度的線纜,看上去就像是同一個(gè)規(guī)格。這就是“T”的精髓。

3. 融入降噪設(shè)計(jì)

剛剛提到,相比較 25G NRZ 信號(hào),50G PAM4 信號(hào)對(duì) ACC 的性能要求高了很多。首先,PAM4 信號(hào)單個(gè)眼的信號(hào)能量比相同幅度的 NRZ 信號(hào)少了 9.5dB,所以對(duì) Redriver 芯片的噪聲性能要求提高了。其次,PAM4 信號(hào)的多電平特性需要 Redriver 芯片有更好的線性度,從而保持三個(gè)眼張開(kāi)的一致性。最后,PAM4 信號(hào)比同等波特率的 NRZ 信號(hào)對(duì)上升 / 下降沿的要求更高,這意味著需要更多的高頻補(bǔ)償。

用于 50G PAM4 ACC 的 Redriver 芯片需要同時(shí)實(shí)現(xiàn)更低的噪聲,更高的帶寬和線性度。但是,噪聲和帶寬以及 Redriver 提供的高頻增益是相互矛盾的,為了解決這個(gè)問(wèn)題,進(jìn)一步優(yōu)化噪聲和均衡能力之間的折中,我們?cè)谛乱淮?Redriver 芯片中加入了噪聲抵消技術(shù)(Noise CancellingTechnique,NCT)。其工作原理如下圖:均衡器里的晶體管在 Y 點(diǎn)的輸出噪聲通過(guò)反饋網(wǎng)絡(luò)同相拷貝到了輸入 X 點(diǎn)。另一方面,Y 點(diǎn)的輸出信號(hào)和 X 點(diǎn)的輸入信號(hào)是反向的。通過(guò)引入前饋網(wǎng)絡(luò)把 X 點(diǎn)的信號(hào)和噪聲進(jìn)行反相放大并和 Y 點(diǎn)的信號(hào)和噪聲相加,可以抵消一部分輸出噪聲,同時(shí)加強(qiáng)了信號(hào)本身。在理想情況下(HFF=-1/HFB),均衡器里晶體管的噪聲可以被完全抵消。通過(guò)在線性均衡器電路里引入上述噪聲抵消技術(shù),晶體管的等效高頻噪聲減少了 30%。通過(guò)這個(gè)技術(shù),線性 Redriver 在提高帶寬和高頻增益的同時(shí)沒(méi)有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話說(shuō),在保持一樣的帶寬和高頻均衡增益時(shí),提高了 Redriver 的輸出 SNR。另外,一種新穎的推挽式跨導(dǎo)結(jié)構(gòu)(Push-Pull Transconductance)被用在了新一代線性均衡器里,大大提高了電路的大信號(hào)線性度,使得在提高 SNR 的同時(shí),保持了 PAM4 信號(hào)三個(gè)眼的一致性。

4. 性能實(shí)測(cè)

為了驗(yàn)證基于新一代 50G PAM4 線性 Redriver 芯片的性能,用 7m 28AWG 制作的 SFP56 有源線纜在實(shí)驗(yàn)室里測(cè)試了 S- 參數(shù)和誤碼率(Bit Error Rate, BER),測(cè)試環(huán)境和結(jié)果如下圖所示:

經(jīng)測(cè)試,各項(xiàng)指標(biāo)已經(jīng)超出預(yù)期,7m 28AWG ACC 的回波損耗和插入損耗完全滿足和超出了 802.3bj 標(biāo)準(zhǔn)的要求,COM 值達(dá)到了 6dB。測(cè)試接收誤碼率,不開(kāi) FEC 下 BER 在 10-9 量級(jí),遠(yuǎn)低于標(biāo)準(zhǔn)要求,開(kāi) FEC 下無(wú)誤碼。線纜整體功耗實(shí)測(cè)小于 0.4W,大約是 56G PAM4 AOC 的 1/10。

結(jié)語(yǔ)

“光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì),但并不意味著“銅”的消失,在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展,數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天,“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì),分別承擔(dān)好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。