在LLM熱潮中，大模的我們不僅要關(guān)注GPU本身，型浪還要關(guān)注互連技術(shù)。潮下隨著AI參數(shù)量成倍地增加，互連甚至“上不封頂”地?cái)U(kuò)展，革命如果想要服務(wù)器扛住這樣的領(lǐng)技“巨浪”，就要編織更多的術(shù)新網(wǎng)，形成非常強(qiáng)大的紀(jì)元算力網(wǎng)絡(luò)；如果想要釋放GPU集群的全部潛力，每個(gè)節(jié)點(diǎn)間的大模的通信都要順暢無(wú)阻，猶如鋪設(shè)一條條“高速公路”。型浪
從UEC到UALink，潮下取代現(xiàn)有技術(shù)
GPU領(lǐng)域，互連比較典型的革命兩個(gè)互連技術(shù)是InfiniBand和NVLink/NLSwitch技術(shù)，前者用于服務(wù)器間連接，領(lǐng)技可以形成大型AI算力網(wǎng)絡(luò)，術(shù)新后者可以將GPU和GPU互連，至多讓576個(gè)GPU實(shí)現(xiàn)每秒1.8TB的通信。
毋庸置疑，兩種私有協(xié)議的性能都很強(qiáng)勁，但它們都非常封閉，在一定程度上制約了技術(shù)的持續(xù)演進(jìn)與效能優(yōu)化潛力。目前，行業(yè)更為通用的做法是通過(guò)成立聯(lián)盟，制定公開(kāi)的協(xié)議標(biāo)準(zhǔn)。眾人拾柴火焰高，參與的玩家越多，互連技術(shù)進(jìn)化得就越快，協(xié)議標(biāo)準(zhǔn)也就越趨于統(tǒng)一。
去年7月，AMD、Arista、博通、思科、EVIDEN等公司聯(lián)合成立超以太網(wǎng)聯(lián)盟（Ultra Ethernet Consortium，簡(jiǎn)稱UEC），隨后增強(qiáng)型以太網(wǎng)開(kāi)始取代InfiniBand技術(shù)，迅速成為GPU新的加速節(jié)點(diǎn)。一些公司也因此獲得了豐厚的利潤(rùn)，例如Arista公司的AI集群互連銷(xiāo)售額顯著增長(zhǎng)。
就在10月28日，AMD、AWS、谷歌和思科等九家巨頭宣布正式成立UALink聯(lián)盟（Ultra Accelerator Link Consortium，簡(jiǎn)稱UALink聯(lián)盟），主推AI服務(wù)器Scale UP互連協(xié)議——UALink。這一協(xié)議一經(jīng)推出便廣受關(guān)注。UALink是新一代AI/ML集群性能的高速加速器互連技術(shù)，擁有低延遲和高帶寬的特點(diǎn)，具備高性能內(nèi)存語(yǔ)義訪問(wèn)的原生支持，可以完美適配GPU等AI加速器的編程模型，在一個(gè)超節(jié)點(diǎn)內(nèi)實(shí)現(xiàn)一點(diǎn)規(guī)模的AI計(jì)算節(jié)點(diǎn)互連。除此之外，UALink的優(yōu)勢(shì)還包括顯存共享，支持Switch組網(wǎng)模式，以及超高帶寬和超低時(shí)延能力等。
區(qū)別于專注在Scale Out（橫向/水平擴(kuò)展）的UEC，UALink協(xié)議已經(jīng)成為最具潛力的AI服務(wù)器Scale UP（縱向/垂直擴(kuò)展）互連開(kāi)放標(biāo)準(zhǔn)，正在迅速構(gòu)建起一個(gè)AI服務(wù)器Scale UP互連技術(shù)的超級(jí)開(kāi)放生態(tài)。
10月28日官網(wǎng)公布的UALink聯(lián)盟9家創(chuàng)始成員單位
UALink如何在中國(guó)市場(chǎng)落地
作為一個(gè)互連系統(tǒng)開(kāi)發(fā)標(biāo)準(zhǔn)，UALink在落地過(guò)程中需要覆蓋多個(gè)產(chǎn)業(yè)環(huán)節(jié)，因此成員涵蓋了芯片制造商、交換機(jī)提供商、服務(wù)器提供商等整個(gè)產(chǎn)業(yè)鏈的關(guān)鍵角色。然而，由于AI大模型產(chǎn)業(yè)在國(guó)內(nèi)具備本土特色，因此UALink如何在中國(guó)市順利場(chǎng)落地，面臨著巨大的挑戰(zhàn)。
為了打造一個(gè)原生支持AI場(chǎng)景的Scale UP開(kāi)放生態(tài)系統(tǒng)，阿里云在今年9月倡議并牽頭成立了ALS（ALink System，加速器互連系統(tǒng)）開(kāi)放生態(tài)系統(tǒng)，依托于ODCC（開(kāi)放數(shù)據(jù)中心委員會(huì)），解決Scale UP互連系統(tǒng)的行業(yè)發(fā)展規(guī)范問(wèn)題。目前已有20多家AI芯片、互連芯片、服務(wù)器整機(jī)硬件和IP設(shè)計(jì)廠商加入，成員單位已就相關(guān)協(xié)議標(biāo)準(zhǔn)制定和實(shí)行路徑選擇展開(kāi)交流。
目前，ALS已形成從協(xié)議到芯片、從硬件設(shè)備到軟件平臺(tái)的系統(tǒng)體系，主要包括ALS-D數(shù)據(jù)面和ALS-M管控面兩個(gè)組成部分：ALS-D數(shù)據(jù)面互連采用UALink協(xié)議，具備UALink的一切優(yōu)勢(shì)，還增加定義了在網(wǎng)計(jì)算等特性；ALS-M可為不同芯片方案提供標(biāo)準(zhǔn)化接入方案，同時(shí)為云計(jì)算等集群管理場(chǎng)景，提供單租、多租等靈活和彈性的配置能力。
ALink System架構(gòu)示意圖
正因?yàn)槿婕嫒輫?guó)際標(biāo)準(zhǔn)UALink生態(tài)，ALS可以與行業(yè)伙伴開(kāi)放共建超高性能、超大規(guī)模的Scale UP集群互連能力，一級(jí)互連64～80個(gè)節(jié)點(diǎn)，二級(jí)互連可達(dá)千級(jí)節(jié)點(diǎn)，提供PB級(jí)共享顯存和TB級(jí)互連帶寬。
在今年9月底的云棲大會(huì)上，阿里云展示了其面向下一代超大規(guī)模AI集群的磐久AI Infra 2.0服務(wù)器，開(kāi)放性地定義了AI計(jì)算節(jié)點(diǎn)和Scale UP/Scale Out互連系統(tǒng)，可以在統(tǒng)一硬件架構(gòu)下支持業(yè)界主流AI方案，引領(lǐng)AI領(lǐng)域的“一云多芯”。
2024云棲大會(huì)阿里云磐久AI Infra 2.0服務(wù)器展示區(qū)
磐久AI Infra 2.0服務(wù)器的有六大亮點(diǎn)：一是計(jì)算節(jié)點(diǎn)業(yè)界密度最高，單機(jī)柜支持最大80個(gè)AI計(jì)算節(jié)點(diǎn)；二是計(jì)算節(jié)點(diǎn)集成阿里自研CIPU 3.0芯片，既能幫助實(shí)現(xiàn)Scale Out網(wǎng)絡(luò)擴(kuò)展，又能兼顧云網(wǎng)絡(luò)彈性、安全的要求；三是供電效率高，在業(yè)界率先采用400V PSU，單體供電效率可達(dá)98%，整體供電效率提高2%；四是節(jié)能，機(jī)柜級(jí)液冷方案可根據(jù)實(shí)際負(fù)載動(dòng)態(tài)調(diào)整CDU冷卻能力來(lái)降低能耗，單柜冷卻系統(tǒng)節(jié)能30%；五是方便運(yùn)維，全新的CableCartridge后維護(hù)設(shè)計(jì)，支持全盲插，零理線易運(yùn)維、零誤操作，維護(hù)效率提升50%；六是可靠性高，支持彈性節(jié)點(diǎn)、智能路由、高可靠供電、分布式CDU等技術(shù)，可實(shí)時(shí)監(jiān)控、探測(cè)各種硬件故障并自愈，硬件故障域也縮減到節(jié)點(diǎn)級(jí)。
除了積極擁抱UALink和牽頭成立ALink System產(chǎn)業(yè)生態(tài)，阿里云也在積極推動(dòng)UALink技術(shù)生態(tài)影響力的建設(shè)，在剛剛過(guò)去的2024開(kāi)放計(jì)算全球峰會(huì)人工智能特別關(guān)注議程（Special Focus Tracks）上，阿里云服務(wù)器研發(fā)資深總監(jiān)文芳志受邀和UALink聯(lián)盟主席Kurtis Bowman聯(lián)合發(fā)表了題為'UALink: Pioneering the AI Accelerator Revolution'的演講，重點(diǎn)闡述了AI服務(wù)器Scale UP互連技術(shù)領(lǐng)域的發(fā)展趨勢(shì)，UALink標(biāo)準(zhǔn)的路線圖，UALink聯(lián)盟和ALink System產(chǎn)業(yè)生態(tài)未來(lái)的合作潛力，以及阿里云磐久AI Infra 2.0服務(wù)器的落地實(shí)踐思路。
阿里云服務(wù)器研發(fā)資深總監(jiān)文芳志和UALink聯(lián)盟主席Kurtis Bowman聯(lián)合演講
對(duì)AI來(lái)說(shuō)，Scale UP非常重要
都是增強(qiáng)現(xiàn)有系統(tǒng)能力，處理更大規(guī)模能力，為什么要分成Scale-up（向上/垂直擴(kuò)展）和Scale-out（橫向/水平擴(kuò)展）兩張網(wǎng)？
兩張網(wǎng)絡(luò)的目標(biāo)不同，Scale Out是在計(jì)算集群內(nèi)部，利用外置網(wǎng)卡技術(shù)，通過(guò)橫向擴(kuò)展機(jī)柜的數(shù)目，實(shí)現(xiàn)到數(shù)萬(wàn)甚至數(shù)十萬(wàn)張卡的互連；Scale UP是超節(jié)點(diǎn)內(nèi)部，采用GPU直出技術(shù)，通過(guò)十倍于Scale Out的吞吐能力，達(dá)成數(shù)十、數(shù)百的GPU高效協(xié)同。
這兩張網(wǎng)，將業(yè)務(wù)邏輯緊密耦合在一起?？梢哉f(shuō)，兩張網(wǎng)對(duì)于AI，尤其是AIGC或LLM都相當(dāng)重要。AI基礎(chǔ)設(shè)施的計(jì)算效能要求很高，為了最大化達(dá)成端到端MFU，需要Scale UP和Scale Out都進(jìn)行最大程度的優(yōu)化。由于需要解決的互連問(wèn)題各不相同，尤其是10倍左右的流程差異，Scale UP需要采用不同于Scale Out的協(xié)議設(shè)計(jì)來(lái)將性能發(fā)揮到極致。
在這種極致協(xié)議的實(shí)現(xiàn)落地過(guò)程中，需要眾多廠商和生態(tài)共同參與，一個(gè)開(kāi)放的生態(tài)能夠最大程度地復(fù)用已有技術(shù)和解決方案，將整個(gè)系統(tǒng)的性能、成本、穩(wěn)定性做到最佳。但不難預(yù)見(jiàn)，無(wú)論是UALink，還是ALS，將發(fā)揮出協(xié)同開(kāi)放的優(yōu)勢(shì)。
值得關(guān)注的是，UALink的重要技術(shù)基底是Infinity Fabric 協(xié)議，Infinity Fabric是一種成熟的高速互連技術(shù)，它由AMD開(kāi)發(fā)，在自家的CPU、GPU產(chǎn)品中都有所使用，目前已經(jīng)迭代到第四代，從最初的CPU間互連已經(jīng)可以實(shí)現(xiàn)GPU間互連。在Infinity Fabric技術(shù)的加持下，UALink推進(jìn)的速度也會(huì)很快。
