發(fā)布時(shí)間:2024-12-23 02:47:44 來(lái)源:下愚不移網(wǎng) 作者:焦點(diǎn)
11月20日消息,騰訊2024年世界互聯(lián)網(wǎng)大會(huì)今日在浙江烏鎮(zhèn)開(kāi)幕,獲互聯(lián)會(huì)領(lǐng)騰訊獲得全新設(shè)立的世界世界互聯(lián)網(wǎng)大會(huì)杰出貢獻(xiàn)獎(jiǎng)—創(chuàng)新突破類。
據(jù)“騰訊”公眾號(hào)介紹,先科信成騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)也獲得了本年度世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)。技獎(jiǎng)
騰訊稱,讓通該獎(jiǎng)項(xiàng)被視為科技行業(yè)的本降最高榮譽(yù)之一,在270個(gè)申報(bào)項(xiàng)目中,騰訊共有20個(gè)項(xiàng)目獲獎(jiǎng)。獲互聯(lián)會(huì)領(lǐng)
評(píng)選委員會(huì)點(diǎn)評(píng)騰訊Angel機(jī)器學(xué)習(xí)平臺(tái):突破萬(wàn)億級(jí)模型分布式訓(xùn)練和推理以及大規(guī)模應(yīng)用部署等難題。世界
據(jù)了解,先科信成突破主要在通信、技獎(jiǎng)效率、讓通規(guī)模三方面實(shí)現(xiàn)。本降
通信:
從網(wǎng)卡到交換機(jī),騰訊再到路由協(xié)議,騰訊自研的RDMA網(wǎng)絡(luò)實(shí)現(xiàn)了集群高速互聯(lián),單節(jié)點(diǎn)帶寬達(dá)到3.2T,相比于同類領(lǐng)先產(chǎn)品,性能提升30%,成本降低70%。
效率:
自研了訓(xùn)練/推理框架,提出顯存加主存的一體化機(jī)制,實(shí)現(xiàn)多維并行和算子優(yōu)化,相比開(kāi)源框架,訓(xùn)練性能提升2.6倍,推理速度提升2.3倍。
規(guī)模:
實(shí)現(xiàn)了單任務(wù)萬(wàn)卡的線性擴(kuò)展,GPU集群加速比從50%提升到99%。
騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)是干嘛的,如果你手握一堆數(shù)據(jù),想從零開(kāi)始訓(xùn)練一個(gè)大模型,整個(gè)過(guò)程可以分成三層,Angel會(huì)在中間層發(fā)揮作用。
其中,底層GPU、云服務(wù)器等計(jì)算硬件提供算力支持,中層是機(jī)器學(xué)習(xí)平臺(tái),負(fù)責(zé)處理數(shù)據(jù)、開(kāi)發(fā)算法和執(zhí)行訓(xùn)練任務(wù),上層是訓(xùn)練好的大模型。
簡(jiǎn)單來(lái)說(shuō),Angel機(jī)器學(xué)習(xí)平臺(tái)可以把一堆雜亂的數(shù)據(jù)經(jīng)過(guò)清洗、訓(xùn)練、加工等工序,變成一個(gè)強(qiáng)大的大模型。
相關(guān)文章
隨便看看