下愚不移網(wǎng)英偉達年終核彈！全新B300為o1推理大模型打造 RTX5090也曝光了
英偉達老黃，英偉也曝成了今年的達年彈全大模圣誕老黃。
AI芯片大禮包剛剛曝光：
GPU新核彈B300，終核造以及附帶CPU的新B型打超級芯片GB300。
高算力，推理在產(chǎn)品層面上相比B200在FLOPS上提高50%
大顯存，英偉也曝從192GB提升到288GB，達年彈全大模也是終核造提高了50%。
△Grok AI繪圖
包含72塊GB300的新B型打“新一代計算單元”GB300 NVL72，更是推理被評價為“能讓OpenAI o1/o3推理大模型的思維鏈長度，在高batch size下達到10萬tokens的英偉也曝唯一方案”。
這與今年3月份“AI春晚”發(fā)布的達年彈全大模B200系列只隔了幾個月。
根據(jù)SemiAnalysis爆料，終核造從第三季度開始，新B型打許多AI巨頭已經(jīng)將訂單從B200轉(zhuǎn)移到了B300（只有微軟還在第四季度繼續(xù)購買了部分B200）。推理
有不少網(wǎng)友感嘆，更新速度實在太快了！
既是解決了此前傳聞中B200因設(shè)計缺陷被迫推遲的問題，又是對隔壁AMD MI300系列后續(xù)產(chǎn)品將在2025年提升顯存容量的回應(yīng)。
又一款A(yù)I核彈
既然都是Blackwell架構(gòu)沒有跨代，B300的算力提高來自哪里呢？
根據(jù)這次爆料，主要有三部分：
工藝節(jié)點，與B200使用同樣的臺積電4NP，但是全新流片
增加功率，GB300和B300 HGX的TDP分別達到1.4KW、1.2KW，相比之下B200系列分別提高0.2KW
架構(gòu)微創(chuàng)新，例如在CPU和GPU之間動態(tài)分配功率
除了更高FLOPS之外，B300系列的顯存也做了升級：
從8層堆疊的HBM3E升級到12層（12-Hi HBM3E）
顯存容量從192GB升級到288GB
顯存帶寬保持不變，仍為8TB/s
此外產(chǎn)品交付層面還有一個大變化：
GB200系列提供整個Bianca Board，也就包括兩顆GPU、一顆CPU、CPU的內(nèi)存等所有組件都集成在一塊PCB版上。
△GB200概念圖
GB300系列將只提供參考板（Reference Board），包括兩顆B300 GPU、一顆Grace CPU、HMC（Hybrid Memory Cube），LPCAMM內(nèi)存模塊等組件將由客戶自行采購。
這給供應(yīng)鏈上的OEM和ODM制造商帶來了新的機會。
為推理大模型打造
顯存的升級對OpenAI o1/o3一類的推理大模型至關(guān)重要，因為推理思維鏈長度會增加KVCache，影響batch size和延遲。
以一個GB300 NVL72“計算單元”為單位考慮時，它使72個GPU能夠以極低的延遲處理相同的問題，并共享顯存。
在此基礎(chǔ)上從GB200升級到GB300，還可以帶來許多好處：
每個思維鏈的延遲更低
實現(xiàn)更長的思維鏈
降低推理成本
處理同一問題時，可以搜索更多樣本，最終提高模型能力
為了解釋這些提升，SemiAnalysis舉了個更為直觀的例子。
下圖是在不同批處理大小下，使用H100和H200兩種GPU處理長序列時，Llama 3.1 405B在FP8精度下的處理速度。
輸入設(shè)置為1000個token、輸出19000個token，由此模擬OpenAI o1和o3模型中的思維鏈。
從H100升級到H200，有兩個顯著改進。
一是在所有可比較的batch size中，H200的內(nèi)存帶寬更大（H200 4.8TB/s，H100 3.35TB/s），從而使得處理效率普遍提高了43%。
二是H200可運行更高的batch size，這使得其每秒可以生成的token數(shù)量增加了3倍，相應(yīng)地，成本也減少了約3倍。
內(nèi)存增加所帶來的效益遠不止表面上的這些。
眾所周知，推理模型響應(yīng)時間一般更長，顯著縮短推理時間可以提高用戶體驗和使用頻率。
而且內(nèi)存升級實現(xiàn)3倍性能提升，成本減少3倍，這一提升速度也遠超摩爾定律。
除此之外，SemiAnalysis還分析觀察到，能力更強和具有明顯差異化的模型能收取更高的溢價——
前沿模型毛利率超70%，而還在與開源模型競爭的次一級模型毛利率不足20%。
當(dāng)然，英偉達并不是唯一一家能增加內(nèi)存的芯片公司，但奈何英偉達還有殺手锏NVLink。
One More Thing
英偉達消費級顯卡方面，RTX5090的PCB板也首次曝光了～
就在昨天，一張RTX 5090 PCB照片在網(wǎng)上瘋轉(zhuǎn)。
特點就是超超超大號。
結(jié)合此前爆料稱5090有可能會配備32GB大顯存，有望支持8K超高清游戲，實現(xiàn)60fps的流暢游戲體驗。
網(wǎng)友們直接坐不住。
關(guān)于5090的發(fā)布時間，大伙兒猜測大概會是1月6日老黃CES演講的時候。
參考鏈接：
[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/
[2]https://x.com/mark_k/status/1871864813913330003
[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/
