頂點(diǎn)光電子商城2025年3月20日消息:近日,在GTC 2025大會(huì)上,美光公布了自家的SOCAMM內(nèi)存模塊,將用于英偉達(dá)最新發(fā)布的Blackwell Ultra GB300產(chǎn)品線。
SOCAMM并非傳統(tǒng)內(nèi)存條的簡(jiǎn)單升級(jí),而是將HBM3(高帶寬內(nèi)存)與AI加速單元集成于同一基板,形成“存算一體”的革新架構(gòu)。其核心技術(shù)亮點(diǎn)包括:通過12層HBM3堆疊,單模塊帶寬較上一代提升3倍,足以支撐萬億參數(shù)模型實(shí)時(shí)訓(xùn)練;采用美光獨(dú)有的低功耗電路設(shè)計(jì),在滿載運(yùn)行時(shí)功耗降低至225W,顯著低于同類方案;內(nèi)置硬件級(jí)數(shù)據(jù)調(diào)度器,自動(dòng)優(yōu)化張量傳輸路徑,減少GPU閑置等待時(shí)間。
英偉達(dá)GB300系列作為面向AI數(shù)據(jù)中心的旗艦產(chǎn)品線,對(duì)內(nèi)存子系統(tǒng)提出三大極限需求:需容納百萬級(jí)上下文長(zhǎng)度的LLM(大語言模型)參數(shù);自動(dòng)駕駛等場(chǎng)景要求響應(yīng)延遲低于1ms;企業(yè)級(jí)訓(xùn)練任務(wù)需保持99%以上的GPU利用率。
SOCAMM通過NVLink-C2C直連技術(shù)與GB300 GPU核心互聯(lián),實(shí)現(xiàn)內(nèi)存帶寬的“零損耗”傳輸。實(shí)測(cè)數(shù)據(jù)顯示,在ResNet-50訓(xùn)練任務(wù)中,GB300系統(tǒng)吞吐量提升2.7倍,推理能效比達(dá)15.8 TOPS/W。
此次合作暴露了AI芯片競(jìng)爭(zhēng)的下一戰(zhàn)場(chǎng)——內(nèi)存架構(gòu)創(chuàng)新。傳統(tǒng)馮·諾依曼架構(gòu)下,數(shù)據(jù)在內(nèi)存與計(jì)算單元間的“搬運(yùn)”已成為算力瓶頸。SOCAMM的存算融合設(shè)計(jì),為突破“內(nèi)存墻”提供了新思路。