NVIDIA的200億美元豪賭：重塑AI晶片 скачать в хорошем качестве

NVIDIA的200億美元豪賭：重塑AI晶片

根據報導，輝達 (NVIDIA) 預計在即將舉行的 GTC 大會上，發表一款針對 AI 推論需求設計的全新處理器 LPU。這項新產品整合了從新創公司 Groq 取得的技術，象徵執行長黃仁勳正式調整過去以單一 GPU 應對所有任務的商業策略。相較於目前供應吃緊且造價昂貴的高頻寬記憶體（HBM），該款晶片選擇採用 SRAM 技術，旨在提升系統的回應效率並降低成本。隨著市場預測未來資料中心的支出將高度集中於推論應用，輝達此舉意在透過多元化的產品組合鞏固領導地位，並防堵競爭對手追趕。這場技術轉型不僅反映了 AI 模型日益複雜的需求，也展現出硬體設備朝向專用化發展的市場趨勢。 輝達（NVIDIA）過去由執行長黃仁勳主導「單一 GPU 處理所有任務」的策略，主張用同一套系統同時應付 AI 模型的訓練與推論 。然而，隨著 AI 產業的發展與應用改變，輝達斥資 200 億美元取得新創公司 Groq 的技術授權，並將推出專攻推論的 LPU（語言處理單元）晶片，主要基於以下幾個核心原因： 1. AI 市場重心轉向「推論」與「代理型 AI」的興起 隨著生成式 AI 從基礎設施建設期邁入大規模應用落地階段，市場的焦點已從大語言模型的「訓練」轉向「推論」 。據分析師預測，到 2030 年，推論將佔 AI 資料中心支出的 75% 。同時，隨著「代理型 AI」（Agentic AI）等工具複雜度提升，這類應用需要極低延遲和即時的確定性回應，黃仁勳因此被迫放棄單一 GPU 即可應付所有工作的一貫主張，轉而開發專用推論晶片 。 2. 突破 GPU 的「記憶體牆」效能瓶頸 傳統 GPU 在執行 AI 任務時，本質上是為了大規模平行處理而設計，其在推論階段的效能瓶頸在於「資料搬運」 。GPU 高度依賴外部的高頻寬記憶體（HBM），每次計算生成詞元（Token）時都必須從外部記憶體擷取權重，產生顯著延遲並導致運算核心閒置，形成「記憶體牆」 。 相對地，LPU 採用全靜態隨機存取記憶體（SRAM）架構，將記憶體直接整合於運算晶片內部，內部頻寬高達每秒 80 TB（遠高於 H100 外部 HBM 的 3.35 TB/s） 。這消除了片外通訊的延遲，使 LPU 在處理大型語言模型推論時，速度可達傳統 GPU 的 10 倍以上 。 3. 解決高功耗與資料中心散熱限制 目前的 GPU 雖然在訓練階段表現卓越，但在推論階段存在成本過高、功耗較大的問題 。因為 LPU 不需要頻繁搬運數據且不使用高耗能的 HBM，其在架構層級的能源效率比 GPU 提升達 10 倍 。此外，許多企業希望利用現有資料中心進行推論，但多數傳統機房無法支援最新 GPU 所需的液冷散熱系統 。LPU 的低功耗特性為輝達提供了氣冷（air-cooled）資料中心的選項，有助於突破機房硬體限制並擴大短期營收 。 4. 規避 HBM 與 CoWoS 先進封裝的供應鏈瓶頸 輝達旗艦級的 GPU 系統高度仰賴 HBM 來處理龐大數據負載，但 HBM 價格昂貴，且記憶體供應商的產能已被訂購一空，供應日益吃緊 。LPU 採用較容易取得的 SRAM，完全不需依賴 HBM 。此外，LPU 的效能優勢來自於記憶體架構，即使在較舊的製程節點（如 14 奈米）上製造也能表現出色，這讓輝達能繞過台積電 CoWoS 先進封裝產能受限的瓶頸，開闢一條不受現有供應鏈制約的成長新路徑 。 5. 建立防禦性護城河，抵禦客製化晶片（ASIC）競爭 各大雲端服務供應商（如 Google、Amazon、Meta）及新創公司正投入數千億美元積極研發自家專用的 AI 推論晶片 。輝達透過取得 Groq 的 LPU 技術，計劃將 SRAM 高速架構與自家的 GPU 通用平台進行「異質整合」 。這項防禦性戰略讓輝達未來能提供客戶整合 GPU 與 LPU 的 AI 伺服器解決方案，有效降低來自客製化 ASIC 晶片的競爭威脅，鞏固其在 AI 算力市場的主導地位 。 #nvidia #gtc