別被晶片規格騙了！一文看懂 Google 如何靠「環狀注意力」統治長文本時代。 скачать в хорошем качестве

別被晶片規格騙了！一文看懂 Google 如何靠「環狀注意力」統治長文本時代。

Google Gemini 在處理超長文本（如百萬級甚至千萬 token）時領先對手的核心原因。Google 的優勢並非源於單一晶片的規格，而是其 TPU 加速器與光路交換機 (OCS) 整合出的獨特硬體架構，能完美支援環狀注意力機制 (Ring Attention)。相較於 Nvidia 依賴傳統電子交換機與 InfiniBand 網路所產生的通訊延遲，Google 透過 3D Torus 拓樸實現了極致的資料傳輸穩定性。針對此領先地位，Nvidia 推行 ICMS 架構，利用 DPU 將緩存卸載至快閃記憶體以降低成本。總結而言，這種軟硬體協同設計的長期佈局，才是 Google 突破傳統運算瓶頸並達成架構霸權的關鍵。 物理層的決戰：光 vs. 電 這是兩者最根本的分歧。Google 賭注於「光學交換」，而 Nvidia 延續了資料中心的「電子交換」傳統。 Google OCS (光路交換機)： ◦ 純光學路徑： OCS 內部使用微機電系統 (MEMS) 的反射鏡陣列，直接將光束從輸入光纖反射到輸出光纖。過程中沒有任何光電轉換 (O-E-O)。 ◦ 速度與協議無關： 訊號通過的時間僅受限於光速。且因為是物理光路，它不關心傳輸的是什麼數據，這讓 Google 能使用極簡的自研協議 (ICI)，省去了乙太網或 InfiniBand 的封包標頭處理開銷。 Nvidia InfiniBand (電子交換)： ◦ 轉換瓶頸： 傳統交換機必須將光訊號轉為電訊號，讀取封包表頭，進行路由決策，再轉回光訊號 (O-E-O)。這導致了微秒級的延遲。 ◦ 抖動 (Jitter)： 在高負載下，電子封包交換容易發生網路擁塞，導致延遲忽高忽低（抖動）。對於需要步調一致的並行運算來說，這是致命傷。 2. 拓樸與擴展性：9,216 vs. 72 架構的差異決定了 AI 模型能「看到」多大的記憶體池。 Google 的「巨型晶片」 (Superpod)： ◦ 透過 OCS，Google 將 144 個機櫃（每個機櫃 64 顆 TPU）連接成一個 3D Torus (三維環面) 結構。這使得 9,216 顆 TPU v5p 在物理上緊密互連，軟體可以將其視為單一的運算單元。這 9,000 多顆晶片的記憶體 (約 875 TB) 形成了一個統一的資源池。 對長文推理 (Long Context) 的影響 為什麼 Google 能跑 100 萬 token ？ • Google (Ring Attention 原生支援)： ◦ 處理百萬 token 需要將巨大的 KV Cache 分散在數千顆晶片上。Ring Attention (環狀注意力) 演算法要求數據在晶片之間形成一個閉環流動。 ◦ OCS 構建的 3D Torus 拓樸，在物理上完美契合 Ring Attention 的邏輯環狀結構。數據傳輸與計算可以完美重疊 (Overlap)，通訊就像在本地記憶體讀取一樣流暢。 • Nvidia ： ◦ 由於 InfiniBand 網路存在抖動，一旦環狀傳輸中的某個節點發生延遲（長尾效應），整個環的運算都會停擺等待。這使得在數千顆 GPU 上執行 Ring Attention 效率低。 ◦ 反制策略 (ICMS)： 為了彌補這一點，Nvidia 推出了 ICMS 架構，利用 BlueField-4 DPU 將 KV Cache 卸載到 NVMe SSD 上。這是一種「以空間換時間」的策略，雖然能跑長文，但 SSD的讀取延遲遠高於 HBM，效能無法與 Google的全HBM方案相比。 經濟效益： • Google (省錢)： OCS 是被動元件，反射鏡維持光路不需要電力，且省去了昂貴的光電轉換模組 (Optical Transceivers)。這大幅降低了資本支出 (CAPEX) 和營運成本 (OPEX)。 • Nvidia (昂貴)： 傳統架構中，光電轉換模組和主動式交換機消耗大量電力且價格昂貴。 #GoogleGemini #TPU #RingAttention #OCS #光路交換機 #3DTorus #環狀注意力機制 #長文本 #AI架構 #軟硬體協同設計