谷歌推出 TPU 8t / 8i,兩款 AI 芯片分別面向訓練和智能體推理

it之家 4 月 22 日消息,谷歌在當地時間今日舉行的 google cloud next 大會上宣布推出兩款定製 ai asic 芯片,分別是為推理優化的 熱塑性聚氨酯8t 和面向智能體推理工作負載的 熱塑性聚氨酯8i,兩款芯片也有承擔對方優勢任務的能力。

谷歌推出 TPU 8t / 8i,兩款 AI 芯片分別面向訓練和智能體推理 -

tpu 8t 在處理大規模、計算密集型的訓練工作負載時表現出色,其設計具備更高的計算吞吐量和更強的縱向擴展帶寬。tpu 8i 則配備了更高的內存帶寬,專為處理對延遲最為敏感的推理工作負載而設計。

tpu 8t 的 pod 規模從此前的 9216 顆進一步增加至 9600 顆,但總 fp4 算力規模提升則接近 2 倍。其單芯片橫向擴展 (scale-out) 帶寬從 100gbps 顯著增長至 400gbps,這化解了大規模互聯中的瓶頸。

tpu 8i 則擁有 cae 片上加速引擎,配備 384mb 片上 sram 和 288gb 片外 hbm,運行時的數據無需存取。其 pod 規模從上代的 256 顆顯著提升至 1152 顆,每 pod 的 fp8 算力和 hbm 內存容量分別提升 8.67 倍和 5.74 倍。

谷歌表示,tpu 8t 和 tpu 8i 的能效是上一代 tpu ironwood 的兩倍

分享你的喜愛