HBM 只多 3%，產出最高 30 倍：輝達這筆效率帳，值得拿來檢查「補越多越健康」的直覺

11 月 5 日，輝達發布了一篇技術解讀，談 AI 的記憶體瓶頸。背景不難理解：大模型的參數規模、上下文長度和智慧代理應用都在快速成長，GPU 上的 HBM 高頻寬記憶體同時要承載模型權重和 KV 快取，部分場景一次要處理多達 300 萬個 token，而 HBM 供應趨緊、價格上揚，看得到的日子裡恐怕都不會放鬆。

輝達給出的方向，是把 GPU、CPU、網路、儲存和軟體當成一個整體來規劃，讓每一 byte 記憶體在「AI 工廠」的各個層級都產生更高價值。他們用了一個好懂的比喻：HBM 像倉庫，記憶體頻寬像裝卸口。倉庫再大，貨物進出速度跟不上，一樣會塞成一道「記憶體牆」。

實際做法包括：用 NVFP4 低精度格式壓縮模型權重與 KV 快取；在 NVL72 系統裡把權重分散到最多 72 顆 GPU；讓 Vera CPU 的大容量 LPDDR 記憶體充當暫停上下文的就近緩衝；Dynamo 推論軟體把不活躍的上下文搬進 CMX 存放，需要復用前再取回；RAG 索引則留在 CPU 與儲存端，不長期佔用 HBM。

帳目攤開來是這樣：輝達援引 SemiAnalysis 的 AgentX 基準，在每用戶每秒 125 token 的條件下，Vera Rubin NVL72 相較 GB300 NVL72，每美元的代理吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量只增加約 3%。另外，GB300 相較 H200 平臺，在每秒 100 token 條件下，每美元吞吐量最高提升 10 倍。輝達自己的結論是，算力競爭的關鍵正從「記憶體容量多大」，移向「每一 byte、每一瓦特能產出多少有效 token」。

這是晶片產業的新聞，搬進你我的生活裡，剛好能用來檢查一個常見直覺：投入越多，效果應該越好。工程師這回示範了這個直覺在哪裡失準，而且失得很漂亮。容量只加了 3%，產出卻翻了這麼多倍，差別在於瓶頸根本沒停在容量上。有幾個流傳很久的說法，值得借這則新聞重新檢查一遍。

「保健食品喫越多、補越勤，就是有在顧身體？」

很多人家的保健食品是這樣累積起來的：熬夜加班後買了提神配方，膝蓋痠痛後買了關節保養品，健檢報告多了幾個箭頭，再補一瓶魚油。每一罐都有理由，加起來就是一整櫃。這個思路和不停堆 HBM 容量很像：倉庫一直蓋，裝卸口照樣塞車。

換幾個角度評估。多項產品常含相同成分，疊加後的總量需要有人幫你算；脂溶性維生素與部分礦物質會在體內累積；如果你正在服用慢性病藥物，保健食品與處方藥之間的交互作用也需要專業把關。這些都是「越多未必越好」的具體理由，也都是可以帶著清單去問藥師的好題目。

我們在先前整理的同半胱胺酸紅字先別急著補 B 羣的四個問答裡提過同樣的原則：看到數字超標，先回頭找原因。原因還沒弄清楚，就把補充品往上加，常常只是把倉庫蓋得更大。

「最高提升 30 倍」這種數字，可以直接搬進你的生活嗎？

回到新聞本身。「最高 30 倍」後面其實掛著一串但書：這是在每用戶每秒 125 token 的條件下測的，比較對象是特定的兩代平臺，數字出自 SemiAnalysis 的 AgentX 基準，而且「最高」代表的是最佳情境。換一組條件，GB300 對 H200 就成了另外一組 10 倍。數字本身沒有問題，但每個倍數都活在它的測試條件裡。

保健食品與健康研究的宣稱也長得很像，例如「研究顯示有助睡眠品質」「專注力提升百分之幾」這類句子。下次遇到，練習把但書撈出來：誰做的測試、多少人參與、做了多久、跟什麼比。這套讀法，和我們先前分享的用財報學會的四個讀健檢數字原則是同一件事。基數、口徑與比較對象先看清楚，數字才開始有意義。

覺得哪裡弱，就往哪裡猛補？

輝達這套解法的精神是協同。權重壓縮、分層擺放、提前調度，單看每一項都不神奇，組合起來才有帳面上的數字。身體同樣是多層次的系統：睡眠影響食慾與血壓，活動量影響睡眠深度，壓力又回頭幹擾前面兩者。只升級單一規格，比如多喫一罐、多買一臺按摩椅，常常感覺不出差別，因為真正卡住的那一層在別的地方。

要找瓶頸，有個土方法常常被低估：記錄。挑一項開始就好，例如連續兩週記下每天的入睡時間、起牀時間和白天精神分數，或者一週的外食次數、一週累積的活動分鐘數。回頭看的時候，通常會浮出「原來卡在這裡」的訊號，比憑感覺下單可靠得多。也要記得，每個人的瓶頸不同，別人喫得很順的產品，不見得是你的答案。

今天就能做的四件小事

把家裡所有保健食品排開，連同包裝上的成分表拍一張照。這張照片就是你的「容量清單」，日後諮詢時最實用的資料。

對清單上的每一項問自己幾個問題：當初為什麼開始喫？喫了之後有沒有具體觀察到改變？有沒有跟醫師或藥師確認過？任何一題答不出來，就列進下次回診或到藥局的提問清單。

挑一個你最懷疑的環節做兩週記錄。睡眠、飲食、活動選一個就好，不要貪心，期滿再決定下一步。

下次再看到「倍數」「百分比」類的健康宣稱，先找但書，再決定要不要心動。

出現這些情況時，帶著清單去求助

如果你同時喫三種以上保健食品，最近又出現腸胃不適、皮膚紅疹或說不上來的疲倦，先別急著歸咎於最近太忙。帶著那張合照和成分表到社區藥局請藥師看一遍，或掛家庭醫學科、內科門診評估。

如果你正在服用血壓、血糖或抗凝血類等慢性病藥物，想新增任何保健食品之前，先問過開藥的醫師或藥師。這一步問的是觀念和交互作用，花不了幾分鐘，卻能省掉不少麻煩。

如果疲累或睡不好的狀況持續了好幾週，一直靠提神產品撐著，這已經超出「補一補」的範圍。安排一次門診，讓醫師幫你找真正卡住的那一層。

如果健檢報告出現紅字，跟醫師把原因和追蹤計畫談清楚，比急著自己把數字壓回綠字重要。紅字是身體發出的訊號，讀懂它，才知道下一步往哪裡走。

輝達的工程師這回示範的是：碰上瓶頸時，把系統當整體看、讓每個單位的投入發揮效益，比無止盡堆規格劃算得多。你家的保健食品櫃、牀頭的鬧鐘、週末的運動鞋，值得同一種眼光。這週先把那張合照拍好，其他的，就從兩週的記錄開始。