Hot Chips 2026：高带宽闪存（HBF）的应用
机器学习工作负载对 DRAM 容量的胃口永远填不满。闪存每 GB 比 DRAM 便宜——它会是出路吗？
HBF（高带宽闪存）用的就是今天 SSD 里的闪存技术，但实现方式更像 HBM（高带宽内存）：HBF 立方体与计算芯片同封装，甚至就贴在 HBM 旁边。HBF 的理念是提供远高于 HBM 的容量，同时保持还行的带宽。在 Hot Chips 2026 教程日，Anurag Agarwal 与 Radhakrishna Giduthuri 的演讲探讨了 HBF 在机器学习负载上的应用。目前尚无 HBF 产品，演讲聚焦仿真、推演，以及软件如何适配以利用 HBF。
虽然 HBF 采用类 HBM 形态，底层完全不同。它不像 Intel Optane 那样能充当另一层内存池——HBF 更像集成进处理器的 SSD：软件用 DMA 在 HBF 与 DRAM 间搬运数据；HBF 访问必须以大块、对齐的方式进行（像块设备而非系统内存）；主机软件还要承担 SSD 控制器的职责（写均衡、数据保持）。所以 HBF 不是即插即用方案。
用好 HBF 需要制定专门策略并实现进运行时。Giduthuri 以 vLLM 为例：vLLM 通常把模型权重放在显存里，已在探索降低 VRAM 占用——比如权重放主机的 pinned 内存（前提是主机内存充裕）。这对 HBF 行不通（它不支持细粒度随机访问），但别的路子有戏：
- MoE 专家权重存 HBF：软件按需把激活的专家 DMA 进 HBM。
- KV 缓存放 HBF：适合稀疏注意力——每步只读 KV 顶部子集，让大部分缓存「冷」在闪存里，吃 HBF 的容量红利而少受带宽限制。注意 top-k 读取是分散的，HBF 偏好顺序读——软件可以按需把 top-k 行 DMA 进 DRAM 绕开。
- 用 HBF 容量减少跨卡通信：大模型常按 GPU 分片，性能受制于跨设备的 scatter/gather——它可能比算力或显存带宽更是瓶颈。HBF 通过在多卡间复制更多权重来缓解：从闪存 DMA 数据不便宜，但比跨设备便宜。
Agarwal 还讲清了成本账：负载没打到带宽上限时 HBF 才划算——适用于小模型和/或小 batch。一旦负载变成带宽瓶颈，HBF 的成本等式就难看了，因为总成本同时由单位容量成本与单位带宽成本构成：HBF 前者极优，后者较差。