把512 GiB闪存搬到xPU旁，HBF能打破推理内存墙？

事件概述

SK海力士与闪迪近日通过OCP发布《High Bandwidth Flash（HBF）High-Level Base Die Specification, Version 0.7.0》。该规范首次明确了HBF的系统定位、接口与工程边界，谷歌和Tenstorrent作为反馈与建议提供方被列入致谢名单。HBF的目标是将大容量NAND闪存以共封装形式放到GPU及其他xPU旁，缓解AI推理阶段的数据搬运瓶颈。

HBF的系统定位

HBF既不是HBM的替代品，也不是传统SSD的简单提速版本。它位于HBM与外部存储之间，作为一个非一致性的、以内存为中心的闪存设备，为xPU提供额外的TB级内存容量。规范指出，HBF与HBM在同一系统中必须分开管理，不会自动成为HBM一致性地址空间的一部分，软件需要决定数据属于哪个层级以及如何移动。

技术架构与带宽实现

一个HBF设备由Base Die、NAND Core Die堆叠和TSV通道构成。Base Die承担UCIe协议管理、主机与NAND之间的数据移动、ECC编解码、错误报告和传输调度等控制工作，并非简单的无源互连层。xPU通过UCIe 3.0封装内互连与HBF连接，使用AXI作为通信协议。

HBF堆叠最多支持16条独立主机通道，每条通道拥有独立的地址空间。参考配置采用16颗NAND Die、每通道16个Bank和4KiB NAND页，总容量512GiB（约550GB），并允许更高容量堆叠。约3TB/s的最高聚合读取带宽并非来自单颗NAND的性能提升，而是通过16条通道以及多Die、多Bank、多阵列并行汇聚而成，且需要主机将数据充分分布在多个通道上才能实现。

应用场景

模型权重是HBF最自然的工作负载，适合读取优化、高容量的NAND层级。规范还将其应用范围扩展到KV Cache、多模型切换、混合专家模型（MoE）、多模态模型和智能体工作负载。多模型场景支持两种数据布局：将模型交错在所有通道上以获得完整带宽，或将不同模型分配到专用通道组以实现隔离。KV Cache在推理过程中持续增长并不断读写，规范建议将权重与KV Cache按通道粒度分区，以避免读写模式差异降低耐久性和容量利用率。

工程约束与取舍

HBF的底层介质仍是NAND，因此物理约束并未消除：需要4KiB对齐的顺序写入、不支持对已编程页面的直接覆盖、重写前必须整块擦除。小于4KiB的写入请求会在Base Die中缓存后再合并写入。磨损均衡可由Base Die执行，也可由主机通过区域重映射控制，但重映射不会自动迁移数据。Base Die仍负责NAND命令、ECC、请求调度和错误检测，数据布局、部分磨损管理和异常恢复则需要主机深度参与。

HBF的核心取舍在于：它把大容量NAND移到更靠近计算的位置，同时将NAND介质管理的一部分复杂性转移给主机软件。要充分利用其容量和并行带宽，xPU主机及其软件需要理解通道布局、数据放置方式和部分介质状态。