AI SSD：大模型推理的存储范式转移

事件概述

AI基础设施竞争过去主要围绕GPU数量、算力、HBM带宽和高速网络展开。随着大模型进入长上下文、复杂推理和多智能体阶段，模型权重、KV Cache和MoE专家能否在正确时间到达正确计算节点，成为决定GPU实际利用率的关键。AI Infra正从“堆叠计算资源”进入“算力、网络、内存与存储协同数据路径”的新阶段。月之暗面Mooncake与NVIDIA推出的CMX，是这一变化的两个代表性信号。

核心信息

Mooncake：把KV Cache变成独立基础设施资源

Moonshot AI与清华大学发表于USENIX FAST ’25的Mooncake，采用以KV Cache为中心的分离式架构：Prefill与Decode部署在不同资源池，集群中未被充分利用的CPU、DRAM、SSD和NIC被组织为分布式KV Cache池。中心Conductor结合KV Cache分布、缓存命中、节点负载以及TTFT、TBT等服务目标，统一调度缓存复用、Prefill执行和Decode。

Mooncake的思路被概括为“用更多存储换取更少计算”。论文披露，在真实请求轨迹和不同TBT约束下，其有效请求承载能力相比基线系统提升59%至498%；论文发表时生产系统已运行于数千个节点，每日处理超过1000亿Token。官方文档已将DRAM与SSD/NVMe纳入多级缓存，支持从内存向本地SSD卸载并在未命中时回读，数据经过预注册缓冲区后由Transfer Engine送往目标DRAM或VRAM。

NVIDIA CMX：在HBM与共享存储之间增加G3.5层

NVIDIA的分层体系中，G1为GPU HBM（热KV Cache），G2为系统内存，G3为本地SSD（温数据），G4为面向持久化数据的共享文件或对象存储。CMX Context Memory Storage Platform在G3与G4之间增加“G3.5”层：通过以太网连接、以Flash为介质、面向KV Cache优化的Pod级上下文内存，承载短暂、派生、可重新计算但延迟敏感的推理上下文，不取代G4持久化存储。

CMX配套Dynamo KV block manager、NIXL、DOCA Memos、BlueField-4和Spectrum-X Ethernet，将KV块编排、搬移、预取、完整性与加密操作下沉到靠近网络和NVMe Flash的位置。NVIDIA披露，CMX可在单个GPU Pod内提供PB级共享上下文容量，长上下文和智能体负载下的持续Token吞吐与功耗效率最高可达传统存储方案的5倍（厂商口径）。

值得关注

传统SSD难以直接进入推理链路

LLM推理需要带严格时序约束的数据供应，而传统SSD围绕顺序带宽、随机IOPS、可靠性和单位容量成本设计。NAND Flash以页读、以块擦除，FTL的地址映射、垃圾回收和磨损均衡会带来写放大、寿命压力和不可预测的尾延迟；传统LBA排布也不了解模型层、KV块、MoE专家及其执行次序。AI SSD至少需要解决两个层面：一是低延迟、高耐久和稳定尾延迟的介质与I/O能力；二是通过主控、固件、中间件乃至推理运行时协同，实现数据分层、缓存管理和预测式预取。

两类产品分化

AI负载强化型企业级SSD：保持标准块存储形态，围绕AI集群调整指标。英韧科技洞庭-N3X采用低时延、高耐久介质，面向KV Cache卸载和高频临时数据读写；华为OceanDisk LC 560以超大单盘容量和顺序读取能力承载模型、语料和向量数据。

推理参与型AI SSD：从被动响应块设备命令，走向参与模型权重、KV Cache和MoE专家的运行时管理，目前有三条代表性路线：

• 群联aiDAPTIV：专用缓存SSD+内存管理中间件+工具链。模型权重按块在SSD与VRAM间流式搬运，被显存驱逐的KV Cache可存入SSD供后续复用，减少重新执行Prefill；专用缓存SSD耐久性最高100 DWPD。将云侧“以存储扩展计算内存”思路压缩到单机和小型集群。
• 江波龙：以SPU为硬件执行层、iSA为软件决策层，感知推理负载并制定分层与预取策略。WM8500 SPU采用5nm工艺，支持存内无损压缩、HLC高级缓存和混合NAND调度，按冷热程度在高速缓存区和大容量介质区间分配数据，面向AI PC、工作站和端侧设备。
• 寅谱-联芸：寅谱以AI Native身份从大模型推理芯片、近存计算、操作系统和主板级协同切入，联芸提供NAND、SSD主控、固件及产品适配基础。方案贯通计算侧缓存体系、middleware、firmware、controller和NAND介质管理，围绕MoE专家、KV Cache和数值精度三个维度进行数据切分、冷热分层、并行搬运和预测式预取，适配不同CPU、GPU、NPU及SSD模组形态。

结论

三条推理参与型路线代表三种AI基础设施切入方式：群联从专用缓存盘和中间件切入，江波龙把调度与压缩能力放入存储侧，寅谱-联芸从计算与存储协同切入。AI SSD的竞争最终是完整数据路径的竞争，门槛在于能否建立从NAND介质、FTL、固件、驱动、中间件到推理框架和整机验证的完整协作体系。AI SSD不会取代HBM、VRAM或DRAM，而是推动更细的存储层级形成，并由软硬件共同决定数据迁移时机。当AI产业从模型能力竞赛走向大规模应用，基础设施需要回答的不只是拥有多少FLOPS，还包括每瓦电力能生成多少有效Token、每张GPU有多少时间真正参与计算、已计算的上下文能否低成本复用。