大模型推理面临存储墙挑战，存算融合技术成为破局关键

事件概述

在AI大模型推理时代，随着数据需求量的爆发式增长，计算机体系结构中经典的“存储墙”问题再次凸显。据中国信通院统计，中国每天平均Token消耗量从2024年的1000亿跃升至2025年8月的500万亿，一年多时间增长了约5000倍。与此同时，服务器峰值浮点算力每两年增长约3倍，而DRAM带宽仅增长1.6倍，互连带宽仅1.4倍，这种发展速度的不匹配导致GPU在处理自回归解码时面临巨大的性能瓶颈。

核心痛点：KV Cache 引发的存储压力

大模型推理的核心流程是自回归解码，模型每生成一个Token都需要回顾所有历史上下文。为减少重复计算，业界采用KV Cache机制缓存中间结果。然而，这引发了新的矛盾：

1. 容量不足：随着Agent等复杂应用的出现，上下文长度动辄数万Token，仅靠GPU显存或CPU直连内存无法容纳海量KV数据。
2. 访存开销大：若将KV Cache卸载至外部存储（如通过PCIe或网络），由于带宽和延迟与本地显存存在数量级差距，数据搬运开销会严重拖累推理性能。

现有的主流方案是将KV Cache卸载到共享CXL内存池，虽解决了容量问题，但未能有效解决GPU访问外部存储的高开销问题。

解决方案：存算融合池化系统

针对上述痛点，联想研究院首席科学家肖利民团队提出了“存算融合”思路，即把计算单元搬到数据旁边，而非让数据奔波于存储与算力之间。该方案结合了内存池化技术和近存计算（PNM, Near-Storage Computing）技术：

• 技术路径选择：相比需要定制硬件且生态兼容性差的CIM（存算一体）和PIM（存内计算），PNM通过将计算单元放置在存储器边缘（如内存控制器附近），在不改动存储器结构的前提下拉近计算与存储距离，保持了与现有软硬件生态的兼容。
• 关键技术突破：
  • QoS仲裁机制：在内存总线上内置仲裁机制，解决主机访存请求与近存计算单元请求之间的冲突，保证服务质量与公平性。
  • 指令驱动可重构：应对大模型快速迭代与硬件固化之间的矛盾，通过指令驱动算子编排适配不同模型。
  • 动态决策平衡：建立成本分析模型，根据链路拓扑和上下文长度动态决策哪些计算下沉至内存池，哪些留在GPU，并优化KV切分策略以对齐张量并行。

性能表现与测试数据

联想团队在三个核心模块进行了分项性能测试，并与RDMA分布式内存架构等方案对比：

1. 内存池卸载效果：
   • 固定输入长度场景下，首Token延迟（TTFT）降低3.5倍。
   • 多轮对话场景下，首Token延迟降低2.4倍，且随轮次增加优势更明显。
2. KV跨实例共享：
   • 借助内存池实现KV复用，相比完全重算，首Token延迟最高加速12~28倍。
   • 相比RDMA分布式内存架构，加速2~3倍。
3. 存算融合整体效果：
   • 将注意力计算下沉至内存池侧后，解码延迟降低2.5倍，同时腾出大量显存支持更长上下文。
   • 端到端推理测试显示，相比RDMA分布式内存池，推理延迟取得23倍加速；系统吞吐提升更为可观，随上下文变长，吞吐提升620倍。

未来演进方向

目前该技术实现的是G2.5层次的存算融合池化系统。下一步研发重点是从G2.5向G1.5层次演进：

• 缩短访问路径：借助超级节点内的Scale-up高速互连技术，将共享存算融合池进一步向GPU靠拢，利用高速互连使带宽和延迟获得数量级提升。
• 硬件与软件协同：结合3D堆叠封装、TSV垂直互连等成熟技术提升带宽密度，同时扩展算子库以适配更多主流模型。

联想团队认为，存算融合并非终点，未来的理想状态是围绕计算、存储、通信、调度等多要素进行系统性协同优化，以实现算力基础设施性能的更大提升。