对话芯展速许玮：内存墙下，AI缺的是GPU的“放大器”
2026/07/24 12:44阅读量 2
芯展速产品副总裁许玮指出，当前GPU有效算力利用率仅30%至70%，“内存墙”成为AI推理核心瓶颈。芯展速在WAIC 2026上展示AI90解决方案，通过存储扩展显存、三级存储体系（HBM+DRAM+SSD）和智能P2P互联技术，将Llama 3 70B模型在4卡5090集群的吞吐量从120 tk/s提升至610 tk/s，首Token延迟从27.99秒降至0.564秒，显存利用率提升至85%-95%。许玮认为，算力竞争正从堆叠算力转向系统级效率提升，用存储实现“算力放大器”是走向普惠的必然路径。
事件概述
芯展速产品副总裁许玮在WAIC 2026期间接受采访，深入分析了当前AI基础设施面临的“内存墙”问题，并介绍了芯展速的应对方案AI90。许玮认为，AI产业的核心制约因素已从单纯算力不足转向算力效率低下，而存储正是打破瓶颈的关键。
核心信息
- 内存墙现状：过去二十年，GPU计算能力提升约6万倍，但显存容量仅增长几十倍。英伟达最新一代GPU在实际推理场景中有效算力利用率普遍仅30%至70%，大量昂贵算力处于等待数据状态。2026年5月Dell World大会上，黄仁勋也公开表示“AI产业最大制约因素不是GPU算力，而是存储”。
- 内存墙的直接表现：随着大模型参数增长、上下文窗口扩展、AI Agent任务链路变长，KV Cache迅速膨胀，显存不足导致频繁数据交换和重复计算，进一步降低GPU利用率。多卡并行时消费级GPU默认P2P通信受限，数据需经CPU中转，延迟高、带宽浪费。
- 芯展速AI90解决方案：在WAIC 2026上展示，核心思路为“用存储扩展显存”，不依赖更贵专业卡，而是释放消费级GPU潜力。具体技术包括：
- 智能P2P互联技术：解锁硬件P2P，实现GPU直连，跨卡通信无需CPU中转，提升多卡并行效率。
- 三级存储体系：将KV Cache从HBM卸载至高性能SSD，构建“HBM+DRAM+SSD”架构，大幅扩展缓存空间，缓解长上下文压力。
- 实际效果数据（基于Llama 3 70B模型，4卡RTX 5090集群）：
- 吞吐量从120 tk/s提升至610 tk/s。
- 64K上下文首Token延迟从27.99秒降至0.564秒。
- 显存利用率从30%-40%提升至85%-95%。
- 支持上下文从约8K扩展至128K+。
值得关注
许玮强调“算力效率的竞争”已取代“算力堆叠”，用户不应只看GPU参数，而应关注系统效能——数据如何流动、显存如何利用、多卡如何通信。AI90定位为GPU的“放大器”，目标是让每1元算力投资产出更多Token，降低中小企业与开发者的AI部署门槛。不过，异构GPU架构适配及生态伙伴支持仍是当前待解决的挑战。许玮认为，“算力平权的iPhone时刻”终将到来。