日均6万亿Token背后：商汤大装置以异构协同与架构创新破解推理效能瓶颈
2026/10/19 13:22阅读量 2
随着AI应用向多Agent协作演进，Token需求呈千倍级增长，行业竞争焦点从算力规模转向高质量Token的产出效率。商汤大装置通过构建万卡级异构推理集群，利用PD分离（预填充与解码分离）及动态调度策略，在高端算力受限背景下显著提升了吞吐量与稳定性。目前其平台日均服务量已达6万亿Token，并正探索跨域协同与AF分离等新技术，推动推理基础设施向可度量的系统工程转变。
事件概述
10月16日，在第十届CSDI Summit中国软件研发智能创新科技峰会上，商汤大装置分享了Agentic时代AI基础设施的实践与趋势。面对高端芯片供给约束与推理需求爆发并存的局面，行业重心正从单纯的算力扩张转向通过架构创新和资源调度，以更低成本、更高效率稳定产出高质量Token。
核心实践：万卡级异构推理集群
为应对不同场景对延迟、并发和准确性的差异化需求，商汤大装置构建了基于**PD分离（Prefill-Decode Separation）**的万卡级异构推理集群。
- 技术原理：将推理过程解耦，由适配的国产算力集中承担计算密集型的Prefill（预填充）任务，由高带宽的高阶GPU承担显存带宽敏感型的Decode（解码）任务，并通过KV Cache进行连接。
- 工程优化：针对大规模集群中节点故障导致的资源闲置问题，采取了两种策略：
- 在Prefill资源池中预留少量高端算力作为应急补位；
- 赋予节点动态切换Prefill/Decode角色的能力，实现弹性调度。
- 成效数据：在特定测试配置下，相较于基准方案，整体Token吞吐量提升至原来的5倍。
前沿探索：跨域协同与细粒度解耦
商汤大装置进一步拓展推理架构边界，探索以下两个方向：
- 跨域PD分离：打破单一数据中心边界，实现跨集群、跨地域的推理编排。利用本地中低阶算力处理Prefill，将压缩后的KV Cache传输至其他地区高阶算力集群完成Decode。得益于模型上下文KV Cache规模的降低（如1M上下文从近100GB降至约1GB），跨域传输压力大幅减小。
- AF分离（Attention-FFN Separation）：将Decode阶段中的Attention（注意力机制）与FFN（前馈神经网络）解耦，分别部署在更适合各自特性的硬件上。预计该技术可使单卡吞吐提升150%-200%，运营成本降低30%-40%，能效提升至两倍以上。
业务规模与目标
商汤大装置正推动推理基础设施从依赖经验的调参走向可度量、可优化、可验收的系统工程。目前，其平台日均Token服务量已达到6万亿，预计2026年全年Token服务规模将实现25倍增长，并在第四季度达到日均10万亿Token规模。