京东广告联合华为鲲鹏：通过架构重构将生成式推理时延降低15%

事件概述

面对生成式推荐系统带来的算力激增挑战，京东广告与华为鲲鹏达成深度合作，通过底层硬件组网、存储架构及通信协议的重构，解决了传统智算超节点中“通算侧”成为性能瓶颈的问题。该方案已在京东618大促的核心业务场景中完成验证，实现了端到端推理时延的显著优化。

核心痛点与挑战

• 算力与业务的矛盾：京东广告从深度学习迁移至生成式范式后，行为上下文增长10倍，模型结构放大100倍，导致算力需求提升约1000倍。然而，机房扩容周期以季度计，无法匹配算法周级更新的节奏。
• 时延红线限制：京东全链路时延预算为300毫秒，留给广告模型推理的时间窗口仅为20-100毫秒。超过600毫秒的用户感知卡顿会直接导致成交流失。
• 两大技术瓶颈：
  1. KV Cache压力：行为序列超1K导致缓存容量急剧放大。传统“片上内存—本地DDR—本地SSD—远端Redis”四级缓存存在容量小、并发弱、时延高的问题。
  2. RPC通信开销：单次请求涉及数十个RPC调用，通信耗时占整体时延20%以上，百万级RPC导致每节点TB级内存消耗。

解决方案与技术突破

京东与华为通过以下三个层面的创新，构建了基于鲲鹏超节点的解决方案：

1. 创新组网（灵衢互联）：

   • 基于UnifiedBus（灵衢）协议实现4K节点ScaleUp组网。
   • 单超节点支持150万+vCPU，每节点具备3.2Tb互联带宽。
   • 具备大规模、大带宽、不收敛（跨层/扩容时带宽不下降）、高可用四大特性，适应广告模型与数据的持续膨胀。

2. KV Cache两级缓存重构：

   • 架构简化：利用灵衢协议将多台机器连接成巨大内存池，剔除第三级（本地SSD）和第四级（远端数据库），仅保留第一级（片上内存）和第二级（大容量DDR）。
   • 规模效应：建成300TB共享内存池，使缓存间时延下降3个量级，带宽达到TCP的16倍。
   • 性能提升：8MB并发请求TP99时延下降85%以上（最高92.6%），64MB序列长度TP99降至原来的1/16。解决了容量与时延不可兼得的难题。

3. RPC通信改造：

   • 协议直连：跳过Socket/TCP/IP传统协议栈，UB统一协议直连URMA，时延开销降低38%。
   • 资源优化：RPC通道复用使通信用内存降低100倍；多路径聚合Tb级带宽替代百Gb单一通路。
   • 稳定性增强：通信稳定性提升40%，1MB数据包时延下降84%，P99整体优化40%以上。

落地验证与商业价值

• 实战检验：该方案在京东618大促期间经受住了洪峰流量考验，核心业务场景5%的流量已运行于鲲鹏集群上。
• 关键指标：端到端推理时延降低15%，局部KV Cache命中率相关的重复计算降低80%-90%。
• 商业逻辑：节省下的时延预算被用于部署更大的模型，从而提升推荐精度和广告收入，实现了从“降本”到“增收”的转变。

未来展望与行业影响

• 能力外溢：该解法不仅适用于广告场景，也将逐步覆盖搜索、推荐等非广告业务，并为其他互联网企业提供参考范例。
• 前沿探索：双方正布局SuperCache（L2/L3扩容、通智算统一互联）、Agent高密沙箱（秒级并发十万级沙箱，资源5倍超分）以及多模态融合检索等方向。
• 算力配比演变：随着Agentic AI的发展，智能体对CPU调度编排、记忆处理的需求增加。华为预测CPU与NPU配比将从1:4走向1:1，而京东基于业务复杂度预判可能达到4:1，这将推动操作系统、中间件及硬件形态的进一步变革。