Jalapeño跑分引发关注，AI推理硬件架构走向分裂

事件概述

OpenAI正式公开其自研推理芯片 Jalapeño 的实测性能数据。该芯片在 GPT-OSS 120B、DeepSeek R1 670B 及 Kimi K2.5 1T 等大模型负载上，实现了每瓦 AI 工作吞吐提升约 1.5～1.9 倍，端到端延迟降低约 1.7～3.6 倍；在交互密集型场景下，性能提升达 2.1～4.1 倍。芯片额定功耗为 700W，实际持续功耗控制在 550W 以内。

这一数据发布后，社区将其与 NVIDIA 的 Rubin GPU 进行对比。部分观点认为 Jalapeño 已进入 Rubin 的效率区间，且未依赖投机解码（speculative decoding）；另一部分观点则指出测试负载相对规则，缺乏复杂 Agent 长上下文场景的数据，且软件优化程度尚不可比。争论焦点在于：单一指标难以全面评估不同架构在真实生产环境中的表现。

核心信息：推理瓶颈与架构分裂

1. 为什么推理需要专用优化？

大模型推理分为两个阶段，对硬件的需求截然不同：

• Prefill（预填充）：输入 Prompt 时，Token 可大规模并行计算，矩阵运算密集，受限于峰值计算能力。
• Decode（解码生成）：逐 Token 生成，并行度低，权重需反复读取，KV Cache 访问频繁。此时算力往往闲置，瓶颈在于 内存带宽 和 数据移动速度。

根据 Roofline 模型，算术强度（FLOPs/Byte）决定了性能上限。在低 Batch Decode 中，算术强度极低（约 2/b FLOPs/Byte），增加计算单元若无相应带宽支持，只会导致等待数据。因此，现代推理芯片设计重点已从堆砌算力转向优化数据路径，包括 KV Cache 的位置、HBM 访问频率及跨芯片通信开销。

2. NVIDIA 的策略：异构分工（GPU + LPU）

在 Hot Chips 2026 上，NVIDIA 展示了将 Groq 3 LPU 集成进 Vera Rubin 系统的方案，旨在解决低延迟 Decode 的短板：

• 分工逻辑：GPU 负责高并发的 Prefill；Groq 3 LPU 负责低延迟的 Decode。
• LPU 特性：基于确定性执行架构，指令由软件预调度。单颗 LPX 机架拥有 256 颗 LPU，聚合 SRAM 带宽高达 40 PB/s，虽容量小但延迟极低。
• 系统架构：采用异构混合模式。GPU 和 LPU 分别维护 KV Cache，通过 FPGA 作为异步桥接，利用 micro-batch 重叠计算与通信。当业务追求极致单用户速度时，LPU 优势明显；若仅追求总体吞吐，纯 GPU 方案更具成本效益。

3. Google 的策略：训练与推理芯片物理拆分

Google 在 TPU 8 代产品中明确区分了面向训练的 TPU 8t 和面向推理的 TPU 8i：

• 内存配置差异：TPU 8i 反而使用了更多 HBM（8组 vs 6组）并增加 SRAM 比例。这是因为推理单位计算所需的内存带宽远高于训练，瓶颈已转移至数据供应而非算力。
• 网络拓扑优化：TPU 8i 采用 BoardFly 拓扑，路径上限仅 7 hops（传统 3D Torus 为 16 hops）。短路径减少了 Decode 阶段的网络延迟，避免多跳跳转直接转化为 Token 生成间隔。
• MoE 优化：针对稀疏模型，TPU 8i 引入 Collective Acceleration Engine，将集体通信操作下沉至靠近网络接口的 I/O Die，减少芯片内部数据搬运。

值得关注

当前 AI 硬件竞争的核心坐标已从单纯的“峰值算力”转向 “Token 成本”（即单位功耗下的 Token 吞吐量）。随着 Agent 应用普及，长上下文带来的 KV Cache 膨胀和串行调用链进一步放大了延迟敏感性问题。行业趋势显示，单一的通用加速器难以同时兼顾高吞吐与低延迟，未来主流架构将是针对 Prefill 和 Decode 不同阶段进行精细化硬件分工或异构组合的系统级解决方案。