OpenAI 自研推理芯片 Jalapeño 性能首测超越英伟达，AI 辅助设计或动摇 CUDA 护城河

事件概述

OpenAI 正式公布了其首款定制推理芯片 Jalapeño（代号“墨西哥辣椒”）的首批实测性能数据。在针对大语言模型的公开基准测试 InferenceX 中，Jalapeño 在峰值吞吐量（每千瓦 AI 工作量）和端到端延迟方面，全面超越了英伟达目前最强的商用 AI 系统 GB200 和 GB300。知名半导体分析师 Dylan Patel 评价称，这是罕见的“第一代芯片即具备竞争力”的案例，甚至被认为优于英伟达 Blackwell 及未来的 Rubin 架构。

核心性能与架构创新

1. 极致能效比与低延迟
在统一设置为 8K 输入、1K 输出的标准单 token 预测测试中（未开启推测解码），Jalapeño 的表现如下：

• 吞吐量： 每瓦特处理的 AI 工作量是对比系统的 1.5 至 1.9 倍。
• 延迟： 端到端延迟降低了 1.7 至 3.6 倍。
• 高交互负载： 在高交互性工作负载下，性能提升 2.1 至 4.1 倍。
• 极端对比： 在 DeepSeek R1 模型测试中，Jalapeño 单用户生成速度可达 700 tok/s，而对标系统仅为 169 tok/s；在特定场景下，其每千瓦吞吐量达到 GB200 的 53.7 倍。
• 功耗控制： 标称 TDP 为 700W，实测持续功耗不超过 550W。

2. “极简内存层级”设计逻辑
Jalapeño 的核心优势在于解决了大模型推理中 Prefill（处理提示词）和 Decode（逐字生成）阶段的资源瓶颈。传统 GPU 往往擅长其中一种而在另一种上受限于显存带宽或通信开销。Jalapeño 的设计思路是减少数据搬运：

• 切片化架构： 计算核心与 HBM（高带宽内存）被切分为一一对应的切片，每个核心拥有对本地 HBM 的低延迟视图。
• 数据原地驻留： KV Cache 和模型权重被显式安置在本地，生成过程中不再挪窝。
• 专用通信网络： 切片间同步通过专用高带宽集合通信网络进行，通用通信则由简化的 NoC 处理，大幅降低延迟和功耗。

3. 通用性与软件栈优化
尽管外界猜测其为 OpenAI 专属芯片，但 Jalapeño 被定义为通用推理引擎。它在非 OpenAI 模型（如 DeepSeek R1 和 Kimi K2.5）上也表现出色。团队仅使用 Codex 两个月便完成了对这些模型的优化，甚至成功运行了游戏《Doom》。系统层面摒弃了主流的 PD 分离（Prefill/Decode 分池部署）方案，采用统一池化架构以应对流量波动，由 128 颗芯片组成机架，16 个机架构成单一 Scale-up 域。

关键突破：AI 辅助芯片研发

Jalapeño 项目从 2024 年年中启动到 2025 年 11 月流片，仅耗时约 16 个月，点亮后 3 个月即交付优异成绩。其背后的关键变量是 AI 深度参与芯片研发全流程：

• 硬件设计： AI 协助探索实现方案、缩短验证循环、优化算术电路，使 SIMD 单元面积缩小 8%，矩阵引擎缩小 10%。
• 软件适配： AI 生成的内核实现比人类专家手写版本快 1.5～1.8 倍，并能快速适配新模型。

这一实践揭示了一个闭环：用英伟达 GPU 训练出的 AI，正在帮助工程师设计下一代不依赖英伟达的芯片。 SemiAnalysis 指出，这可能导致 CUDA 基于工具链和工程经验建立的护城河松动。

行业影响与未来展望

Jalapeño 的发布并非孤立事件，而是科技巨头垂直整合趋势的缩影：

• 竞争加剧： 小米、苹果、高通、联发科、华为等均在近期密集发布或更新自研芯片，Anthropic 也组建了内部定制芯片团队。
• 定义权转移： 芯片的定义权正从传统芯片公司流向拥有模型、软件栈和场景数据的 AI 公司。
• 后续计划： OpenAI 表示 Gen 2 已在开发中，Gen 3 正在成形。Jalapeño 将于今年年底进入自有算力基础设施部署，目标规模达 100MW。

尽管目前测试尚未覆盖长上下文和多轮 Agent 工作流，且处于量产验证阶段，但 Jalapeño 证明了“白纸设计+AI 辅助”路径的可行性，标志着 AI 基础设施研发进入新范式。