NVIDIA AI Infra Summit：Vera Rubin与DSX平台重塑AI工厂能效，Token/瓦特成核心指标

2026/09/16 00:55阅读量 2

在2026年9月15日举行的AI基础设施峰会上，NVIDIA展示了以“每兆瓦Token数”为核心的AI工厂能效优化成果。通过Vera Rubin NVL72系统、DSX电源管理软件及Groq 3 LPX推理芯片的组合，实现了显著的性能提升和成本降低。Lambda、Emerald AI等合作伙伴验证了动态功率管理和灵活负载调度的实际效益，标志着AI基础设施从追求峰值性能向极致能效转型。

事件概述

2026年9月15日，NVIDIA在圣克拉拉会议中心举办的AI基础设施峰会（AI Infra Summit）上，重点阐述了AI工厂能效优化的最新进展。随着Agentic AI（智能体AI）驱动的新型工作负载对性能、效率和规模提出更高要求，行业衡量标准正从“峰值性能”转向“经验证的每兆瓦Token数”。NVIDIA通过全栈AI工厂平台——涵盖Vera Rubin系统、Dynamo推理软件、NeMo库及NVLink网络——展示了从硅片到电网的代码级协同设计能力。

核心信息与技术突破

1. Vera Rubin NVL72与Groq 3 LPX的能效飞跃

硬件协同：NVIDIA DSX MaxLPS在工厂层面动态分配机架间的电力资源；内部机架利用智能功率平滑软件和扩展能量缓冲吸收短时尖峰，使系统能更贴近持续需求运行。
Groq 3 LPX作用：为Vera Rubin提供确定性超低延迟推理，弥补DSX MaxLPS在长上下文场景下的不足。
关键数据：对于参数量超过2万亿的模型，该平台相比GB200 NVL72可实现每兆瓦35倍更高的Token吞吐量。在100K上下文的Qwen 3.8 27B工作负载下，Groq 3 LPX达到每秒每用户2,529个输出Token。

2. SemiAnalysis AgentX实测结果

测试环境：SemiAnalysis AgentX基准测试保留了真实的Agent轨迹，包括上下文增长、工具调用延迟和子Agent生成，而非单一请求基准。
性能对比：在DeepSeek V4 Pro模型上，Vera Rubin NVL72相比GB300 NVL72实现每兆瓦30倍更高的吞吐量。
经济价值：由于功耗受限部署中吞吐量决定收入、每百万Token成本决定利润，该结果意味着每百万Token成本降低高达45%。
技术支撑：得益于NVL72扩展域、第六代NVLink互连、第五代Tensor Cores上的NVFP4精度以及TensorRT LLM和Dynamo推理栈的深度整合。

3. NVIDIA Vera CPU在多领域的性能验证

多家初创公司发布了基于NVIDIA Vera CPU的基准测试结果，显示其在处理Agentic AI和数据密集型工作负载时的优势：

Perplexity：SPACE安全沙箱启动速度提升1.9倍。
ClickHouse：在ClickBench基准测试中表现最快，被评价为数据密集型工作负载CPU性能的强烈信号。
DeepInfra：编排步骤延迟降低2.2倍。
Redpanda：延迟降低5.5倍，吞吐量提高73%。
Starburst：查询吞吐量比其他CPU快3倍。
Kinetica：分析查询性能提升2.7倍。

值得关注：合作伙伴的实际应用案例

Emerald AI与硅谷电力：灵活负载调度

合作背景：Emerald AI与Silicon Valley Power合作，展示AI工厂作为电网灵活资源的能力。
技术方案：使用NVIDIA DSX Flex软件，根据实时电网信号（如削峰请求、需求响应事件、价格信号）动态调整能耗。
运行机制：系统依据预定义的工作负载层级自动平衡负载。高优先级任务继续运行，低优先级任务暂时暂停或降频，随后恢复。这证明了可控的AI负载有助于释放更多电网容量。

Lambda：最大化每瓦性能

验证对象：首次在NVIDIA Blackwell服务器上验证NVIDIA DSX MaxLPS。
工作原理：MaxLPS持续监控GPU和机架的功耗，动态转移可用电力并回收静态配置留下的闲置容量，特别针对训练和推理不同的功耗profile进行优化。
实测数据：Lambda在通常分配给16个满功率节点的相同预算内运行了19个节点。集群整体Token吞吐量从约400万提升至500万每秒（增加24%），每瓦性能提升23%。
未来展望：在下一代Vera Rubin NVL72 AI工厂中，DSX MaxLPS有望在相同的兆瓦预算内增加多达40%的GPU容量。