每瓦性能:AI基础设施效率的终极指标,NVIDIA Blackwell NVL72实现高达25倍提升

2026/07/14 23:00阅读量 2

NVIDIA阐述在功率受限环境下,每瓦性能是衡量AI基础设施效率的关键指标。Blackwell NVL72平台通过全栈协同设计,在多个前沿MoE模型上实现了比Hopper高达25倍的每瓦性能提升,并已在Anthropic、OpenAI、CoreWeave等客户生产环境中验证。

事件概述

NVIDIA发表博文,强调在AI工厂中,功率是刚性约束,每瓦性能(Performance per Watt)直接决定营收和利润率。Blackwell NVL72平台通过系统级协同设计(codesign),从GPU、NVLink Switch到推理软件栈,实现最高的每瓦token吞吐量,从而最大化利润。

核心信息

  • 基准测试数据:根据SemiAnalysis InferenceX测试,NVIDIA GB300 NVL72(Blackwell架构)在DeepSeek V4 Pro上相比Hopper实现25倍每瓦性能提升;在GLM5.1上实现20倍;在长时agent任务模型Kimi K2.6上实现10倍。

  • 全栈协同设计

    • NVLink Switch专为GPU扩展域设计,第六代集成SHARP网络内计算,减轻GPU负担。
    • 推理软件栈(NVIDIA Dynamo、TensorRT LLM、SGLang、vLLM)支持NVFP4量化、分离式服务、专家并行、KV缓存优化等,并持续提升性能(例如在DeepSeek V4上一个月内每瓦性能提升5倍)。
    • DSX MaxLPS功率管理软件支持实时GPU/机架功率调度和温水液冷,可在相同功率预算下多运行40%的GPU
  • 生产验证

    • Anthropic、OpenAI使用Blackwell NVL72运行推理。
    • CoreWeave在GB300 NVL72上部署Kimi K2.6,结合NVFP4和EAGLE3推测解码。
    • Perplexity在GB200 NVL72上运行Qwen3 235B和Qwen3.5-397B-A17B,每天服务数百万查询。
    • Fireworks AI部署GLM 5.2,客户包括Cursor和Factory AI。
  • 未来迭代:NVIDIA Vera Rubin平台将在Blackwell基础上进一步提升机架级能效。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。