NVIDIA NVLink Fusion扩展支持NVHBM，Amazon Annapurna Labs率先合作

事件概述

随着AI代理（AI agents）和万亿参数工作负载成为主流，AI基础设施的性能不再仅取决于计算能力，而是依赖于计算、内存、存储、网络及软件的统一系统设计。为帮助超大规模云服务商和AI创新者构建下一代半定制AI基础设施，NVIDIA正式扩展了NVLink Fusion平台，引入了新一代高带宽内存技术——NVHBM。该技术由领先的内存合作伙伴验证并提供，旨在将更高的内存性能和效率带给XPU（加速处理器）。

核心信息：NVHBM技术优势

传统HBM架构将内存控制器放置在XPU晶圆上，占用了宝贵的硅片面积，限制了计算资源的分配。NVHBM采用了不同的架构设计：

• 架构创新：将NVIDIA定制的内存控制器集成到HBM基片（base die）中，而非XPU晶圆上。
• 性能提升：相比标准HBM4E，NVHBM可提供高达**30%**的更高内存带宽。
• 能效优化：HBM功耗降低约15%。
• 面积释放：相比标准HBM4E，XPU计算晶圆的可用面积增加多达25%。

NVIDIA正在建立标准的NVHBM实现方案，并由多家内存供应商提供。这一标准化举措减少了跨供应商集成和认证内存所需的工程工作量，为NVLink Fusion客户提供了将定制AI芯片更快推向市场的途径。

合作伙伴动态：Amazon Annapurna Labs

Amazon旗下的Annapurna Labs将成为首家与NVIDIA合作开发NVHBM技术的公司，这也是双方围绕NVLink Fusion更广泛合作的一部分。

• 合作内容：Annapurna Labs将与NVIDIA共同利用NVHBM技术和NVLink规模扩展（scale-up）架构，以提升AI工作负载的性能和效率。
• 落地产品：Annapurna Labs将在其下一代Trainium芯片（从Trainium4开始）中支持NVLink Fusion。这将允许Amazon的自定义芯片与NVIDIA GPU在统一的机架级架构下协同工作。
• 官方表态：Amazon Annapurna Labs副总裁Nafea Bshara表示：“NVHBM代表了推进高带宽内存性能和效率的一种新架构方法。我们期待这项技术合作能为未来的AWS基础设施设计带来益处。”

NVLink Fusion生态价值

NVLink Fusion允许合作伙伴将自定义XPU和CPU连接到NVIDIA的机架级平台。通过访问NVIDIA NVLink芯片组、NVLink-C2C、NVLink交换机以及NVIDIA MGX系统和机架，合作伙伴可以利用经过验证的技术栈进行规模扩展网络和软件部署。这使得超大规模云服务商和AI原生公司能够将工程资源集中在XPU创新上，从而以更低的风险和更快的速度部署半定制AI基础设施。