英伟达发博文：GPU利用率低别急着加卡，模型设计才是关键
2026/07/23 17:34阅读量 2
英伟达发布技术博客《AI Model Co-Design: Hardware-Friendly LLM Design》，指出许多团队花重金购入H100/GB300等高端GPU后利用率低至40%，根源在于模型设计不合理导致“访存受限”。文章提出“算术强度”概念，并给出7条硬件友好设计准则，强调模型架构需从第一行代码开始适配GPU计算逻辑，否则加卡也无法解决根本问题。
事件概述
英伟达发布技术博客《AI Model Co-Design: Hardware-Friendly LLM Design》，指出大量AI团队在大模型部署中遇到GPU利用率低（如40%）的问题，原因并非算力不足，而是模型结构设计未考虑硬件执行特性，导致“访存受限”。
核心概念：算术强度
GPU计算速度极快，但需要持续从显存搬运数据到计算核心。算术强度 = 计算总次数 ÷ 搬运内存总字节数。当算术强度过低时，GPU 90%时间在等待数据，实际计算时间很少，形成“访存受限”。
典型反面案例：FFN-2层中，中间维度K过小（如512）导致计算量远小于数据搬运量。在GB300上实测，K需大于3072才能达到80%吞吐量，达到6144才能完全喂饱显卡。
7条硬件友好设计准则
- 拒绝“畸形瘦高”矩阵：参数矩阵越接近正方形越好，避免中间维度过窄导致访存受限。
- 模型维度对齐GPU Tile尺寸：维度需为128/256/512的倍数，否则GPU会分配多余周期处理空数据。
- 拥抱低精度NVFP4：Blackwell架构的GB300支持NVFP4，算力是FP8的3倍、FP16的6倍，DeepSeek-R1验证精度损失极小。
- 宽模型优先于深模型：相同参数量下，减少层数、加宽每层，可提升算术强度并降低延迟。
- MoE使用专家分发（EP）：避免张量并行造成的通信拥堵，大模型可采用EP×TP混合并行。
- 规整模型结构：各层设计模式统一，适配分块流水线并行，加速长文本处理。
- 解绑Attention与FFN：Attention和FFN采用不同并行策略，Attention用Helix架构配合NVLink高速通信。
值得关注
英伟达已将上述策略集成到TensorRT Model Optimizer和TensorRT-LLM工具中。模型架构师在设计阶段调整形状的成本远低于上线后盲目加卡；推理优化工程师应优先检查算术强度，而非直接申请扩容；采购决策者需理解：算力ROI深度依赖模型矩阵形状，形状不对则加卡只能微推“内存墙”。