AI 硬件新瓶颈：为何苹果、小米等厂商死磕「内存带宽」

事件概述

近期，包括苹果（Apple）发布搭载 M5 系列芯片的 Mac 产品、小米公布端侧 AI 加速芯片玄戒 O100，以及英伟达（NVIDIA）推出 RTX 5090 显卡，这些不同技术路径的硬件产品呈现出一个共同趋势：极致追求内存带宽。苹果 M5 Ultra 统一内存带宽达到 1.2TB/s，小米玄戒 O100 达到 1.22TB/s，英伟达 RTX 5090 显存带宽接近 1.8TB/s。这表明在 AI 时代，硬件竞争的核心已从单纯的算力转向数据供给能力。

核心信息：为何陷入「内存墙」？

1. 算力与带宽的剪刀差
在大语言模型（LLM）运行过程中，尤其是自回归生成（Decode）阶段，计算单元每生成一个新 token，都需要读取数十亿甚至上百亿的参数权重。这种现象被称为 Memory-bound（内存受限）。即便计算核心速度极快，如果内存无法及时提供数据，处理器也只能空转等待。正如比喻所示，厨师（计算单元）炒菜很快，但配菜师傅（内存）送菜太慢，导致整体效率受限于后者。

2. 供应链资源向 AI 倾斜
超高带宽内存（如 HBM）和高端 DDR5 的需求激增，导致三星、SK 海力士和美光三大存储巨头将先进晶圆产能优先供应给企业级 AI 数据中心。这挤压了消费级 PC 内存的供给空间，导致即使处于传统淡季，消费级内存合约价格仍持续上涨。美光甚至宣布逐步退出 Crucial 消费级内存业务，进一步凸显上游资源向高利润、高带宽需求的 AI 领域集中。

值得关注：行业的技术解法

为了突破内存带宽瓶颈，业界采取了多种维度的技术方案：

• 物理加宽车道（GDDR7 与 HBM）：最直观的手段是通过增加位宽和提升频率来换取吞吐量。例如 NVIDIA RTX 5090 采用 512-bit 位宽配合 GDDR7，而 AI 服务器则广泛使用垂直堆叠的 HBM 技术，虽成本高昂但效果显著。
• 立体堆叠缩短距离（3D Wafer-on-Wafer）：小米玄戒 O100 采用晶圆级垂直堆叠技术，将 DRAM 直接压在 NPU 上方，利用微米级的垂直互联大幅减少数据传输延迟，从而在端侧实现 1.22TB/s 的高带宽。
• 统一内存与高速扩展（Unified Memory & Thunderbolt 5）：苹果通过统一内存架构，让 CPU 和 GPU 共享同一内存池，消除了数据在不同内存间复制的冗余开销。此外，借助雷雳 5（Thunderbolt 5）接口和 RDMA 技术，多台设备可组建分布式推理集群，进一步提升吞吐能力。
• 前沿探索：PIM 与存内计算（CIM）：更激进的方向是将计算单元移至内存附近或直接嵌入存储介质中，减少数据搬运。虽然目前通用性和生态尚待成熟，但这代表了未来芯片设计“让数据少走几步路”的确定性方向。

结论

尽管技术不断演进，但现代计算机仍主要遵循冯·诺依曼架构，即存储与计算分离。这种架构决定了数据必须通过总线搬运，从而形成了长达三十年的“内存墙”挑战。AI 模型的爆发以前所未有的速度加剧了这一矛盾。未来的硬件竞争焦点，将从如何让芯片“算得更快”，转变为如何让数据“跟得上”。