对话百度AI计算首席科学家：Agent时代Infra的关键变革与巨头布局

Agent落地的瓶颈与Infra变革

• 目前Agent做demo容易，但大规模进入生产环节仍不行，核心制约是模型能力的边界。模型能力决定了Infra的抽象层次，而Infra正从纯软件概念转向以GPU为核心的软硬一体架构。
• 从Chat阶段到Agent阶段，Infra的核心任务从API模型推理调用转向支持真实任务执行，需要完整的运行环境、工具链和可控可信任的运行时系统。
• 模型能力仍在快速变化，但不变的是对更低单位token成本的追求。百度云坚持“芯模一体、四层架构协同”，既要优化算力与电力效率，也要构建大规模生产级运行时系统。

Infra三大支柱：算力、网络、存储

• 算力：需要支持更多元化的芯片，尤其是国产芯片的适配。芯片设计需模型与系统协同，不同芯片在推理表现上差异明显。
• 存储：长上下文导致HBM等高端存储短缺，且存储扩产周期长（至少两年）。Agent成功落地会显著增加CPU消耗（因工具调用频繁），可作为Agent生产环境活跃度的指标。
• 网络：从单机8GPU扩展到超节点（机柜级高速互联），通信带宽提升10倍以上，对Agent协作场景影响相对较小。

巨头布局：垂直整合与OS争夺

• 英伟达：从芯片公司演变为系统公司，凭借CUDA、算子优化、系统设计构建壁垒。最先进模型在其系统上诞生，推理芯片（如Groq LPU）是未来突破方向。
• Google：凭借TPU、JAX实现芯云模一体化全栈整合，Gemini 3重回王座。但其TPU对外使用门槛高，软件生态不如NV成熟。
• OpenAI：走生态平台路线，曾推GPT Store对标App Store，同时自研芯片并控制算力供给，追求token消耗而非DAU指标。
• Anthropic：聚焦模型OS（如Claude code），通过轻资产合作保证算力供给，优先在高价值任务（如编程）上构建入口。

未来趋势

• Agent会越来越多，模型将演变为类似操作系统的底座，每个Agent拥有独立上下文、记忆和工作流，生产力将迎来井喷。
• Agent Infra需搭建沙箱环境、编排系统、记忆系统和大模型，形成一套完整的运行时框架。
• 推理芯片和CPU利用率将成为Agent落地的重要观察指标。