ClearML + NVIDIA Dynamo：大规模分布式 AI 推理的生产控制平面

事件概述

NVIDIA Dynamo 1.0 于 2026 年 3 月达到通用可用性（GA），这是一款基于 Rust 和 Python 构建的开源（Apache 2.0）分布式推理服务框架。它不替代现有的推理引擎（如 vLLM、SGLang、TensorRT-LLM），而是作为协调层将其整合为统一的系统。ClearML 则在此基础上提供运营和安全层，填补了从高性能框架到企业生产环境之间的空白。

核心架构与技术特性

Dynamo 针对大模型推理中的扩展性瓶颈设计了以下关键机制：

1. 预填充与解码分离（Disaggregated Prefill and Decode）

将计算密集型的预填充阶段（处理输入提示）与内存带宽敏感型的解码阶段（生成 Token）拆分为独立的 GPU 资源池。这种设计允许根据实际负载独立扩缩容，避免长文档处理阻塞解码任务，或短请求占用计算型 GPU 资源。

2. KV 感知路由（KV-Aware Routing）

追踪各工作节点持有的 KV Cache 块，将具有相同上下文前缀的请求路由至已缓存该数据的节点。基准测试显示，在 Qwen3-Coder 480B 模型上，该技术使首字延迟（TTFT）提升 2 倍。

3. 多级 KV 块管理器（KV Block Manager, KVBM）

建立分层存储层级以缓解 HBM 显存限制：

• GPU HBM：热数据（活跃缓存）
• CPU DRAM：温数据（近期淘汰）
• NVMe SSD：冷数据（较少使用）
• 远程存储：集群级冷数据
  当 GPU 显存不足时，自动从下层检索 KV 块而非重新计算，有效扩展了可用上下文窗口。目前支持 TensorRT-LLM 和 vLLM 后端。

4. ModelExpress：权重流式传输

利用 NIXL 库和 NVLink 实现 GPU 间直接权重流式传输。在 DeepSeek-V3 (671B) 模型上，H200 硬件上的启动速度比传统方式快 7 倍，解决了冷启动慢导致的弹性伸缩滞后问题。

5. Planner：SLA 驱动的自动扩缩容

基于用户定义的延迟目标（TTFT 和 ITL）而非单纯的利用率指标进行扩缩容。Alibaba APSARA 2025 的部署数据显示，相比基于利用率的方案，该机制减少了 80% 的 SLA 违规率，同时降低 5% 的总拥有成本（TCO）。

6. Grove：Kubernetes 原生 Gang 调度

专为 NVLink 连接架构（如 GB200 NVL72）设计的拓扑感知调度器，确保分布式推理作业中的 GPU 优先分配在同一机架或 NUMA 节点内，最大化高速互联性能。

7. AIConfigurator：零配置部署

通过模拟超过 10,000 种配置方案，自动寻找最优部署参数。结合 Planner，用户仅需在 YAML 清单中指定模型、硬件和 SLA，即可实现自动化部署（当前处于 DGDR 动态图部署请求 Beta 阶段）。

验证性能数据

以下数据源自 Dynamo 官方仓库及第三方基准测试：

• 吞吐量：DeepSeek R1 在 GB200 NVL72 上使用分离式服务，单卡吞吐量提升 7 倍。
• 启动速度：ModelExpress 技术使 DeepSeek-V3 在 H200 上的启动速度提升 7 倍。
• 首字延迟：Qwen3-Coder 480B 在 KV 感知路由下，TTFT 提升 2 倍。
• SLA 合规性：Planner 方案减少 80% 的 SLA 违规，TCO 降低 5%。
• 推理加速：DeepSeek-R1 在 GB300 NVL72 上相比 H200 实现 25 倍推理加速。

注：上述数据基于特定硬件配置的最佳场景，实际效果取决于模型类型、硬件代际及负载特征。

ClearML 的集成价值

Dynamo 解决了底层协调问题，而 ClearML 提供了企业级生产所需的关键能力：

• 访问控制与 SSO：集中式身份管理，支持团队和业务单元对推理端点的细粒度访问控制。
• 多租户治理：通过平台管理中心隔离不同团队的资源边界，支持多租户环境下的独立部署。
• 可观测性：提供统一的仪表盘，实时监控推理工作负载利用率、模型性能及资源消耗情况。

适用场景建议

• 适用：跨多 GPU/节点服务 LLM、需避免重复预填充计算、需独立扩缩容预填充/解码阶段、需满足严格 SLA 的自动扩缩容。
• 不适用：单模型单 GPU 场景，现有推理引擎通常已足够。