核心挑战：多团队共享算力下的调度难题

当 GenAI、开发和研发等多个团队共用同一 GPU 集群时，仅靠安全认证无法解决以下实际问题：

• 如何确定不同团队任务的执行顺序？
• 如何防止单一团队的微调任务独占整个集群？
• 如何确保生产推理服务始终拥有足够的计算容量，不受训练任务波动影响？

ClearML 通过资源池、资源配置和资源策略三个核心概念的协同工作，构建了一套既公平又能响应业务优先级的计算治理层。

三大核心构建模块

1. 资源池 (Resource Pools)

资源池代表物理基础设施实体，如 GPU 集群、裸金属服务器或云自动伸缩组。

• 容量控制：每个池定义可用资源上限，策略管理器确保负载分配不超出实际容量。
• 优先级管理：管理员可在池内设定执行优先级，决定当多个配置竞争同一硬件时，谁的作业优先获取资源。

2. 资源配置 (Resource Profiles)

资源配置定义了作业的资源消耗需求（如单任务需要多少张 GPU），是用户访问硬件的接口。

• 场景化配置：例如为轻量级实验提供 0.5 卡配置，为标准训练提供 4 卡配置，为 LLM 微调提供 8 卡配置。
• 混合部署路由：配置可关联多个资源池并设定优先级顺序。作业优先尝试本地集群，仅在本地容量不足时“突发”至云端。
• 分数 GPU 切片 (Fractional GPU Slicing)：
  • 支持非整数分配（如 0.5、0.25 卡），实现硬件更细粒度的利用。
  • 切片在队列级别按任务动态分配，内存限制在驱动层强制执行，确保共享 GPU 的容器间完全隔离。
  • 适用于 MIG 和非 MIG 设备，覆盖裸金属、虚拟机和 Kubernetes 环境。

3. 配额、预留与优先级 (Quotas, Reservations, and Priority)

需明确区分以下概念以避免误解：

• 配额 (Limit/Quota)：指并发资源的上限。若某团队配额为 10 张 GPU，即使集群有空闲，其第 11 个任务也会排队等待。配额独立于集群整体可用性。
• 预留 (Reservation)：指调度优先级而非闲置占用。预留 4 张 GPU 意味着当资源释放时，该组成员的作业将比无预留组享有更高的调度优先级，即“插队”权。
• 双重优先级机制：
  • 策略优先级：在同一配置内，不同策略（如 GenAI 团队 vs 开发团队）可竞争硬件。高优先级策略的作业优先提交。
  • 池优先级：在同一配置内，设定资源池的访问顺序（如先本地后云端）。
• 优雅抢占 (Graceful Preemption)：当高优先级作业到达且资源紧张时，低优先级组的超额作业可被抢占。系统支持注册中止回调脚本（Python/Bash），允许作业在停止前保存检查点或记录进度，确保任务可恢复而非丢失。

动态与静态 GPU 分配模式

架构集成与自动化

计算治理层并非孤立存在，而是与底层安全及配置层深度集成：

• 访问规则联动：创建资源策略生成队列时，系统自动创建对应的访问规则，将队列权限限定在特定用户组内。
• 身份与凭证：服务账户处理代理身份，确保自动化流水线以受控身份提交；管理员密钥库（Vaults）管控容器与存储配置。
• 零接触开通：新团队只需加入指定用户组，平台即可自动完成计算访问、容器策略、凭证治理及队列权限的配置。

GenAI 特定场景优化

针对 GenAI 工作负载的特殊压力，治理策略需针对性设计：

1. 生产推理：需低延迟、一致性保障。通过预留机制确保服务端点始终有容量，配合队列访问规则，仅允许特定的服务账户提交任务。
2. LLM 微调：资源密集且长耗时。通过设置专用微调配置及团队级配额，防止单任务耗尽集群资源。
3. 实验探索：需快速迭代但不可影响生产。设置低优先级配置并限制合理配额，允许自由试错。

可观测性：编排仪表盘 (Orchestration Dashboard)

仪表盘提供实时的全链路视图：

• 资源使用：按池统计当前 GPU/CPU 用量、空闲节点数。
• 作业状态：按配置统计待处理与运行中的作业数量。
• 策略分析：按组统计策略利用率。
• 精细化追踪：数据可下钻至单个 Worker 和具体团队，秒级响应关于“本月 GPU 使用情况”的查询。

总结

资源池、配置与策略共同构成了一个自适应的计算治理层。业务单元可根据当月重点调整策略优先级，或在升级本地硬件时通过池优先级无缝切换至云端。这种分层治理确保了团队在既定护栏内高效运作，而无需繁琐的人工审批，实现了安全性与敏捷性的平衡。