ClearML与Dell AI数据平台实现集成：分离AI工作流与数据基础设施
2026/05/29 06:23阅读量 4
Dell Technologies 发布了 ClearML 与 Dell AI 数据平台 (AIDP) 的验证集成，将 ClearML 的 AI 编排能力与 Dell 的企业级存储和搜索引擎相结合。该参考架构实现了“智能与持久化分离”，让 AI 团队专注于工作流，平台团队管理底层数据基础设施，从而减轻运维负担并提升治理能力。
事件概述
Dell Technologies 正式发布了 ClearML 与 Dell AI 数据平台 (AIDP) 的验证集成。该集成并未增加新的 AI 能力，而是将 ClearML 控制平面底层的存储和搜索层替换为 Dell 管理的引擎，从而让 AI 团队无需关注数据基础设施的运维负担。
核心信息
- 各组件角色：ClearML 提供 AI 基础设施层（训练/推理编排、实验跟踪、数据集版本管理、模型生命周期、计算治理）；Dell AIDP 提供企业级数据基础（PB 级存储、支持数十亿对象的搜索引擎、企业合规级访问控制）。
- 架构变化：ClearML Server 原依赖 MongoDB（任务状态）、Elasticsearch（元数据搜索）和内置文件服务器（模型/数据集/构件）。在 Dell 验证配置中：
- MongoDB 保持不变，负责结构化状态。
- Dell Data Search Engine (DDSE) 替代 Elasticsearch，支持数十亿文件的搜索索引。
- Dell AIDP 的 S3A 兼容对象存储（通常是 ObjectScale 或 PowerScale）替代内置文件服务器，成为持久化构件存储。
- 核心收益：
- 搜索独立扩展：DDSE 索引与 ClearML 服务器解耦。
- 存储独立扩展：对象存储容量和吞吐量独立于计算和元数据服务。
- 治理下放至存储层：桶级访问控制、审计日志、合规策略由 AIDP 处理，ClearML 的基于项目和组的权限在其上层构建，形成纵深防御。
- 用户体验不变：AI 团队仍通过原来的 ClearML 接口操作。
- 存储管理最佳实践：
- 开发/验证/生产环境在两层均隔离（独立的存储桶、DDSE 索引、ClearML 项目）。
- 监控 DDSE 索引大小，调整分片与保留策略。
- 设置生命周期策略：归档或过期旧模型和中间输出，对需要合规保留的数据使用版本控制和不可变性。
值得关注
该集成是 Dell AI 工厂战略的一部分，AIDP 作为数据基础层，ClearML 作为 AI 基础设施层。对于已部署 Dell 存储的组织，这是将 AI 工作负载融入现有运维；对于已运行 ClearML 的组织，则可获得企业级存储和搜索引擎支持，无需重写 AI 端。关键在于它作为设计模式解决了AI平台生命周期中数据基础设施管理解耦的典型问题，而非事后补救。