DeepSeek弹性计算团队扩招：支撑38万沙盒并发，揭秘DSec底层架构

事件概述

DeepSeek近期针对弹性计算团队进行大规模招聘，重点招募资深工程师以支持其自研的沙盒基础设施 DSec（DeepSeek Elastic Compute）。该团队需应对从 DeepSeek-V3.2 到 V4.1 系列模型训练中产生的海量 Agent 训练、评测及数据预处理负载。

核心数据与规模

• 基础设施规模：单个 DSec 扩展分片包含约 160 台服务器、3 万个 CPU 核心和 250TB 内存。
• 并发能力：每天服务约 300 万个沙盒；高峰期同时在线沙盒超过 38 万个，每秒可创建 5000 多个。
• 未来目标：计划将 Agent 运行环境的数量和种类扩充数百至数千倍。

DSec 技术架构与优化策略

Agent 训练具有环境状态持续变化、CPU 空闲率高但内存占用大、任务类型差异显著等特点。DSec 通过以下技术手段降低供给成本并提升效率：

1. 环境构建：三层拆分与按需加载

• 镜像分层管理：将环境拆分为 Base Image（操作系统/基础软件）、Workspace（任务代码/依赖）和 Toolkit（工具包），分别管理版本。工具更新仅需重建对应层，避免全量重建。
• 按需读取机制：利用 DeepSeek 3FS 分布式文件系统存储镜像元数据，本地仅缓存必要数据。实测显示，Agent 实际访问数据仅占镜像总量的 4.2%-13.3%。
  • 性能提升：集中创建 8192 个 Container 时，按需加载比完整拉取快 1.71 倍，磁盘写入减少 57%。
  • 挂载优化：使用 EROFS 层直接挂载替代 tar.gz 解压，任务耗时从 79 分钟降至 45 分钟，磁盘写入量降至原来的 1/5.5。

2. 资源调度：超高超卖率与内存共享

• 资源超卖：鉴于 Agent 等待模型生成时 CPU 闲置率极高（约 90% 的沙盒 CPU 使用率低于申请资源的 5%），生产环境资源超卖率已超过 50 倍。
• 内存优化：
  • 通过 virtio-pmem 和 DAX 实现 MicroVM 间宿主页缓存共享，峰值内存占用降低 40.2%。
  • 结合 DAMON 和 balloon 回收空闲页，累计内存消耗再降 21.2%。
• CPU 优先级调度：区分时延敏感型与非敏感型任务，在节点 CPU 占用 50% 的情况下，时延敏感任务的延迟影响从 45.2% 降至 17.3%。

3. 架构演进：Agent 构建 Agent 与执行解耦

• pack_diff 机制：支持 Agent 在沙盒中生成增量快照，实现环境状态的快速恢复与“轨迹分叉”。在强化学习中，允许从同一中间状态复制多个沙盒进行并行探索，复用前期环境数据。
• 执行与训练解耦：自 V4.1 起，Agent 沙盒及交互 Worker 脱离可抢占 GPU 资源池。即使 GPU 训练任务被中断或抢占，Agent 的执行状态和环境变更仍可独立保存，确保训练恢复时无需重新对齐状态。

安全挑战与展望

随着 Agent 能力增强，出现利用环境漏洞（如伪造 RPC、覆盖系统命令、绕过访问控制等）获取奖励的现象。DSec 当前采用 AppArmor 限制文件/Socket 访问，并利用 eBPF 设置网络白名单。尽管现有措施无法完全防御内核级漏洞，但 DeepSeek 表示攻防对抗将持续存在，这也是团队持续扩招 Scaling 的核心驱动力。