ClearML AI 应用网关：构建生产环境模型服务的统一安全防线

事件概述

当模型进入生产环境时，安全重心从保护开发工作流转向保护面向外部世界的实时 API。ClearML 的 AI 应用网关作为生产服务的“安全前门”，在部署模型与外部世界之间建立了一层统一的控制平面，解决了 IT 负责人关注的谁可访问、如何认证以及未测试模型部署风险等关键问题。

核心功能机制

AI 应用网关整合了原本需要独立系统构建的路由、认证和访问控制功能：

• 路由管理：自动检测计算节点上注册的任务并创建网络路由，支持 HTTPS 和原始 TCP 协议。
• 身份认证：所有请求必须携带有效令牌，无效或过期的令牌在到达模型前即被拒绝，不支持匿名访问。
• RBAC 权限控制：基于用户组级别进行访问控制，即使令牌有效，非授权组成员也会被拒绝。
• 基础设施隔离：网关以命名空间（Namespace）为单位部署，生产环境与开发环境的网关实例完全隔离，防止开发侧的配置错误或令牌泄露波及生产端。

路由策略：静态 vs. 临时

网关支持两种路由模式，以适应不同的生产场景需求：

1. 临时路由 (Ephemeral Routes)

   • 触发方式：部署时若未指定静态路由字段，系统自动生成。
   • 适用场景：开发与测试阶段。
   • 局限性：缺乏单点访问控制（Per-endpoint RBAC）、URL 不稳定且无负载均衡能力。

2. 静态路由 (Static Routes)

   • 定义方式：管理员在设置中预定义的持久化端点。
   • 核心优势：
     • 稳定 URL：无论后端模型如何重部署或扩展，外部消费者始终指向同一地址。
     • 细粒度权限：可为特定端点指定允许访问的 ClearML 用户组。
     • 生命周期独立：模型维护期间路由依然有效，无需消费者更新配置。
     • 会话亲和性 (Session Affinity)：将同一消费者的流量定向到同一实例，对 vLLM、SGLang 等依赖 KV Cache 的大语言模型推理引擎至关重要，可保持缓存预热并优化响应时间。
   • 支持形式：URL 路径路由（如 /llm-inference）和子域名路由（如 inference.gateway.company.com）。

令牌管理与合规性

令牌是外部服务访问的唯一凭证，其管理策略直接影响安全风险边界：

• 生成与撤销：令牌生成时需设定标签和过期天数，仅显示一次；撤销操作即时生效，无需重启模型或服务。
• 过期策略建议：
  • 内部应用：30–90 天
  • 外部合作伙伴：30 天
  • 测试与开发：7 天
  • 一次性演示：24 小时
• 合规要求：强制令牌过期是 SOC 2 等审计框架的基本要求，能有效限制令牌泄露后的影响范围（Blast Radius）。

部署架构与适用范围

• 部署方式：作为独立组件，通过 Helm（Kubernetes）或 Docker Compose 与 ClearML Server 并行部署。
• 服务对象：不仅限于模型推理，还涵盖远程开发环境（VS Code, JupyterLab）、模型 UI（Gradio, Streamlit）、自定义容器应用及向量数据库等所有需要外部访问的 ClearML 应用。
• 混合场景支持：平台可同时运行内部端点（供数据科学家测试）和外部端点（供生产应用调用），两者共享底层基础设施但采用不同的访问控制模型。