AMD 推出预打包推理微服务 AIM，ClearML 提供生产级编排
2026/06/20 04:44阅读量 2
AMD 发布 AMD Inference Microservice (AIM)，将模型与推理运行时打包为 Docker 容器，针对 AMD Instinct GPU 预优化，通过 Profile 自动配置引擎与精度。ClearML 在此基础上提供端点在网、自动扩展、身份认证、多租户等企业级管理能力。
事件概述
AMD 推出 AMD Inference Microservice (AIM)，这是一种预打包的推理容器，旨在解决生产环境 LLM 推理中因硬件、精度、引擎选择等复杂决策导致的高成本问题。AIM 将模型与优化的推理运行时打包在一起，并针对 AMD Instinct GPU 进行了预验证。
核心信息
- AIM 结构：基于开源 AMD Enterprise AI Suite，运行于 ROCm 7，暴露 OpenAI 兼容 API，现有工具可直接调用。当前支持的模型包括 Meta Llama（1B 至 405B）、DeepSeek R1/V3.1、Mistral 系列（Ministral、Mixtral、Small、Large）、Alibaba Qwen3、Cohere Command A Reasoning 等，AMD 随 Enterprise AI Suite 版本持续扩展。
- Profile 自动配置：AIM 的关键设计是“Profile”——即经过测试的 GPU、精度模式（fp16/fp8）、推理引擎、优化目标（吞吐量/延迟）的组合。部署时运行时自动匹配硬件选择对应 Profile，也可通过环境变量手动覆盖。所有 Profile 均经过工厂验证。
- ClearML 整合：ClearML 作为平台层，将 AIM 容器调度到其管理的 AMD Instinct 资源上（裸机、虚拟机或 K8s），并通过 App Gateway 暴露端点。ClearML 提供：
- 端点联网（受管入站/出站）
- 基于身份的访问控制（端点级 RBAC，租户感知）
- 认证（与平台身份系统集成）
- 自动扩缩（基于负载驱动而非静态配置）
- 多租户隔离
值得关注
AIM 通过 Profile 将底层硬件配置决策从平台团队转移到容器自身，降低了生产部署的认知负担。ClearML 则补足了容器编排、安全与运维能力，使 AIM 成为可直接运行的企业级推理服务。