全球首个实时交互视频模型X2.0发布,毫秒级响应、消费级显卡可运行,iPhone也能本地部署
2026/07/15 16:09阅读量 2
Xmax AI 发布全球首个实时交互视频模型 X2.0,支持通过摄像头实时替换角色、服装与背景,并能与虚拟角色进行空间和触控交互。模型采用流式自回归架构,实现毫秒级响应,可在单张消费级显卡上以 960p@24fps 运行,并在 iPhone 上实现 384p@16fps 本地部署。同步开放 API,成本仅为海外同类模型的十分之一。
事件概述
Xmax AI 于 2026 年 7 月 15 日发布实时交互视频模型 X2.0,这是全球首个可实时交互的视频生成模型。不同于传统“文生视频”或“图生视频”需等待数秒或数分钟,X2.0 能够基于摄像头画面和用户操作毫秒级生成每一帧,用户可实时操控画面中的角色、服装、物体甚至召唤虚拟生物进行互动。
核心能力
X2.0 提供三大类交互能力:
- 实时渲染:实时替换摄像头或视频中的角色、服装与视觉风格,在保留原始动态与光影的前提下实现帧级“变身”。
- 次元交互:以现实物品为锚点,在现实世界中召唤虚拟角色并实现抚摸、对视等深度互动;也可将现实物体替换为虚拟物体(如矿泉水变匕首),或让静物“复活”。
- 触屏交互:通过屏幕拖拽即可让静态主体产生运动,可用于唤醒壁纸、照片等,实现桌面 DIY。
此外还提供 Free 模式,支持通过 Prompt 自由创作喷火、空间扭曲等特效。
技术亮点
X2.0 在“实时性”和“交互性”上实现突破:
- 实时性:采用逐帧自回归生成架构(流式生成),将模型响应时间压缩至毫秒级。通过多阶段多目标融合蒸馏、上下文持久化、注意力矩阵稀疏化与 FP8 量化等手段,打破速度、成本、质量的“不可能三角”,最终实现单张消费级显卡即可满血运行 960 分辨率 @24fps。
- 交互性:支持文字控制、屏幕交互、空间交互等多种模式,模型能理解摄像头画面、手势与肢体语言,称为“统一交互架构”。
- 端侧部署:全球首个在 iPhone 上本地运行的实时交互视频生成模型,达 384 分辨率 @16fps。团队通过混合精度量化、结构化剪枝、计算图算子融合及芯片专属优化实现。
开放 API 与应用场景
Xmax 同步开放 API,旨在成为视频行业的底层基础设施。应用场景包括:
- 电商与零售:实时虚拟试穿,降低退货率,提升转化率。
- 虚拟陪伴:让立牌、手办等 IP 形象“活”过来,实现可触摸的深度互动。
- IP 赋能:为已有粉丝基础的动漫、游戏角色赋予实时交互能力,降低新 IP 打造难度。
- 直播:观众可实现实时换人、换装、改变背景等千人千面体验。
- 价格方面,X2.0 的能力在同类模型中领先,但成本仅为海外头部模型 Decart 的十分之一。
