昆仑万维发布Matrix-Game 4.0：首款消费级显卡实时视频大模型游戏，同步开源
2026/10/15 13:43阅读量 3
2026年10月15日，昆仑万维正式发布Matrix-Game 4.0，这是全球首款运行在单张消费级显卡（NVIDIA RTX 5090）上的视频大模型游戏。该模型实现了480p/60 FPS的实时渲染，端到端延迟低于150毫秒，并采用“引擎维护状态+AI生成画面”的新范式解决了一致性问题。项目已同步开源，支持通过自然语言进行游戏定制与玩法迭代。
事件概述
2026年10月15日，昆仑万维发布了Matrix-Game 4.0，标志着视频生成模型从“离线演示”向“实时交互”的关键跨越。该系统成功将复杂的视频大模型部署于单张消费级显卡上，构建了由游戏引擎管理世界逻辑、视频模型负责视觉呈现的全新架构，并同步开源了代码、权重及白模资产。
核心性能指标
- 硬件要求：仅需单张 NVIDIA RTX 5090（32GB显存），无需多卡集群或数据中心级GPU（如H200/H100）。
- 实时表现：在480p分辨率下稳定运行于60 FPS；单步去噪稳态速度达83 FPS；峰值显存占用18.5 GiB。
- 低延迟交互：从玩家按键到首帧响应的端到端延迟低于150毫秒（实测约112毫秒），显著优于Code World Model（~10.2s）、StreamRender-H3（~545ms）及AgentGarten（~878ms）。
技术架构创新
Matrix-Game 4.0 解决了传统自回归视频模型在长期交互中缺乏状态一致性的痛点，其核心在于引入了外部“Harness”机制：
- 引擎管世界（状态维护）：基于虚幻引擎5（UE5）构建轻量级游戏管理器，负责记录世界状态、执行物理规则（碰撞、重力等）及数值结算。即使物体离开视野，其状态仍由代码精确维护，确保逻辑一致性。
- AI画世界（视觉生成）：视频模型基于Wan2.2 5B改造为V2V模式，接收结构画面（几何拓扑、相机视角）和动态语义条件（Caption），自回归地生成高保真视觉画面。
- 编程智能体（Coding Agent）：允许用户通过自然语言指令调整地形、NPC行为或设计新玩法，智能体将其转化为可运行的游戏代码和场景配置，降低创作门槛。
工程链路优化
为实现实时推理，团队打通了数据、训练与运行时全链路：
- 数据集构建：利用自研管线采集结构画面-精细画面对齐数据，覆盖城市、沙漠、城堡等场景，保留空间拓扑与动力学轨迹，并并行捕获物体ID及因果交互事件。
- 动态Caption机制：系统实时获取引擎中的可见对象及状态，动态生成提示词，弥补固定描述无法反映交互变化的缺陷。
- 推理加速：采用CUDA Graph预录制DiT主干计算、融合专用GPU Kernel处理RoPE/归一化/FP8量化、文本KV缓存按需重算、视频历史KV环形缓存等技术，确保所有模块常驻单卡显存。
开源与生态
项目已在Huggingface同步开源（地址：https://huggingface.co/Skywork/Matrix-Game-4.0）。相比竞品仅开放部分权重或代码，Matrix-Game 4.0提供了完整的可改编游戏代码基础，鼓励开发者基于此进行二次开发，探索UGC（用户生成内容）及多人联机等新场景。