VAST开源EdenLive:解耦状态与渲染,实现实时交互式世界生成

2026/10/20 22:13阅读量 5

VAST开源了Project Eden系列中的实时生成式渲染器EdenLive,支持从文本或视觉参考实时生成交互式3D场景。该模型采用“规则归交互系统,画面归模型”的架构,在RTX 5090上可实现24 FPS以上的720P实时生成。同时发布的EdenGolem v0.1可辅助编程智能体快速构建灰盒游戏,具身数据增强也是其重要应用场景。

事件概述

AI视频生成公司VAST正式开源了其Project Eden项目中的核心组件——实时生成式渲染器 EdenLive。该项目旨在解决传统离线视频生成模型无法适应实时交互需求的问题,通过解耦世界状态与视觉渲染,实现了从一句话描述到可玩世界的实时生成链路。与此同时,VAST还开源了面向开发者的工具 EdenGolem (v0.1) 及相关技术报告。

核心信息

1. 架构创新:状态与渲染分离
EdenLive 并非独立的“全能”世界模型,而是 Project Eden 三层架构中的后两层(状态到画面的接口、生成式渲染器)。第一层(持续演化的世界状态)仍由上游交互系统维护。

  • 分工逻辑:上游交互系统负责判断物理规则(如碰撞、血量、位置),并将状态转化为灰盒画面或场景描述;EdenLive 仅负责根据这些约束,实时渲染出高保真的视觉效果。
  • 优势:这种设计解决了视频模型难以长期保存确定性规则(如物体身份、胜负条件)的问题,保证了视觉元素的稳定性和逻辑的正确性。

2. 技术性能与能力

  • 实时性:EdenLive 5B 版本在单张消费级显卡 RTX 5090 上,能以超过 24 FPS 的速度生成 720P 画面,并支持分钟级的连续生成。
  • 输入灵活性:支持三类明确分工的输入:
    • 参考视频/白模:决定场景布局、镜头运动、物体轨迹和时间线。
    • 目标首帧:确定主体、材质、配色和画风。
    • 文本提示词:补充风格和细节,支持交互中追加描述。
  • 一致性突破:基于 Gemini-3.8-Flash 对 45 个长时案例的盲评,EdenLive 14B 和 5B 在参考遵循、首帧一致性、物理合理性等维度表现优异,显著优于 AgentGarten 等竞品。

3. 应用场景拓展

  • 游戏开发:配合开源的 EdenGolem (v0.1),开发者只需输入玩法描述,智能体即可分阶段完成玩法设计、场景搭建、交互逻辑实现,生成可运行的3D灰盒游戏(支持解谜、射击、驾驶等多种类型)。
  • 风格迁移与预览:可将粗糙的3D白模、2D场景或真实录像作为参考,通过更换首帧和提示词,快速切换写实、手绘、卡通、像素等不同美术风格,用于动画预览或素材重绘。
  • 具身智能数据增强:解决机器人训练视角差异问题。通过将真人操作视频(如擦桌子)中的手部替换为机械臂视角,保留动作轨迹和空间关系,生成符合机器人摄像头视觉分布的训练数据,缓解Sim-to-Real差距。

4. 开源资源

  • 模型权重:提供 5B 和 14B 两个版本,均包含双向生成与少步流式生成选项。
  • 代码与工具:公开实时流式推理代码、EdenGolem v0.1 及前端工作台。
  • 文档:发布详细的技术报告。

值得关注

VAST 的这一举措标志着世界模型研究从单纯的“视觉演示”向“可操作工作流”转变。通过开源整条链路,VAST 降低了开发者接入实时生成式渲染的门槛,同时也引发了关于世界模型是否应彻底转向“可操作模拟器”而非单纯“视觉引擎”的行业讨论。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。