RLinf v0.3发布：打通具身智能全链路，支持从仿真到真机持续进化

事件概述

无问芯穹联合清华大学研发的RLinf项目，全球首个面向具身智能持续进化的大规模强化学习基础设施，正式发布v0.3版本。该版本升级为一站式开发平台，首次完整打通数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测以及真机部署等关键环节，实现从仿真训练到真实机器人在线学习、再到持续迭代优化的统一开发闭环。RLinf v0.3围绕模型、算法、真机、仿真、系统五个维度进行升级，系统性降低具身智能开发门槛，提升训练效率与部署灵活性。

核心升级内容

模型生态

新增6款主流具身模型支持：

• Dexbotic DM0：在LIBERO上用PPO进行在线RL微调。
• DreamZero：基于WAN2.1/2.2视频生成世界模型微调的VLA策略，集成SFT工作流，通过FSDP2/CUDA Graph等加速取得近4倍吞吐提升。
• GR00T-N1.6 / N1.7：支持RL微调。
• ABot-M0、StarVLA（GRPO on LIBERO）、LingBot-VLA（RoboTwin环境SFT/RL）。

算法体系

• 真机强化学习：DSRL扩展至Pi0.5模型；新增RECAP（基于离线优势估计的策略优化）训练流水线；新增SAC-Flow算法并扩展至DOS-W1等真机场景。
• 仿真强化学习：Async PPO扩展支持MLP等新策略，新增async DSRL配置；新增D4RL离线IQL训练支持（Antmaze / Kitchen-Adroit / MuJoCo，基于FSDPStrategy）。
• 人在环学习：新增DAgger在线模仿学习算法（LIBERO、ManiSkill、RoboTwin、真机PnP多场景）；新增HG-DAgger（Human-Gated DAgger）真机在线训练支持。

真机支持

• 数据采集：新增空间鼠标（Spacemouse）、VR遥操作、GELLO遥操作三种方式。
• 训练链路：新增LeRobot格式数据采集支持，与HuggingFace LeRobot生态互通；打通Pi0真机SFT部署链路；新增真机reward model数据采集。
• 平台与末端：新增双臂Franka（关节空间与TCP/rot6d控制）、GimArm、DOS-W1平台；新增Franka DexHand灵巧手、Franka Robotiq夹爪及相机后端支持。

仿真环境

新增5种仿真器：Genesis、Polaris、RoboVerse；完善Behavior环境支持（v3.7.1/2补丁、π0.5 PPO配置与随机化）；新增Libero+/LiberoPro变体、Embodichain（CartPole）、IsaacLab上π0.5 PPO finetuning、RoboCasa close-drawer等RL示例。

系统基座

• 新增Reward Model组件（embodied reward worker + ResNet/VLM reward model）、Value Model通用基础设施、SGLang推理服务化组件（HTTP server + router模式，可作为reward服务/rollout推理后端）。
• 解耦环境执行组件，解除Env Worker与Rollout Worker一对一绑定，提升GPU利用率。
• 性能优化：torch.compile加速、rollout与训练overlap、权重同步升级（broadcast/增量同步/分桶同步/仅同步可训练参数）、FSDP全offload支持，修复显存泄漏问题。
• 全面支持昇腾（CANN/torch-npu）、AMD ROCm、Musa等国产及异构AI计算平台。

额外亮点：RLinf for Agentic AI

新增AgentLightning多轮单智能体RL训练与Calc-X评测支持；新增Megatron-Bridge actor后端（基于Megatron-mbridge模型的RL训练与SFT）；将SearchR1重构为多轮接口，并新增WideSeek judge的内置sglang支持。

社区与影响力

RLinf自开源以来，GitHub已获得4100+ Stars、600+ Forks、100+ Contributors。被Isaac Lab官方收录为其首个面向具身大模型的训练引擎。与NVIDIA合作的医疗器械组装任务成功登上NVIDIA GTC 2026。项目荣获EAI-100年度十大突破奖，入选Pytorch Ecosystem、蚂蚁开源榜。