星尘智能发布SmoothRL：解决大模型异步推理下的在线强化学习适配难题

事件概述

星尘智能（Astribot）基座模型团队发布了名为 SmoothRL（Online Reinforcement Learning During Asynchronous Execution）的在线强化学习框架。该框架专为解决真实物理世界中机器人无法等待大模型推理完成而设计的异步执行场景，确保强化学习策略能与异步推理机制完美适配。

核心挑战：异步推理导致的“对错账”问题

在真实部署中，VLA（视觉-语言-动作）或 World-Action Model 通常生成未来的动作序列（action chunk）。由于模型推理耗时较长，机器人必须采用异步推理模式：即在执行当前动作的同时，后台计算下一组动作。这导致了一个关键矛盾：

1. 动作错位：模型生成的完整动作序列中，只有一部分被真正执行，其余部分可能被后续生成的新序列覆盖或替换。
2. 训练偏差：传统在线 RL 假设模型生成什么就执行什么。若将整段动作一起用于优化，会导致机器人未执行或未改变的动作也被错误地归因于成功或失败，造成策略学习的偏差。

SmoothRL 解决方案

SmoothRL 的核心创新在于重新定义了强化学习的更新边界，遵循 “Reinforce in Deployment”（在部署中强化学习）原则：

1. 动作区域划分：将每个 action chunk 严格划分为三个区域：
   • 已提交区域 (Committed Region)：已被上一轮推理锁定，确定会执行，不可更改。
   • 执行区域 (Execution Region)：本轮新生成且机器人实际执行的动作。
   • 丢弃区域 (Discarded Region)：虽由模型生成，但被后续推理覆盖，未实际执行。
2. 梯度隔离：仅在训练时让梯度穿过 Execution Region。这意味着强化学习只根据机器人真正经历过的动作结果进行优化，确保训练目标与真实运行过程一致。
3. 同步训练节奏：在训练 rollout 中直接模拟异步推理过程，记录真实时间关系下的轨迹，而非先在理想同步环境中训练再部署。

技术实现细节

• 基础策略：使用微调后的 π0.5 作为基础策略。
• 在线修正：沿用 RLT 骨架，采用轻量级 TD3-style actor-critic 网络，在原始动作空间预测 residual correction（残差修正）。
• 执行参数：以 S1 机器人为例，动作执行频率为 30 Hz，推理请求频率为 5 Hz（每 200 ms 一个新 chunk）。每次预测 32 帧动作，其中 Committed 与 Execution 共占 12 帧，Execution Region 占 6 帧，其余 20 帧在执行前被覆盖。

真机测试结果

团队在星尘智能 S1 绳驱本体上进行了三项真实任务测试，涵盖高动态操作和高精度双臂操作：

1. 动态投掷任务：

   • 场景：从随机位置抓取并投掷物体至目标箱，要求持续积累速度并在精确时刻释放，对停顿极度敏感。
   • 结果：成功率从基础策略的 39% 提升至 94%。
   • 平滑性提升：经过在线 RL 后，末端执行器加速度均方根下降 52%，急动度（Jerk）下降 47%，动作更平稳连续。

2. 给笔戴帽任务：

   • 场景：双臂将笔帽精确对齐到笔上，允许误差约 5 mm。
   • 结果：成功率从 8% 提升至 83%。

3. 快递开箱任务：

   • 场景：用 1 mm 宽刀片插入 2-3 mm 宽的箱盖接缝切开胶带。
   • 结果：成功率从 30% 提升至 90%。值得注意的是，学习曲线非单调上升，体现了真实在线探索的复杂性。

结论与意义

SmoothRL 证明了在线强化学习不仅适用于高精度修正，也能适配连续加速、不能停顿的高动态操作。其核心价值在于：预训练赋予机器人基础能力，而真实世界中的后训练（Post-training）通过在线修正，将这些能力练得更准、更稳。

目前该方案仍有限制，如依赖预设延迟预算内的推理完成，且受限于冻结基础策略的表达力。未来团队计划探索更大范围的策略更新及异步执行与生成式策略的端到端优化。这一进展标志着具身智能从“学会做”向“做得准、做得稳”的关键跨越。