腾讯混元发布Terminal-RSI：基于Qwen3.8-27B实现终端Agent能力跃升

事件概述

腾讯混元Frontier团队发布了名为Terminal-RSI的终端智能体（Agent）强化学习技术。该技术的核心突破在于利用全链路递归自我强化学习（RSI），使基座模型能够超越原有框架限制，具备在Linux终端环境中进行代码修改、依赖安装及系统调试等复杂长程任务的能力。

值得注意的是，该研究使用的基座模型为阿里的Qwen3.8-27B。尽管论文承认目前仅在27B参数量的模型上验证了效果，且未在大参数量模型上进行独立训练种子验证，但其展现出的性能提升具有显著的行业参考价值。

核心技术与机制

Terminal-RSI主要解决了传统强化学习在终端Agent训练中面临的两大痛点：反馈延迟高（错误往往在最后才显现）和评估粒度粗糙（难以区分部分成功与完全失败）。其工作流程包含两个核心循环：

1. RSR（Recursive Self-Rewrite，递归自我重写）

   • 目标：仅更新执行任务的Actor策略。
   • 流程：模型在不同沙盒环境中尝试任务，保留完整验证成功的轨迹，并提炼成操作手册（Runbook）。随后由审查Agent检查格式及是否存在答案泄漏，最后在新沙盒中复现。只有复现成功且无泄漏的轨迹才会被用于监督微调。
   • 本质：将单次成功的复杂操作固化为可重复执行的标准化动作序列，类似“肌肉记忆”。

2. RPR（Recursive Policy-Refine，递归策略精炼）

   • 目标：通过PPO算法同时优化Actor（执行者）和Critic（评估者/教练）。
   • 流程：由于RSR改变了Actor的行为模式，原有的Critic评估可能失效。RPR采用“先让教练适应新打法，再一起训练”的策略，即先让Critic基于最新战绩重新训练4轮以理解新规则，随后两者协同进行强化学习。
   • 优势：避免了旧评估误差对优势值的污染，确保模型在面对新类型任务时能准确判断进展。

性能表现与数据

在Terminal-Bench 4.0这一严格的标准测试集中，经过Terminal-RSI训练的Qwen3.8-27B模型取得了以下成绩：

• Terminal-Bench 4.0：得分从初始的0%提升至19.84%，与GPT-5.6 Terra、Gemini 3.8 Flash持平。
• Terminal-Bench 2.1：得分从51.7%提升至86.5%。
• 综合平均分：四个测试集的平均分从20.7%提升至50.6%，实现翻倍增长。

组织变革与战略意义

此次技术发布不仅是算法层面的突破，也反映了腾讯内部AI研发架构的调整：

• 研产融合：随着姚顺雨加入并重组团队，原AI Lab并入大语言模型部，Frontier方向与预训练、后训练等部门同属一条汇报线。这种结构消除了研究与产品之间的壁垒，使得如Terminal-RSI这样的前沿探索能直接补强混元主力产品线。
• 对抗“刷分”现象：针对大模型在实际任务中“过程看似正确但结果失败”的弊端，Terminal-RSI强调“完整成功”轨迹的重要性。通过隔离Benchmark污染和强制要求最终状态验证，该技术有助于提升模型在调试、系统管理等需要多步推理场景下的真实执行力，而非仅仅追求榜单分数。

目前，该团队已搭建起集团共用的强化学习基础设施，支持各业务线训练模型并将数据回流至混元，T1及Terminal-RSI的研究正是这一基础设施上的关键成果。