腾讯混元3.0幕后:架构回归基础,姚顺雨主导数据与Infra重构
2026/05/11 21:01阅读量 6
腾讯混元3.0 Preview于2026年4月发布并开源,闭源旗舰版预计五六月份上线。新版本放弃Hy2时期的架构创新,回归Transformer与Full Attention等成熟方案。姚顺雨带领团队重点攻坚数据质量和基础设施,将冗余SFT数据从千万级降至万余条,并重构强化学习管线。
事件概述
2026年4月23日晚,腾讯混元3.0 Preview版本(Hy3)发布并同步开源。据雷锋网独家消息,更大规模、功能更全面的闭源旗舰版本预计在五六月份发布。
核心信息
- 架构重构:Hy3放弃了Hy2时期尝试的Multi-Token Prediction、Mamba等创新架构,回归Transformer和Full Attention等经过验证的共识架构,将重心转向数据和基础设施(Infra)。
- 数据质量攻坚:姚顺雨组建20余人的预训练数据团队,专门从事数据审核。过去SFT数据存在大量重复冗余,冗余条目曾达千万条级别。团队在数月内将冗余数据控制在1万余条规模。
- 基础设施升级:姚顺雨另组团队重构腾讯的强化学习(RL)管线,确保万卡集群运行稳定、安全,具备应对突发情况的能力。腾讯内部使用的“太极”机器学习平台以1-2周一次的频率进行功能更新。
- 性能表现:在腾讯内部Benchmark上,混元性能达到Kimi 2.5水平,超越MiniMax,仅次于Gemini和Seed 2.0。
- 组织调整:混元团队被分为预训练、后训练、Baseline Infra、模型评估和Frontier五大板块,其中Frontier侧重技术预研,其余四个板块十多个组扁平化运作,全部投入Hy3研发。姚顺雨亲自参与技术细节讨论。
- 人才引进:姚顺雨从字节、阿里、DeepSeek、Kimi等公司招揽核心人才,尤其偏好信仰AGI、技术扎实的年轻人和校招生。
值得关注
姚顺雨主导的这次重构,本质是从底层补短板、填漏洞的追赶之战——通过回归基础架构、严控数据质量、夯实基础设施,腾讯混元试图重新进入竞逐第一梯队。
