17岁实习生陈广宇离职月之暗面:AttnRes技术已融入Kimi K3底座
2026/10/16 09:52阅读量 6
10月15日,17岁的陈广宇宣布离开AI初创公司月之暗面(Kimi团队)。尽管实习期不足一年,他与张宇、苏剑林共同署名的Attention Residuals (AttnRes) 技术已成为Kimi K3模型架构的关键组成部分。该研究通过Block AttnRes优化显存与通信开销,在2.8万亿参数模型中显著提升了推理效率与性能指标。
事件概述
2026年10月15日,17岁的陈广宇在社交平台X宣布离开月之暗面(Kimi)团队。他未透露具体去向,但后续互动显示其正前往美国旧金山湾区发展。尽管工牌经历短暂,他在Kimi期间参与的核心研究成果已深度整合进公司最新大模型中。
核心技术与贡献
- AttnRes架构创新:陈广宇与张宇、苏剑林共同署名发布了Attention Residuals论文。传统残差连接易导致早期信息被冲淡,AttnRes允许后续层参考前面各层的输出,按需聚合信息。
- Block AttnRes优化:为解决大规模训练中的显存和通信瓶颈,团队提出将网络划分为若干区块,仅在块间做精细注意力聚合。实验显示,分成约8个块即可找回全量版绝大部分性能,端到端推理延迟增量控制在2%以内。
- Kimi K3应用实效:在480亿参数的Kimi Linear架构实测中,AttnRes仅需基准模型约80%的算力,即在GPQA-Diamond上提升7.5分,Minerva Math提升3.6分,HumanEval提升3.1分。该技术是支撑全球首个开放权重的3T级模型Kimi K3的重要底座。
- 内核加速:陈广宇还参与了KDA(线性注意力机制)计算内核的优化工作,旨在降低长上下文处理的计算和存储开销。
个人背景与行业影响
- 非典型成长路径:陈广宇2009年出生,无奥赛金牌或跳级经历。2024年高中时期自学AI,通过向Gemini提问学习论文,并与MIT博士杨松琳及硅谷初创公司Tilde Research建立联系。2025年7月赴加州帕洛阿尔托进行为期七周的实习,随后加入Kimi。
- 招聘模式反思:Kimi此前推出的“Wild Card”人才计划强调不看学历资历、先看上限,这与陈广宇的经历高度契合。然而,此类非典型人才的留存依赖于公司能否提供真实问题、充足算力及清晰的贡献归属,否则可能仅留下短暂的故事而非组织能力。
