17岁实习生陈广宇离职月之暗面:AttnRes技术已融入Kimi K3底座

2026/10/16 09:52阅读量 6

10月15日,17岁的陈广宇宣布离开AI初创公司月之暗面(Kimi团队)。尽管实习期不足一年,他与张宇、苏剑林共同署名的Attention Residuals (AttnRes) 技术已成为Kimi K3模型架构的关键组成部分。该研究通过Block AttnRes优化显存与通信开销,在2.8万亿参数模型中显著提升了推理效率与性能指标。

事件概述

2026年10月15日,17岁的陈广宇在社交平台X宣布离开月之暗面(Kimi)团队。他未透露具体去向,但后续互动显示其正前往美国旧金山湾区发展。尽管工牌经历短暂,他在Kimi期间参与的核心研究成果已深度整合进公司最新大模型中。

核心技术与贡献

  • AttnRes架构创新:陈广宇与张宇、苏剑林共同署名发布了Attention Residuals论文。传统残差连接易导致早期信息被冲淡,AttnRes允许后续层参考前面各层的输出,按需聚合信息。
  • Block AttnRes优化:为解决大规模训练中的显存和通信瓶颈,团队提出将网络划分为若干区块,仅在块间做精细注意力聚合。实验显示,分成约8个块即可找回全量版绝大部分性能,端到端推理延迟增量控制在2%以内。
  • Kimi K3应用实效:在480亿参数的Kimi Linear架构实测中,AttnRes仅需基准模型约80%的算力,即在GPQA-Diamond上提升7.5分,Minerva Math提升3.6分,HumanEval提升3.1分。该技术是支撑全球首个开放权重的3T级模型Kimi K3的重要底座。
  • 内核加速:陈广宇还参与了KDA(线性注意力机制)计算内核的优化工作,旨在降低长上下文处理的计算和存储开销。

个人背景与行业影响

  • 非典型成长路径:陈广宇2009年出生,无奥赛金牌或跳级经历。2024年高中时期自学AI,通过向Gemini提问学习论文,并与MIT博士杨松琳及硅谷初创公司Tilde Research建立联系。2025年7月赴加州帕洛阿尔托进行为期七周的实习,随后加入Kimi。
  • 招聘模式反思:Kimi此前推出的“Wild Card”人才计划强调不看学历资历、先看上限,这与陈广宇的经历高度契合。然而,此类非典型人才的留存依赖于公司能否提供真实问题、充足算力及清晰的贡献归属,否则可能仅留下短暂的故事而非组织能力。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。