马斯克下场点赞，Kimi 这篇论文撬动了大模型的“祖传地基”

事件概述

马斯克下场点赞，Kimi 这篇论文撬动了大模型的“祖传地基”-虎嗅网 虎嗅APP 虎嗅APP 公众号矩阵 公众号矩阵 社群矩阵 社群矩阵 我要投稿 我要投稿 资讯 24小时 源流 视频 活动/榜单/专题 妙投 虎嗅智库 虎嗅嗅全新升级 虎嗅嗅全新升级 Kimi的《Attention Residuals》论文提出改造大模型残差连接的新方法，同等算力下性能提升25%，获马斯克等硅谷AI领袖认可，标志着深度学习基础范式的潜在变革。 ## 1. 残差连接的瓶颈与革新 - 传统残差连接采用无差别等权相加，导致深层网络出现"PreNorm稀释"问题，后层贡献被淹没。已有研究发现大模型部分层可直接删除而不影响效果。 - Kimi团队提出"Attention Residuals"，将Transformer注意力机制旋转90度应

核心要点

• 这类动态更值得关注它在权限、工具调用、流程编排和稳定交付上的实际可行性，而不只是演示效果。
• 关键不只是模型能力本身，还包括它能否被封装成稳定可用的软件能力，以及接入成本和适用场景。
• 如果信息指向底层算力或硬件变化，更需要评估它对推理成本、响应速度、部署方式和交付周期的实际影响。

值得关注

• 更重要的是识别这条动态带来的实际变化，包括能力边界、接入成本、部署复杂度和可持续性。
• 如果要进一步评估价值，应结合具体业务场景、数据条件和系统集成成本来判断。