Transformer架构遭遇瓶颈，四大技术路线重塑下一代AI模型

事件概述

自2017年《Attention Is All You Need》论文发布以来，Transformer架构成为主流大语言模型（LLM）的核心引擎。然而，随着模型规模扩大和应用场景深化，其核心机制“密集注意力”带来的高算力消耗和上下文窗口限制日益凸显。OpenAI预计今年算力支出达500亿美元，国际能源署预测数据中心耗电量将翻倍。面对这些根本性缺陷，多家初创企业正在通过重构注意力机制、混合新型网络、改变生成方式及跳出文本框架等四条技术路线进行突围。

核心信息：四大技术突围路线

1. 重新设计注意力机制：稀疏化与滚动摘要

针对密集注意力导致的计算量随文本长度平方级增长的问题，两条路径应运而生：

• 稀疏注意力（Sparse Attention）：Subquadratic公司开发的SubQ模型仅对部分关键词对进行运算，大幅降低计算量。据称其在搜索、代码生成等任务上的性能已对标主流顶尖LLM，且支持实时判断输入文本的重要性。
• 幂保留机制（Power Retention）：Manifest AI提出用滚动摘要替代全量记忆。该机制仅保存与当前任务最相关的信息，丢弃低相关性旧信息，从而避免数据量爆炸。团队已将开源模型StarCoder改造为搭载此机制的PowerCoder，并发布了性能匹敌阿里通义千问部分版本的Brumby模型，适用于处理海量数据及长时间运行的AI智能体。

2. 打造小型灵活模型：液态神经网络混合架构

Liquid AI并未完全抛弃Transformer，而是将其与源自生物神经灵感的“液态神经网络”结合，构建液态基础模型（LFM）：

• 架构配比：最新LFM包含80%液态神经网络和20% Transformer，配比由自研AI系统设计工具自动优化。
• 性能优势：模型体积小巧，能耗极低，可在树莓派等低功耗设备上运行。其性能可匹敌规模4倍于自身的竞品（如阿里通义千问、谷歌Gemma），并具备边运行边学习的能力，区别于传统Transformer训练后行为固定的特性。

3. 一次性生成文本：扩散模型迁移至NLP

传统LLM逐词输出效率较低，Inception公司将图像生成领域的扩散技术迁移至文本领域：

• 技术原理：模型同时预测多个词元而非逐个生成，通过数学方法弥合文本离散性与扩散过程连续性之间的鸿沟。
• 效能提升：最新模型Mercury 2性能对标OpenAI GPT-4的部分版本，但生成速度提升约10倍，显著降低了成本。谷歌也在尝试类似方向，推出了原型LLM Diffusion Gemma。

4. 跳出文本世界：状态空间替代注意力

Pathway公司认为Transformer迫使模型依赖语言进行推理，限制了其在复杂逻辑问题上的表现，因此提出颠覆性方案：

• 状态空间模型：使用状态空间数学结构替代注意力机制，将信息压缩为抽象表达，使模型能处理不依赖词语序列的推理模式。
• 突破性成果：其模型Dragon Hatchling在超高难度数独基准测试中攻克了97%以上的难题，而多数主流LLM难以破解任何一道。该路线旨在让AI摆脱书本知识的束缚，解决如癌症研究等尚无现成手册的复杂现实问题。

值得关注

上述技术路线均指向同一个目标：在保持或提升模型智能水平的同时，大幅降低算力成本和延迟。稀疏注意力和扩散模型侧重于效率优化，液态神经网络侧重于边缘部署和动态学习，而状态空间模型则试图从根本上拓展模型的推理边界。未来LLM的形态可能不再是单一的Transformer堆叠，而是多种机制融合的异构系统。