DeepSeek V4缺失Engram模块，社区热议最大遗憾
2026/05/03 11:43阅读量 2
DeepSeek V4技术报告发布了多项新技术，但此前备受期待的Engram记忆模块并未出现。Engram是DeepSeek与北大联合开源的Transformer原生知识查表模块，旨在通过哈希查找静态知识来释放深层网络算力。尽管未集成于V4，Engram后续催生了CXL内存池化、热层无冲突优化及视觉模态迁移等多项研究，为下一代模型奠定基础。
事件概述
DeepSeek V4技术报告包含mHC、CSA、HCA、Muon、FP4等创新，但社区发现其中缺少此前呼声极高的Engram模块。Engram由DeepSeek与北大于2026年1月联合开源，旨在解决大模型记忆效率问题。自论文发布以来，被广泛视为V4的架构地基，其缺位被部分网友认为是V4最大遗憾。
核心信息：Engram是什么
- 定位：给Transformer增加一个原生知识查表模块。核心思路是将语言建模中的组合推理与静态知识检索分离——能用查表完成的静态知识不再消耗深层网络计算资源。
- 原理：在Transformer第2层到第15层间插入Engram模块，将当前token与前面若干token组成的N-gram通过哈希映射到巨大嵌入表，直接取出向量。门控机制屏蔽与上下文不匹配的查询。
- 定位关系：Engram是MoE之外的另一条稀疏轴：MoE稀疏化计算，Engram稀疏化存储，二者互补。
- 实验效果：在固定总参数和每token激活参数下，将约20%-25%的稀疏参数分配给Engram，模型loss达到最低。扩展至27B参数、激活3.8B、训练262B tokens后，知识密集型任务MMLU +3.4、CMMLU +4.0；通用推理BBH +5.0、ARC-Challenge +3.7；代码HumanEval +3.0、数学MATH +2.4；长上下文Multi-Query NIAH从84.2%升至97.0%。
- 工程优势：1000亿参数Engram表存放在host DRAM（非HBM），在H800上推理时8B Dense吞吐损失仅2.8%，得益于索引确定性可提前计算、CPU异步预取与GPU计算重叠。
值得关注的后续工作
- CXL内存池化研究（2026年3月，北大、阿里云等）：将Engram部署于多机共享CXL内存池，8台服务器共享4TB内存池，采用XConn XC50256交换芯片，512GB/s带宽，集成至SGLang，端到端吞吐损失小于5%，验证了Engram对确定性寻址负载的适配性。
- 无冲突热层实验（2026年1月，TaoLin）：尝试用Minimal Perfect Hash Function消除高频N-gram哈希冲突，但iso-parameter控制下无稳定提升，训练后期冷路径loss反而更低，证伪了一个直觉优化方向。
- 视觉Tiny Engram（AutoArk团队）：基于Qwen-3复现文本Engram后，将其迁移至Stable Diffusion。视觉patch经分层编码后哈希查表，达到与LoRA同等效果时参数仅需LoRA的15%-30%，且多概念连续注入不退化。
总结
Engram论文结尾写道“条件记忆将是下一代稀疏模型不可或缺的建模原语”。尽管V4未集成，Engram的核心理念和后续探索已为未来版本（V5或V4.1）留下铺垫。