DeepSeek V4.1 Flash 架构解析：CED与CSA2如何实现显存与算力双降

事件概述

DeepSeek 正式推出 V4.1-Flash 模型，这是一次针对长上下文场景的底层架构重写。不同于以往单纯增加算力以换取智力提升的路径，V4.1-Flash 通过 CED 和 CSA2 两大核心创新，打破了“强智力=高硬件需求”的潜规则。该模型主干参数为 552B，外挂 196B Engram 记忆模块，但在推理时仅激活少量参数，却能在多项评测中追平甚至超越上一代旗舰 V4-Pro 及行业顶级稠密模型。

核心技术创新

1. CED 架构：解决“读得慢”，预填充算力减半

在百万 Token 级别的长文本 Agent 场景中，**预填充（Prefill）**是主要的算力瓶颈，即模型需从头到尾处理全部上下文以生成 KV 缓存。

• 机制原理：CED 将神经网络 40 层分为两部分。前 20 层作为“因果编码器”，对全文进行浓缩摘要；后 20 层不再重读全文，而是通过投影矩阵从摘要中直接生成全局 KV 缓存。
• 有限回放机制：针对需要高精度的局部细节（如代码生成），模型采用“滑动窗口注意力（SWA）”结合“有限回放”机制，仅挑出极少数 Token 用近似值还原短期记忆，避免算力爆炸。
• 效果：预填充计算量减少 50%，服务器硬盘上的持久缓存成本缩减至上一代的 1/8。对于企业用户，单次深度复杂任务的 API 调用成本可从约 10 元降至 1-2 元。

2. CSA2 架构：解决“存不下”，显存占用极致压缩

上一代模型采用混合注意力架构，每层保留完整 KV 缓存副本，导致显存随层数线性膨胀。V4.1-Flash 采用的 CSA2 实现了跨层复用。

• 跨层复用：40 层网络共用同一份 KV 缓存副本，删除了重复压缩区和繁琐的位置记录算法，简化了内部设计。
• 三档运行模式：
  • Full 模式：通读上下文，生成完整 KV 和索引，筛选 Top-K 重点。
  • Reindex 模式：复用 Full 模式的完整 KV，重新筛选重点。
  • Reuse 模式：直接跳过索引计算，使用已有数据。
  • 绝大多数层处于 Reuse 或 Reindex 模式，大幅削减重复存储。
• 分层量化策略：
  • 长期记忆：主 KV 缓存采用极低精度的 FP4 格式。
  • 短期记忆：SWA-KV 缓存保留高精度 FP8 格式。
  • 量化感知训练（QAT）：在训练阶段引入 QAT，确保模型在低精度下仍能保持精准推理，运行时芯片可快速还原计算。
• 效果：全局单 Token KV 体积压至 V4-Flash 的 1/4，落盘持久 KV 降至 1/8。上下文长度从 4K 拉伸至百万 Token 时，解码计算量仅上涨约 25%。

性能表现与行业影响

• 激活规模极小：输入预填充阶段仅激活 8B 参数，解码生成阶段仅激活 16B 参数。
• 基准测试领先：
  • 在 DeepSWE v1.1（代码智能体工程问题解决能力）测试中，通过率达 74.2%，超越 Opus-5.0 和 GPT-5.6-Sol。
  • 在 CyberGym（网络安全智能体）测试中，创下开源生态 SOTA 成绩。
• 竞争维度重塑：V4.1-Flash 证明了“以小博大”的可能性，长上下文 Agent 的部署成本被显著降低。其架构思路与近期《Trace as State》研究有宏观相通之处，但实现路径不同：前者为底层网络架构重写，后者为推理阶段外部算法。若此架构被广泛借鉴，下一代大模型可能不再依赖大一统稠密 Transformer，而是转向稀疏机制、跨层复用和可控近似策略的组合。

关键数据总结