DeepSeek V4 技术报告深挖：以巨大工程代价换取“批次不变性”

事件概述

DeepSeek V4 技术报告持续被行业深度解析，其核心发现在于模型为了保留关键工程设计「批次不变性（batch invariance）」，不惜付出巨大的工程与性能代价。这一设计旨在解决大模型在超长上下文、复杂后训练管线及推理服务中面临的数值一致性问题。

核心信息：什么是 Batch Invariance？

定义：对于同一个 Token，无论其在批次中的位置、批次大小或批处理组合如何变化，其输出必须保持逐比特完全一致。

核心价值：

1. 保障线上推理稳定性：线上服务通常采用动态 Batching（不同请求混合计算）。若无此机制，相同的提示词可能因底层 Kernel 归约顺序或批次组合不同而产生截然不同的答案。
2. 实现全流程对齐：DeepSeek V4 涵盖预训练、SFT、RL、On-policy Distillation 及推理服务等多条链路。Batch Invariance 确保了模型行为的变化仅源于数据或算法调整，而非 Batch 组织方式或 Kernel 路径的随机性，极大提升了异常定位与复现能力。
3. 支撑复杂系统底座：V4 集成了长上下文 Attention、压缩 KV、稀疏注意力、MoE、FP4/FP8、Muon、mHC 及自研 Kernel 等多种组件。Batch Invariance 作为底层硬约束，防止了组件叠加带来的数值不确定性污染。
4. 稳定后训练过程：RL、蒸馏及长链推理对细微数值差异高度敏感。该机制减少了随机扰动，确保采样路径、Reward 信号及师生对齐的稳定性。

技术代价与解决方案

为实现上述目标，DeepSeek V4 在工程上做出了显著妥协，并采用了针对性的自研方案：

牺牲的性能与自由度

• GPU 利用率下降：受限于波前量化等问题，无法充分利用硬件并行度。
• 小批量/短序列推理速度降低：通用优化策略受限。
• 原生算子兼容性丧失：无法直接使用部分标准库的高效算子。
• 稀疏加速自由度受限：部分稀疏计算模式被放弃。

关键技术取舍

1. Attention 侧：

   • 放弃 Split-KV：Split-KV 虽能提升负载均衡，但会改变并行归约路径，破坏逐比特一致性。
   • 采用 Dual-kernel：为同一注意力解码任务准备两套计算程序，分别适配“高负载”与“低负载”场景，同时保证结果严格一致。

2. 矩阵乘法（GEMM）侧：

   • 放弃 Split-K：浮点加法归约顺序的改变会导致结果差异。
   • 自研 DeepGEMM：替代通用的 cuBLAS，实施更受约束的 Batch-invariant GEMM 计算路径。

结论与影响

DeepSeek V4 通过引入严格的底层执行约束，将工程复杂度推向极致，成功换来了训练、推理及 RL 三阶段的逐比特可复现性。这种设计使得多机多卡环境下的结果完全对齐，为 Agent 开发、长上下文应用及复杂的强化学习训练提供了坚实的确定性基础。业界评价认为，将此类耗时数年的底层优化免费公开，极大地降低了行业复现与部署的门槛。