本地大模型推理偏差揭秘：734个依赖包中的数值陷阱

事件概述

Level1Techs论坛用户 thr3e 对 Qwen3.6-27B 模型在 RTX PRO 6000 Blackwell 显卡上的推理过程进行了超过 10 万 token 的全量 logit 捕获测试。实验揭示，即使使用相同的权重和输入，本地部署与大模型官方版本在输出上存在显著差异。这种差异源于推理软件栈中浮点运算精度、累加顺序及硬件指令集带来的微小数值偏移，这些偏移在长上下文中累积，最终导致模型选择错误的 token。

核心发现

1. 注意力后端切换引发输出分歧

在保持硬件、软件、权重及 KV 缓存精度不变的情况下，仅切换 vLLM 的注意力后端（FlashAttention 2、Flash Inference、Triton Attention），即可观察到“Top-1 翻转”现象。

• 实验细节：使用一段包含多次工具调用的真实 Agent 工作流数据（约 10 万 token），每隔 32 个 token 采样一次全词表 logit。
• 结果：前几千个 token 输出一致，但随着上下文增长，不同后端因 CUDA 核函数在 prefill 阶段执行矩阵乘法和累加时的数值差异，导致分歧出现。例如，FlashAttention 2 将接口 GigabitEthernet0/0/1.201 错误识别为 GigabitEthernet0/1/4，进而导致后续工具调用失败。
• 重复性验证：同一后端多次运行，隐藏状态的 logit 逐位相同，证明分歧完全来自不同核函数的数值计算差异，而非随机噪声。

2. KV 缓存量化精度决定稳定性

实验固定权重为 BF16、注意力后端为 Triton，仅改变 KV 缓存量化精度（BF16、INT8、INT4）。

• BF16：全程保持稳定，正常完成所有工具调用。
• INT8：出现 Top-1 翻转，但模型最终能挣扎着恢复至正确轨道。
• INT4：在长上下文中 Top-1 翻转率急剧攀升，导致工具调用彻底失败且无法自我纠正。
• 结论：为了节省显存而使用 INT4 KV 缓存的用户，在长对话或复杂 Agent 工作流中极易遭遇致命错误决策。

3. 权重量化方案横评：英伟达 NVFP4 表现垫底

在统一 KV 缓存为 BF16 的前提下，比较五种权重量化方案：Qwen 官方 BF16、Qwen 官方 FP8 (W8A8)、社区 INT8 (W8A16, 无校准)、英伟达官方 NVFP4、社区 AWQ INT4 (W4A16, 有校准)。

• 最佳表现：TheHouseOfTheDude 发布的 INT8 (W8A16)。该方案未使用校准数据集，仅做通道级对称量化，却凭借保留 BF16 激活精度及排除特定投影层，其 Top-1 一致性碾压了官方 FP8 和 NVFP4。
• 最差表现：英伟达官方 NVFP4。在 88k 上下文时，Top-1 翻转率逼近 50%。在实际工具调用中，NVFP4 未能正确关闭工具调用并搞错 Cisco 命令行语法。
• 张量并行异常：同一份 BF16 权重，TP1（单卡）成功，TP2（双卡）失败，TP4（四卡）又成功。调试显示这是 NCCL 跨卡归约操作中的数值差异所致。

值得关注

• 依赖复杂性：一个标准的 vLLM nightly 容器镜像包含 734 个软件包（其中 252 个为 Python 包）。每个代码库都可能存在未记录的行为特性或 bug，使得本地部署环境具有极高的独特性。
• 基准可信度存疑：HuggingFace 模型卡上标注的低 KL 散度数字往往不可信，除非作者完整披露参考检查点、运行时环境、评估文本、校准数据及聚合方法等细节。
• 未来工作：研究者正在打包测试工具和数据集，计划进行跨模型（Qwen3.6 vs 3.8）、跨硬件（RTX PRO 6000 vs RTX 5090）及不同配置的全面对比，以帮助用户排查本地部署中的数值陷阱。