浙大团队破解多模态模型「盲目自信」：先校准置信度，再分配算力

事件概述

针对多模态大模型在图像质量下降时仍保持高置信度输出（即“盲目自信”或“感知钝化”）的问题，浙江大学联合阿里巴巴、香港城市大学及密歇根大学的研究团队提出了 CA-TTS (Confidence-Aware Test-Time Scaling) 框架。该研究将传统的“先推理后感知”范式转变为“先感知后推理”，旨在让模型学会识别自身感知的不确定性，并据此动态分配计算资源。

核心机制

1. 训练阶段：置信度校准 (CDRL)

研究团队设计了 CDRL (Confidence-Driven Reinforcement Learning) 模块，目标不是单纯提升准确率，而是对齐视觉证据与模型的自我评估：

• 双重奖励机制：
  • 感知敏感性奖励：鼓励模型对原始图像与加噪图像产生合理的置信度差异，差异越大说明模型越能感知视觉退化。
  • 校准一致性奖励：预测正确且置信度高时给予正向奖励；预测错误但置信度高时施加惩罚。
• 数据增强策略：利用 CLIP 注意力图定位关键视觉区域，生成针对性扰动，使噪声集中施加在影响推理的局部区域。
• 效果：训练后模型在面对噪声和遮挡时，置信度下降幅度分别是训练前的 4.3 倍和 4.7 倍，彻底扭转了部分干扰下置信度反向上升的现象。

2. 推理阶段：置信度感知扩展 (CA-TTS)

基于校准后的置信度，构建包含三个协同模块的动态调度闭环：

• Self-Consistency (自洽性)：摒弃简单多数投票，采用置信度加权投票聚合候选答案，并引入专家模型进行二次外部校准。
• Self-Reflection (自反思)：当初步结果置信度不足时，专家模型以 Critic 角色生成批评意见，引导基础模型跳出错误路径重新推理。
• Self-Check (自检)：在视觉层面验证答案，对比原始图像与噪声图像下的输出概率分布，确保答案依赖真实的视觉证据。

实验结果与性能分析

• 基准测试表现：在 Qwen2.5-VL-7B 基座模型上，CA-TTS 在四个主流视觉推理基准上达到 SOTA，平均超越现有方法 8.8%。
  • Math-Vision：准确率从 23.0% 提升至 42.4%（几乎翻倍）。
  • MMMU：准确率达到 66.3%，较基线提升 17.5 个百分点。
• 消融实验：单独使用 CDRL 提升 3.4 个百分点，单独使用 CA-TTS 提升 15.0 个百分点，两者结合总提升达 19.4 个百分点，证明二者存在显著协同效应。
• Test-Time Scaling 效率：在 Math-Vision 任务中，随着采样数量增加，CA-TTS 的准确率增长斜率 ($\beta = 3.65$) 远高于 Majority Voting ($\beta = 1.64$) 和 DeepConf ($\beta = 1.19$)，扩展效率分别为后两者的 2.2 倍和 3.1 倍。这表明该方法能更有效地将额外算力投向真正不确定的问题，而非盲目增加采样次数。

结论与意义

该研究指出，若模型未修正“看不懂却敢乱说”的前提，复杂的推理链条可能建立在不可靠的感知基础上。CA-TTS 通过建立对视觉证据变化敏感且与准确性一致的置信度，为高风险场景下的多模态大模型提供了“知道自己何时不该太自信”的可行路径。尽管增加了多次采样与专家调用的成本，但其重新定义了 Test-Time Scaling 的效率上限。

论文信息：

• 标题：Linking Perception, Confidence and Accuracy in MLLMs
• 发表会议：CVPR 2026
• 项目链接：https://github.com/anotherbricki/CA-TTS