犀牛鸟精英人才三篇论文入选ICML 2026，聚焦模型蒸馏、长上下文推理与视频生成

三篇ICML 2026论文解读（腾讯犀牛鸟精英人才）

1. 混合策略蒸馏（Hybrid Policy Distillation for LLMs）

• 合作方：上海交通大学（王瑞副教授、刘鹏飞副教授） & 腾讯混元团队
• 核心贡献：将知识蒸馏（KD）重新表述为令牌级重加权对数似然目标，并提出混合策略蒸馏（HPD），结合正向和反向KL散度的互补优势，平衡模式覆盖与模式搜索，同时将非策略数据与轻量级近似策略抽样集成。在长形式数学推理、短形式对话和代码生成任务上，HPD在不同模型族和规模下均提升了优化稳定性、计算效率和最终性能。

2. Many-Shot CoT-ICL：让上下文学习真正学会推理

• 合作方：香港科技大学（楊瓞仁教授） & 腾讯微信团队
• 核心贡献：针对推理任务的多示例CoT-ICL，发现标准扩展规律不适用——扩展效应具有任务依赖性，且相似度检索在推理任务中失效。提出示例应易于模型理解并按概念递进排列的两项原则，并据此设计CDS方法优化示例排序，在数学和叙事推理任务上平均提升3.81%。研究将长上下文窗口重新定义为“上下文测试时学习的结构化课程”。

3. CamGeo：基于3D几何先验的稀疏相机条件图像到视频生成

• 合作方：北京大学（马思伟教授） & 腾讯营销团队
• 核心贡献：提出CamGeo框架，将预训练视频到3D模型（VGGT）中的3D几何知识蒸馏到扩散骨干网络中，仅在训练阶段进行蒸馏以不增加推理延迟。包含：关键帧轨迹蒸馏（通过稀疏输入姿态保证周期一致性）、跨帧一致性蒸馏（结合相机轨迹与深度约束）、三阶段从粗到细课程学习。实验表明，在各种稀疏度下均能稳定提升几何一致性。