港中文(深圳)6篇论文被ICML 2026接收,覆盖大模型路由、高效推理、序列建模等前沿方向
2026/06/16 15:25阅读量 2
香港中文大学(深圳)人工智能学院荆炳义、尹峰、贺品嘉教授团队的6篇论文入选ICML 2026。研究涵盖大语言模型风险感知路由、在线高效推理、矩阵值注意力MIMOMamba、高阶零阶梯度估计等内容,多项工作在理论创新与实验效果上均有突破。
事件概述
香港中文大学(深圳)人工智能学院荆炳义教授、尹峰教授及数据科学学院与人工智能学院双聘助理教授贺品嘉教授团队的6篇论文被机器学习顶级会议ICML 2026接收。ICML 2026将于2026年7月6日至11日在韩国首尔举办。
核心论文成果
1. RACER:面向大语言模型的风险感知校准高效路由
- 作者:Sai HAO, Hao ZENG, Hongxin WEI, Bingyi JING(共同通讯)
- 核心方法:将多模型路由形式化为α-有效最优路由(α-VOR)问题,通过校准数据集确定阈值,实现具有风险控制保证的集合预测。
- 贡献与效果:理论提供分布无关的风险控制保证;实验表明在保持较高准确性的同时,最多可减少58.6%的模型调用次数。
2. Anytime Safe PAC Efficient Reasoning(B-PAC推理)
- 作者:Chengyao YU, Hao ZENG, Youxin ZHU, Jianguo HUANG, Huajun ZENG, Bingyi JING(通讯)
- 核心方法:基于赌博理论的在线高效推理方法,利用逆倾向评分构建潜在风险估计量,结合检验超鞅动态更新路由阈值。
- 贡献与效果:在独立同分布和非平稳数据下均可实现任意时点有效的性能损失控制;在评测数据集上推理模型调用比例最多降低81.01%。
3. MIMOMamba:从标量对偶到矩阵值注意力
- 作者:Yanbo LI, Richard Cornelius SUWANDI, Feng YIN(通讯), Yiyong SUN, Wei HUANG, Wenqiang PU
- 核心方法:通过矩阵多项式参数化将状态空间对偶性推广至MIMO设置,在单一选择性递推中联合建模时序与跨通道交互,保持线性时间效率。
- 贡献与效果:在SSP物理预测基准中以约35k参数(Transformer的1/3)达到最优RMSE 0.687;推理内存随序列长度线性增长,训练吞吐量比Mamba-2快1.5–1.6倍。
4. Romberg外推零阶梯度估计器:高阶偏差缩减并保持主导方向方差
- 作者:Hongcheng DONG, Wenqiang PU, Licheng ZHAO, Rui ZHOU, Feng YIN(通讯)
- 核心方法:在多尺度上分别构造两点估计,通过Romberg外推加权组合,系统性地降低偏差,同时保持主导方向方差不变。
- 贡献与效果:理论证明偏差可从O(ε²)降至O(ε⁴)等更高阶;实验在合成函数、无线网络优化及OPT-1.3B黑箱prompt tuning任务中均验证了更优的收敛速度和稳定性。
其余两篇论文
(依原文中未给出详细信息,仅作提及)
- 第五、六篇论文由贺品嘉教授团队贡献,具体细节请参见后续报道。
值得关注
- 6篇论文同时被ICML接收,体现港中文(深圳)在机器学习理论、大模型高效推理、可扩展序列建模等方向的系统性研究实力。
- RACER与B-PAC Reasoning均旨在以统计控制降低大模型推理成本,紧贴产业界对高效、可靠的AI系统需求。
- MIMOMamba从代数第一性原理出发,为高效序列建模提供了新范式,有望在长序列任务中替代Transformer。
