北大彭宇新团队提出TARA方法，利用细粒度树先验破解生物分层识别难题
北京大学彭宇新教授团队提出分类感知表征对齐（TARA）方法，通过对齐多模态大模型与生物基础模型的视觉及文本表征，将类别树结构知识注入生成式模型。该方法有效解决了现有模型在分层视觉识别中同层判别性差、跨层一致性弱及新类泛化能力不足三大挑战。实验显示，TARA不仅提升了最终细粒度类别的准确率，更实现了从“界”到“种”每一层级的精准识别，显著增强了模型对未见新物种的泛化能力。
事件概述
针对现有多模态大模型缺乏完整类别树认知、无法实现从粗到细精准分层识别的问题，北京大学彭宇新教授团队提出了分类感知表征对齐方法（Taxonomy-Aware Representation Alignment, TARA）。该研究论文已被 CVPR 2026 接收并开源，旨在利用判别式生物基础模型的表征指导生成式大模型学习。
核心挑战
现有模型在分层视觉识别任务中存在三个主要瓶颈：
- 同层判别性差：难以平衡“类内差异大”（粗粒度）与“类间差异小”（细粒度）的矛盾，导致无法区分同一层级内的相似类别。
- 跨层一致性差：由于缺乏类别树知识，相邻层次的预测结果往往不满足父子节点关系（例如预测出“鹦鹉目-裸鼻雀科”这种逻辑错误的组合）。
- 新类泛化性差：模型过度关注子类别差异而忽略共性特征，导致对从未见过的新物种（尤其是科学界尚未正式描述的种类）识别能力弱。
技术方案：TARA框架
TARA 通过两个关键步骤将类别树结构知识注入多模态大模型：
1. 分层视觉表征对齐
- 机制：利用经分层标签训练的生物基础模型（如 BioCLIP、BioCLIP2、BioCAP）作为监督信号。
- 操作：将大语言模型中间层的视觉表征，通过可学习的映射层 $P_V(\cdot)$ 对齐到生物基础模型的视觉特征空间。
- 目的：促使大模型提取具备完整类别树结构的视觉表征。
2. 自由粒度类别表征对齐
- 机制：针对不同用户需求的识别层次（如专家需识别到“种”，普通用户仅需识别到“纲”），动态调整输出。
- 操作：将大模型输出答案的首个词元表征，通过可学习的映射层 $P_T(\cdot)$ 对齐到生物基础模型编码后的真实类别文本特征空间。
- 目的：确保大模型能将具备树结构的视觉表征准确映射为指定层次的类别名称。
3. 训练与推理策略
- 训练阶段：采用无需思考的强化微调（No Thinking RFT）与 TARA 交替优化，使大模型同时适配分层指令并学习类别树知识。
- 推理阶段：仅使用优化后的大模型进行识别，生物基础模型及映射层不参与运算，保证推理效率。
实验结果与价值
- 分层识别性能提升：在 iNaturalist-Plant 和 iNaturalist-Animal 数据集上，TARA 不仅提升了最终细粒度类别的准确率，还显著改善了从“界”到“种”每一层级的识别精度。
- 新类泛化能力增强：在 TerraIncognita 数据集（包含大量稀有或未被描述的物种）上的测试表明，引入类别树先验后，模型能有效总结子类别共性以识别父节点特征，显著提升了对已知类别树之外新物种的识别准确率。
- 逻辑一致性验证：案例展示证明，相比 Qwen3-VL-2B 等基座模型，TARA 能更好地区分同层相似类别，并确保相邻层次预测结果符合生物学父子关系。