智谱GLM-Omni论文曝光：统一多模态模型面临“会画不会说”瓶颈

事件概述

清华大学与智谱AI（Zhipu AI）联合完成了一项关于多模态大模型的研究，其中涉及的内部模型 GLM-Omni 首次通过学术论文公开技术细节。尽管社交媒体将该模型与传闻中的 GLM-5.5 联系起来，但论文主要聚焦于统一视觉理解与图像生成架构的技术探索。研究核心在于揭示当前统一多模态模型普遍存在的一个痛点：模型能够通过训练掌握视觉属性并生成图像，却难以将这些视觉知识转化为语言回答。

核心信息

1. “会画不会说”的现象

研究人员构建了一个名为 MagicWorld 的受控虚构环境，包含从未存在的实体（如虚构球队球衣），以排除模型预训练记忆的影响。实验发现，统一多模态模型在视觉生成和文字问答之间存在巨大差距：

• GLM-Omni：图像生成正确率为 54.00%，而纯文字问答正确率仅为 14.57%。
• SenseNova-U1：在数字任务中，视觉正确率高达 88%，但文字回答正确率为 0%。
• BAGEL：视觉正确率 31.43%，文字回答 8.86%。

这表明，当图像理解和生成共享同一套参数时，模型在学习生成物体时接触的视觉信息，并未有效转化为可被语言推理调用的知识。

2. 技术瓶颈分析

• 路径分离：图像生成目标是通过像素重建来强化实体与属性的关联，而文字问答需要沿语言输出路径找到对应属性并转换为字符。目前两种能力虽在同一架构内，但路径尚未完全打通。
• 属性差异：形状、大小等有分类规则的属性较易迁移；而球衣号码、书籍标题等需要精确字符序列的任务，仅靠少量文字示例无法让模型学会读取。

3. 解决方案与实验结果

针对上述问题，研究团队提出了两种改进策略：

• 图文交错对齐（Interleaved Image–Text Alignment）：

  • 将图像生成和文字回答放入同一条训练序列，使图像重建目标和语言监督围绕同一实体属性发挥作用。
  • 结果：GLM-Omni 的平均文字正确率从 12.57% 提升至 26.86%。消融实验证明，图像重建的监督信号确实对语言调用产生了积极影响，而非仅仅增加文字内容。

• 视觉思维链（Visual Chain-of-Thought, Visual CoT）：

  • 允许模型在推理过程中先生成目标图像，再从图像中识别属性，最后回答文字问题。即“先画图，再读图，后作答”。
  • 结果：GLM-Omni 的平均正确率进一步升至 41.14%。在数字任务中，三种模型的直接回答正确率原为 0%，使用 Visual CoT 后分别达到 4%、36% 和 20%。
  • 局限：该方法增加了计算成本，且若图像生成出错会导致答案偏差。对于复杂字符（如书籍标题），效果依然有限。

值得关注

• 统一架构的挑战：研究指出，未来的多模态模型不仅要提升单任务性能，更需解决不同任务间知识的互通问题。如何让模型在统一架构下实现视觉知识与语言逻辑的有效衔接，是下一阶段的关键难题。
• GLM-Omni 的定位：虽然论文未明确说明 GLM-Omni 与后续商业版本（如 GLM-5.5）的具体对应关系，但其展示的技术底座和实验结果为评估智谱在多模态统一方向上的进展提供了实证依据。