浙大联合腾讯优图提出AdaMARP：让AI学会“导演”沉浸式角色扮演

事件概述

浙江大学联合腾讯优图实验室提出AdaMARP（Adaptive Multi-Agent Interaction Framework for General Immersive Role-Playing），一种面向通用沉浸式角色扮演的自适应多智能体交互框架。该框架通过四通道消息格式和场景管理器，让AI不仅能对话，还能进行内心活动、动作执行和环境感知，并在复杂叙事中灵活切换场景、动态引入新角色。相关论文已被ACL 2026接收。

核心创新

四通道消息格式：Thought–Action–Environment–Speech

AdaMARP为每一轮交互定义四通道交织的消息格式，使一个完整回应可同时包含思考、动作、环境感知和言语，且顺序灵活交织。环境线索不再只是背景板，而是参与推理与叙事因果（例如探案中地毯上的蜡痕、煤气灯阴影等）。

自适应框架：三智能体 + 场景管理器的五种动作

AdaMARP将角色扮演建模为三个智能体协作：

• Actor模型：扮演所有非用户角色；
• User模型：代表用户方（可由LLM模拟或真人）；
• 场景管理器（Scene Manager）：负责高层调度，通过init_scene、pick_speaker、switch_scene、add_role、end五种离散动作驱动整场叙事，每次决策附带理由，可解释、可约束。

数据集与评估

AdaRPSet（训练Actor模型）

• AdaRPSet-Extracted：从Goodreads81本文学作品中提取连贯场景与多角色互动，转化为标准化格式。
• AdaRPSet-Synthesis：在20类主题下由LLM生成情节级轨迹，确保包含场景切换与角色引入。

AdaSMSet（训练场景管理器）

基于AdaRPSet-Synthesis，在每两段角色发言间插入pick_speaker动作，并生成自然语言理由，覆盖全部五类控制动作。

AdaptiveBench（评估框架）

面向轨迹级别，从五大维度评估Actor模型（角色一致性、环境基础、人际互动、叙事推进、指令遵循）和四大维度评估场景管理器（场景理解、发言纪律、角色引入判断、整体评价），实现可重复、可量化的比较。

值得关注

• AdaMARP已在探案叙事示例中得到验证：场景管理器指挥福尔摩斯从案发现场切换至邻居公寓、动态引入房东太太和雷斯垂德探长，各角色与环境线索（时钟、蜡痕等）形成连贯推理链。
• 该框架为需要情境感知与动态调度的复杂角色扮演场景（探案推理、冒险叙事等）提供了新的技术路径。