阿里发布Qwen-Audio-3.0-Realtime：实时语音大模型四项能力同步升级

事件概述

2026年7月15日，阿里巴巴发布实时语音交互对话模型Qwen-Audio-3.0-Realtime，在智商、Agent工具调用、共情对话和双工交互流畅度四项能力上同步升级。模型提供推理更强的Plus版本和速度更快的Flash版本，适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。今年5月，其Preview版本曾在Artificial Analysis榜单斩获两项冠军，超越GPT-Realtime-2。

核心能力升级

• 智商（推理能力）：针对日常对话和简单问答等低时延场景，模型可直接生成回复，实现毫秒级响应。在语音问答基准VoiceBench上，Plus版本标准和口语化prompt得分分别为92.5和90.5，仅下降2.0；在多轮音频对话基准AudioMultiChallenge中，Flash版本标准和口语化prompt得分分别为43.6和38.1，仅下降5.5。模型能有效应对真实口语的随意性。
• Agent工具调用：模型无需明确指令即可自行调用外部工具，调用结果自动融入对话记忆，支持多轮追问衔接。基于FunctionCall标准协议，可接入MCP、API、知识库。例如连续询问“附近有什么川菜馆”和“评分4.5以上的哪家最近”，模型能自动复用地图工具的上一次返回结果。
• 共情对话：模型能根据对话语境动态调整语气、节奏、音调和情感，支持辩论中的论点抓取与反驳、情感陪伴中的语调与副语言信号（笑声、叹息、犹豫等）回应。在S2S语音指令遵循公开基准VStyle上取得SOTA成绩。
• 双工交互流畅度：内置“多模态感知的双工控制”子模型，通过分析音频信号、语义内容和说话人声纹，实现边说边听的打断与插话能力。在嘈杂环境不被背景噪声误打断，在多人讨论中能锁定主对话对象，在多说话人切换时自然过渡。Preview版本曾在Artificial Analysis对话流畅度指标上以97.6%登顶。API预留audio_prompt字段，用户可上传音频样本锁定声纹。

技术框架

上述能力的提升源于On-Policy Distillation（在线策略蒸馏）框架。研究团队将文本大模型的完整推理能力蒸馏至语音模型：语音模型一边自生成回答，一边由文本大模型实时纠正。同时引入多教师蒸馏策略，包括口语多轮偏好教师、通用教师、Agentic教师和音频理解教师，确保模型在四条主线上的均衡能力。