豆包视频通话驱动火山引擎重构多模态传输底座：从WebSocket到自研MMT系统

事件概述

火山引擎为满足豆包视频通话等实时多模态交互需求，重构了从传输协议到服务端架构的全链路系统。该系统经历了WebSocket、QUIC、WebRTC三个阶段的技术迭代，最终自研出面向AI交互的多模态传输系统（MMT），并在豆包亿级用户场景中验证。

核心信息

• 业务增长：豆包视频通话能力推动DAU从千万级增至亿级，几乎未依赖主动投放。
• 技术演进路径：
  • WebSocket 初期用于语音交互，但弱网体验差、延迟抖动超1秒会导致模型回答失真。
  • QUIC 改善弱网恢复、多路复用和连接迁移，适配耳机、车载、机器人等复杂场景。
  • WebRTC 实现超低延迟（端到端比QUIC优化10%）、内置编解码和回声消除，支持自然打断。
  • 自研MMT系统：基于C/S架构，保留客户端采集/编码/回声消除，底层替换为QUIC库；传输层基于MoQ协议实现精细会话控制（判断音频/视频优先级、是否抽帧等）；服务侧网关引入MediaKit算法，实现实时处理策略调整。
• 当前状态：近期更新的豆包用户已开始使用新链路，系统进入真实C端高并发场景。
• 对外输出方式：火山引擎将MMT拆为实时传输网络、传输SDK、传输网关、处理网关等模块，支持三种合作模式：
  1. 一站式多模态交互Agent
  2. Agent前后处理能力
  3. 纯多模态传输与基础处理能力

行业观察

• OpenAI同期推出GPT-Live，将连续对话与深度推理解耦，本质也是构建独立的多模态信息交互层。
• 模型决定智能上限，传输决定体验下限。多模态传输正在从通信管道升级为Agent时代的人机交互技术底座，直接影响AI进入高频、长时、移动化场景的能力。