豆包手机助手发布消费者版，支持屏幕理解与SAEP协议，首款新机9月16日发售

事件概述

2026年9月14日，豆包手机助手正式推出面向消费者的版本。相较于去年年底的技术预览版，此次更新更侧重于系统的稳定性、日常可用性以及在真实场景中的任务执行能力。首个搭载该版本的硬件为努比亚 NaviX Ultra，定于9月16日发售。

核心功能与技术亮点

1. 多模态交互与唤醒优化

• 唤醒方式：支持语音唤醒和专属AI键唤醒。其中，AI键具备指纹鉴权功能，验证身份后可免密直接调用助手执行任务。
• 环境适应：针对远场、内部噪音及嘈杂环境下的语音识别进行了专项优化。

2. 屏幕上下文理解（Screen Context）

• 实时画面分析：用户无需截图或切换应用，助手即可结合当前屏幕内容进行问答和任务处理。
• 案例演示：在相机界面中，用户可通过语音指令“根据这个装修风格，帮我选一个一米二以内、价格不超过一千元的柜子”，助手能即时解析画面信息并在电商平台匹配推荐商品。

3. 本地记忆与数据检索

• 个人Context管理：提供本地数据搜索工具，可检索相册、短信、便签等私有信息。例如，用户询问“港澳通行证到期时间”，助手可直接从本地记录中提取答案。
• 办公场景升级：接入飞书妙记能力，支持对录音内容进行深度追问（如“昨天访谈中提到的产品建议”）。
• 手动记忆保存：支持通过语音输入、三指上滑或组合键（AI键+音量键）保存当前屏幕内容，形成可本地检索的记忆片段。

4. 任务执行与SAEP协议

• 自动化操作：展示出行场景下的全自动任务执行，如语音指令“帮我叫一辆去公司的车”，助手自动确认地址、选择车型并下单。
• SAEP协议发布：为解决图形界面智能体（GUI Agent）的权限问题，推出屏幕自动化操作声明协议（SAEP, Screen Automation Execution Protocol）。
  • 机制：允许第三方应用自主声明其允许或拒绝AI助手进行屏幕自动化操作的边界。
  • 尊重开发者意愿：对于明确拒绝相关操作的应用，豆包手机助手将不进行自动化干预。
  • 公示期：同步启动为期30天的规则公示。

5. 隐私与安全体系

• 数据原则：遵循“合理必要”与“用户自主控制”的数据收集和处理原则。
• Agent防护：建立分层、分级的Agent防护体系，限制可操作范围。
• 透明度：官方已发布完整的隐私安全白皮书供用户查阅。

行业意义

豆包手机助手的发布标志着手机AI助手从单纯的“问答机器人”向“场景化任务执行者”转变。通过SAEP协议的推出，字节跳动试图在提升AI操作能力的同时，解决第三方应用生态的安全与权限冲突问题，构建开放且规范的AI手机应用生态。