OpenAI Codex 推出 Record & Replay:录制你的操作,让 AI 学会自动化
2026/06/19 21:28阅读量 2
OpenAI Codex 新增 Record & Replay 功能,允许用户在 Mac 上录制一套操作流程,AI 将其打包为可复用的 skill,下次可自动执行类似任务。该功能依赖 Computer Use 底层能力,支持报销、上传视频等重复性工作流,标志着 AI 从依赖 API 转向直接学习人类操作图形界面。
事件概述
OpenAI 在 Codex 中推出 Record & Replay 功能,用户可录制在 Mac 上的操作流程,Codex 学习后生成可复用的 skill(技能),下次只需告诉 AI 输入参数即可自动执行。该功能瞄准报销、订停车位、发视频等重复且含隐性规则的任务。
核心信息
- 操作步骤:在 Codex 应用中安装 Record & Replay 插件 → 授予录制权限 → 在 Mac 上正常完成一次任务(如上传 YouTube 视频)→ 停止录制 → Codex 自动生成 skill 说明文档(含适用场景、输入、步骤、验证方法)→ 下次新对话中调用 skill 并输入具体值即可复现。
- 依赖条件:目前仅支持 macOS,且需先开启 Computer Use 功能;首发不覆盖欧盟、英国、瑞士。
- 技术原理:Record & Replay 录制的操作通过 Codex 的 Computer Use 能力复现——AI 观察并操作图形界面(窗口、菜单、鼠标、键盘),模拟人类使用软件。此外还有 Chrome 扩展(接管已登录浏览器执行 Gmail 等任务)和内置浏览器(用于开发调试)两种交互方式。
- 应用示例:演示中 Codex 学习上传 YouTube 视频的流程(选文件、填标题、设隐私等),并能处理环境缺失等错误,自动适配。
值得关注
过去自动化依赖 API,软件需主动开放接口;现在 AI 直接学习人类操作界面,无需 API 即可操作任意软件。这标志着操作系统角色转变——人不再是连接软件间的“中间层”,AI 开始承担跨应用执行任务。未来用户从“如何使用工具”转向“如何教会 AI 使用工具”,人成为软件能力的训练者。
