openJiuwen 发布多模态 Skill 范式 Skill-Omni，让 Agent 经验从文字升级为视觉

事件概述

openJiuwen 社区正式发布 Skill-Omni，这是业界最早工程化落地的多模态 Skill 范式，将 Agent 的经验从纯文本升级为可复用的多模态格式。用户只需提供网页链接或 B 站视频链接，系统即可自动提取关键截图、界面状态和操作脉络，生成 Agent 可直接读取并复用的多模态 Skill。该功能已在 JiuwenSwarm 中作为开箱即用的 meta skill 提供。

为什么需要多模态 Skill

当前主流 Skill 范式为纯文本，在图像编辑、GUI 自动化等视觉任务中存在明显短板：

• 图片编辑：文字描述（如“调整色调，使主体突出”）难以让 Agent 明确视觉标准，前后对比图提供更直观的评判依据。
• GUI 自动化：文字步骤（如“打开设置页”）无法消除界面元素位置、图标状态等不确定性，关键截图能减少 Agent 的文字猜测。
• 视频教程：大量操作技能以录屏或演示形式存在，纯文本总结会丢失视觉细节和操作流程。

Skill-Omni 的核心能力

1. 网页转多模态 Skill

• 智能去噪：过滤广告图、装饰图、无关 banner，仅保留截图、操作步骤图、前后对比图等有效视觉信息。
• 重组过滤：将文字步骤、关键图片和操作逻辑重新整理为多模态 Skill。

场景示例：从网页教程中提取照片欠曝光修复 Skill，保留调整前后的对比图，使 Agent 知道“修复到什么程度才算合适”。

2. 视频链接转多模态 Skill

• 从连续画面中筛选关键帧，识别操作节点，整理出“什么时候发生了什么变化”。

场景示例：将 B 站上关于 JiuwenSwarm 安装的教学视频，转化为包含终端输出、启动界面等关键帧的多模态 Skill。

Agent 如何高效读取多模态 Skill

为避免一次性加载大量图片撑爆上下文，JiuwenSwarm 采用按需读取机制：

• 运行时检测模型是否支持多模态输入，若不支持则不加载图片。
• 调用 Skill 时自动注入提示，引导 Agent 在需要时通过 read_file 读取图片。图片不会全部塞入上下文，而是按需进入执行流程。

适用场景

• 图像编辑与设计（Photoshop、ComfyUI 等）
• GUI 自动化（后台配置、桌面软件操作）
• 视频教程沉淀与复用
• 企业知识库升级（将带截图的 SOP 转为 Agent 可调用的知识资产）

未来方向

openJiuwen 计划进一步探索面向 Physical AI 的 Physical Skill，将物体抓取热力图等物理交互经验沉淀为 Agent 可复用的经验层。