北京
分享至
刚刚，一个名叫Skill-Omni的项目悄悄上线，却在开发者圈子炸开了锅。它做的事情很简单：给AI智能体的“技能包”装上眼睛，让原本只有文字描述的Skill，第一次能直接看懂网页截图和视频里的操作画面。
过去我们教AI掌握一项技能，比如“在后台导出用户报表”，得用大段文字把步骤写清楚。但很多界面操作、布局变化，光靠文字根本说不明白。Skill-Omni带来的变化，就是让技能从“纯文字说明书”升级成了“带图的视觉教程”——智能体可以直接从网页和视频里提取视觉知识，记住按钮长什么样、弹窗出现在哪里、流程动画怎么动，然后把这种视觉经验复用起来。
这种“多模态Skill范式”的工程实现思路，其实把技能定义拆成了两层：底层是可复用的视觉记忆，上层才是具体任务的执行逻辑。当智能体下次遇到类似界面时，不再需要从头摸索，直接调用已有的视觉记忆就能快速适配。
openJiuwen团队在发布时强调，这是业界最早把多模态Skill范式做到工程落地的实践之一。对普通用户来说，最直观的变化可能是：将来配置一个自动化流程，录一段操作视频就能让AI学会，而不用再埋头写一长串提示词。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
