网易首页 > 网易号 > 正文 申请入驻

微软开源神级Skill,录一次屏就能教会AI干活

0
分享至

想象一下:当你教新同事做一个复杂操作时,会怎么说?

打开 A 网站 → 点 B 按钮 → 填 C 字段 → 提交。

但如果你要教 AI Agent 呢?

传统做法是写一个 Skill,把任务目标、执行步骤......所有细节写清楚。

而微软开源的新项目:Skill Recorder 则给出了另一种思路:

你亲自做一次,AI 看一遍,自己学会。


01 项目介绍

Skill Recorder 是微软开源的一个桌面工具。

核心能力:

录下一次你做任务的全过程,AI 自动提炼成可复用的技能(Skill)。

之后 AI Agent 看到类似任务就能自动执行。



02 项目亮点

1.屏幕录制:

按 ⌘⇧R(macOS)或 Ctrl+Shift+R(Windows)开始录屏,支持:

窗口跟踪:记录活跃应用、窗口切换。

浏览器 URL:macOS 下抓取当前页面地址。

屏幕视频:Chromium 录制,只保留画面有变化时的帧。

剪贴板预览:短文本复制内容用于关联步骤。

语音旁白(可选):用本地 Whisper 模型(99 种语言)实时转写。

2.AI 分析:

点击 Analyze,GitHub Copilot 会:

读取事件时间线,并查看截图。

读取你的语音转写文本。

最后提炼出一个整体意图 + 一组有序步骤列表。

用户可以随时修改这些步骤,直到读起来合适。

PS:首次分析会提示登录 GitHub Copilot(如果还没登录的话) 。

4.生成 Skill / Automation:

审查并编辑分析结果,满意后一键生成:

Skill:SKILL.md 格式,Agent 按需执行。

Automation:带触发器(定时 / 事件),Agent 自动运行。

6.优先原生工具:

优先使用 gh CLI、web_fetch 等 Agent 原生工具。

7.隐私设计:

录制、存储、帧提取、语音转写全在本地。

只有点击 Analyze(事件时间线 + 截图 + 语音转写文本)才上云。

PS:录制时不要输入密码、不要复制 Token 等机密信息,口述也不要 。

03 快速入门

1.macOS / Ubuntu:

2.Windows (PowerShell):

04 适用场景

1.重复性表单提交:

录一次,后续 AI Agent 看到类似表单自动执行。

2.定期报表生成:

录操作,然后生成 Automation,定时自动跑。

3.新人培训:

录老员工操作,提炼生成 Skill,让新人 Agent 照着做。

05 局限

1.需要 GitHub Copilot 订阅 。

2.Analyze 时数据上云,对高度敏感场景需谨慎 。

3.复杂决策操作可能不准,仍需人工审核 。

06 结语

如果你在用 AI Agent 做重复性任务,不妨试试。

我们下期再见!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“都能看见底裤”,女孩穿鲜红连衣裙考教资,网友:真是个神人

“都能看见底裤”,女孩穿鲜红连衣裙考教资,网友:真是个神人

泽泽先生
2026-08-13 19:27:51
终于意识到问题的严重性了!日媒表示,中国似乎不与高市早苗政府打交道

终于意识到问题的严重性了!日媒表示,中国似乎不与高市早苗政府打交道

林子说事
2026-08-13 09:46:36
菲军方警告中国!只要中方敢出手,菲律宾就直接开战,后果自负

菲军方警告中国!只要中方敢出手,菲律宾就直接开战,后果自负

掌秋看世界
2026-06-24 17:45:05
北伐时期,吴佩孚如何从“最有可能统一中国的人”一步步被拖垮的

北伐时期,吴佩孚如何从“最有可能统一中国的人”一步步被拖垮的

老媹古装影视解说
2026-08-06 21:46:09
穆里尼奥封神补强!苦等两年,皇马找到莫德里奇完美接班人

穆里尼奥封神补强!苦等两年,皇马找到莫德里奇完美接班人

澜归序
2026-08-14 08:05:27
以军把枪口对准中国记者 但挡不住真相传遍世界

以军把枪口对准中国记者 但挡不住真相传遍世界

看看新闻Knews
2026-08-09 23:56:19
2026年,企退人员的养老金重算补发,哪些人每月能涨200元呢?

2026年,企退人员的养老金重算补发,哪些人每月能涨200元呢?

碎月说
2026-08-14 11:37:08
弹劾案迎来反转,马科斯要把莎拉送进监狱,杜特尔特家族启用后手

弹劾案迎来反转,马科斯要把莎拉送进监狱,杜特尔特家族启用后手

陌冷紫a
2026-08-13 16:20:59
19岁库尔蒂斯两破女子仰泳世界纪录,成首位黑人长池纪录保持者

19岁库尔蒂斯两破女子仰泳世界纪录,成首位黑人长池纪录保持者

懂球帝
2026-08-14 15:35:36
央视主持人又换血!两大新面孔亮相,背景被挖,董卿这下能放心了

央视主持人又换血!两大新面孔亮相,背景被挖,董卿这下能放心了

萧嚉影视解说
2026-08-14 11:42:04
杨元庆:联想正成为全球AI基础设施领域领导者 今年营收将破1000亿美元

杨元庆:联想正成为全球AI基础设施领域领导者 今年营收将破1000亿美元

快科技
2026-08-13 16:51:10
李梦终于发声了

李梦终于发声了

叒女紫121
2026-08-14 14:27:17
一个扎心的现象:越是分房睡、财务AA、互不干涉的夫妻,感情越凉

一个扎心的现象:越是分房睡、财务AA、互不干涉的夫妻,感情越凉

富书
2026-08-14 11:20:12
陈妤颉是全世界最快17岁女孩,20岁以下黑人飞人都没有谁敢说稳赢她

陈妤颉是全世界最快17岁女孩,20岁以下黑人飞人都没有谁敢说稳赢她

杨华评论
2026-08-14 17:08:43
高级感碎一地!百花奖颁奖典礼上,引导人员挂着大号姓名牌,引发争议

高级感碎一地!百花奖颁奖典礼上,引导人员挂着大号姓名牌,引发争议

火山詩话
2026-08-12 15:43:13
高速限速140km/h试点:省7分钟,但你的车和钱包扛得住吗?

高速限速140km/h试点:省7分钟,但你的车和钱包扛得住吗?

匹夫来搞笑
2026-08-13 05:45:17
印度精英层达成统一:要想成为世界大国,必须先除掉身旁一个障碍

印度精英层达成统一:要想成为世界大国,必须先除掉身旁一个障碍

麓谷隐士
2026-08-14 06:25:06
73岁赵雅芝高强度工作引发争议!5天飞了3个地方,接了4个商演,网友:她家到底是多缺钱呀

73岁赵雅芝高强度工作引发争议!5天飞了3个地方,接了4个商演,网友:她家到底是多缺钱呀

火山詩话
2026-08-12 16:26:15
哈登重返休斯顿?美媒模拟三方交易:火箭送KD签换登哥 骑士组全新四巨

哈登重返休斯顿?美媒模拟三方交易:火箭送KD签换登哥 骑士组全新四巨

颜小白的篮球梦
2026-08-14 13:40:09
你有过肉体最痛的经历吗?网友:耳朵掉了没打麻药,医生直接缝合

你有过肉体最痛的经历吗?网友:耳朵掉了没打麻药,医生直接缝合

解读热点事件
2026-07-31 00:05:09
2026-08-14 18:59:00
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
752文章数 9213关注度
往期回顾 全部

科技要闻

苹果为中国训练自有大模型,阿里提供支持

头条要闻

老人被撞身亡肇事车仅有交强险 司机当庭称没能力赔偿

头条要闻

老人被撞身亡肇事车仅有交强险 司机当庭称没能力赔偿

体育要闻

离开雷霆后,威少再也没成为威少

娱乐要闻

郭麒麟瘦到全网认不出,为新剧塑形

财经要闻

便利蜂加盟遭立案:“0元加盟”生意被查

汽车要闻

长安启源Q06-吉克隽逸

态度原创

旅游
教育
亲子
数码
公开课

旅游要闻

不住酒店住床车,“床车旅行”从小众到潮流,酒店开始慌了

教育要闻

2026高考最让人难以置信的一幕:浙江668高分考生竟滑档?太吓人

亲子要闻

宝蓝准备了很多音乐玩具,在家里和家人办起了音乐会,好听又好玩

数码要闻

周末聚会怎么玩才尽兴?哈趣H3 Ultra Max把客厅变成快乐主场

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版