网易首页 > 网易号 > 正文 申请入驻

为什么我给编程智能体装上了嘴和耳朵?

0
分享至

一个编程智能体启动,读十二个文件,跑测试,改四个模块,然后甩给你一篇900词的长文,里面有表格、文件路径,还有对摘要的摘要。读到第三段,眼睛开始扫;读到第五段,人已经切到另一个标签页了。


这是智能体编程里一个没人愿意细说的问题:智能体变快了,人的注意力没变快。瓶颈不再是模型,而是盯着屏幕滚动的我。

于是我换了个做法:给智能体一副嗓子、一对耳朵。现在我把问题说出口,智能体去做事,回来只讲两句话——“测试通过,我改了两个文件里的重试逻辑。要看屏幕上的细节吗?”整套东西跑在自己的笔记本上,不花一分钱。它是在 Claude Code 里搭的,但没有一处是 Claude 专属的:任何能调用 MCP 工具的智能体都能装上同一套。

为什么是语音,为什么是现在

三个变化让我下了决心。

第一,智能体产出文字的速度已经超过人阅读的速度。一次任务生成的文本比一篇短博客还长,全读太累,略读又会漏掉关键的那一行。语音逼着智能体做总结——你没法把一张表格念出来,也没法把40行的代码差异念出来,它只能告诉你什么才真正重要,其余内容留在屏幕上。

第二,说话能让你留在流程里,又不必黏在屏幕前。语音模式下我可以往后靠、移开视线、想事情,智能体在轮次之间干活,用语音回报。这更像和一个坐在旁边的朋友结对,而不是盯着一份日志文件。

第三,本地语音终于免费了。一年前这还意味着云端语音接口、API 密钥和按分钟计费。今天,Whisper(语音转文字)和 Kokoro(文字转语音)这样的开放模型在笔记本上跑得很轻松,不用账号、不用密钥,音频不出本机。

思路:一层语音,接上任何智能体

关键在于语音不放在智能体内部,而是放在一个 MCP 服务器里——Claude Code 和越来越多编程智能体已经在说的标准插件协议。我用的服务器叫 VoiceMode,开源,MIT 许可。它对外只暴露一个主要工具 converse:说一句话,然后听,把用户说的话返回。任何能调用 MCP 工具的智能体,从此都能对话。

这正是重点:语音只建一次,插到你用的每个智能体上。下一个编程助手出现时,它也白得一副嗓子。

配置大约十分钟

我的机器是 16GB 内存的 Apple Silicon Mac,没什么特别的。先装 VoiceMode 和本地语音服务,再把地址固定到本机回环,避免它在发现密钥时回落到云端接口,然后用一行命令把它注册进 Claude Code,最后加一个 /talk 斜杠命令,提示词里写明开启语音循环、回复要短、我说“停”就停。打完 /talk,就能开口了。

换别的智能体也是同一套配方:跑起 Whisper 和 Kokoro 两个本地服务,把 VoiceMode 注册为该智能体的 MCP 服务器并指向 voicemode 可执行文件,在它要求时批准 converse 工具,再加一份可复用的提示词。MCP 配置放在哪,查各自智能体的文档——有的读一个全局文件,有的要求按智能体或按项目列出。

让它像对话,不像机器人

音频进进出出是简单部分,让它舒服需要调提示词。效果最大的几条规则:

  • 一到两句话,约25个词。智能体主动提出“要不要多说点”,而不是一次讲完。这一条就治好了长文轰炸。
  • 绝不朗读代码、路径和表格。念摘要,细节放屏幕。
  • 保留实时字幕。每轮之前打印“ 你:……”和“ Friday:……”,屏幕和耳朵对得上,语音识别听错时很有用。
  • 给一个人设。语音模式下我的智能体叫“Friday”,冷静、简洁、带点干。人设写进共享提示词,接上的每个智能体听起来都是同一个助手。
  • 像人一点。回应别老用同一句,连着听十一次“好问题”足以毁掉气氛。

一条不能跳过的安全规则

语音识别会听错,尤其是名字、数字和术语。“删掉测试分支”和“删掉最好的分支”只差一个音节。所以规则很简单:只读类问题,智能体直接回答;任何会改动或发送东西的操作——写文件、删除、git 提交和推送——智能体先用一句话复述它理解到的内容,等一句口头的“是”。永远不要让语音命令未经确认就执行动作,这一条才让语音真正可靠。

语音会更费 token 吗

我也好奇,于是从自己的会话日志里量了一下。16 次语音交互中,每轮约 350 个输出 token(口头回复、屏幕字幕和推理),未缓存输入 token 总共约 800 个,每次调用约 11 万缓存 token 只是对话上下文被重读,打字时完全一样。结论是:一次语音轮次和一次打字轮次成本相当。语音转文字和文字转语音在本地跑,免费;多出来的只有那行字幕,每轮大概 50 到 100 个 token。真要说,语音反而省 token,因为简短的口头回答替代了冗长的书面回答。需要说明,这只是单次会话,不是受控的打字对语音对比,当作强提示而非基准测试。

够快吗

大体够。智能体想完之后,语音衔接大约 2 秒:Whisper 转写约 0.3 秒,Kokoro 开始发声约 1.6 秒。真正的变量是模型思考多久,那部分你本来也要等。一个意外发现:Kokoro 在 CPU 上比在 Mac 的 GPU 上更快,首段音频 CPU 是 0.4 秒,GPU 是 2.2 秒,预热之后 GPU 也没追上来。本地文字转语音觉得慢,可以试试强制用 CPU。还有个教训:测语音合成时每次都要用新文本,重复文本会被缓存,我第一次测出的数字比真实情况好了 5 倍。

踩过的坑

  • 蓝牙耳机当麦克风会出杂音和机器人声。macOS 在开始收音时会把耳机切进“通话模式”。用笔记本麦克风输入,耳机只用来听。
  • 安装参数里带 --model small 在我这儿弄坏了 Whisper 的安装,单独用 voicemode service install whisper 装就好。
  • Python 版本不匹配。Kokoro 要 Python 3.10,机器默认版本更新的话,在 3.10 上重建它的虚拟环境。
  • 模型下载损坏。Kokoro 起不来就查模型文件大小,我那次少了 50MB。
  • 不是每个智能体都读全局 MCP 配置。语音工具不出现,就把服务器加到按智能体或按项目的配置里。
  • 隐私提醒:VoiceMode 的日志以明文保存你说的话,记得列进清理清单。

我没用哪些,为什么

定下来之前我看了一圈。Claude Code 自带的 /voice 适合听写,但只做输入,而且走云端转写,没有语音回复。其他语音 MCP 服务器要么几乎没人维护、只支持 macOS 且已停更,要么每个项目要装好几个 GB 的模型。云端语音工具有的实时字幕更漂亮,但会把音频送到云上,有的还单独计费。VoiceMode 是我找到的唯一一个完全本地、在积极维护、且跨每个项目和每个智能体都能用的选项。

AI 会让人变笨吗

“认知债务”这个词最近在流传,还有“认知投降”和“AI 脑疲劳”。担忧是真的,研究也开始跟上。Anthropic 的一项随机试验里,使用 AI 助手的初级开发者理解力测试得分比手写代码的低 17%。有意思的是用法:把整个任务丢给 AI 的人得分低于 40%,让 AI 解释的人得分高于 65%,和不使用 AI 的组持平甚至更好。研究者 Shaw 和 Nave 在“认知卸载”(把任务交出去但仍在思考)和“认知投降”(AI 的答案不经审视就成了你的答案)之间划了一条有用的线。波士顿咨询公司的研究者则用“AI 脑疲劳”形容追赶那些产出超过你吸收能力的工具所带来的精神宿醉。

我的看法是:那一大堵文字墙本身就是问题的一大部分。智能体甩给你 900 词,最省事的动作就是扫一眼、点点头、接受。那是被疲惫逼出来的投降。

语音本身修不好这件事。你照样可以像点“接受”一样懒地说“是”。但它从几个方向改变了默认值:你得把想要的东西说出口,把意图放进一句话里就是思考,不理解一件事很难把它讲清楚;短回答会引出追问,智能体说“我改了两个文件里的重试逻辑”,自然的反应是“为什么是两个”,一来一回把你拉进推理里而不是绕过去;要读的东西少了,过载就少了,大意用耳朵接,细节只在需要时打开屏幕;确认步骤逼你做决定,智能体复述它要做的事,你必须主动同意。

为了留在“卸载”这一侧,我养了几个习惯:提问前先说出自己的猜测(“我觉得是超时,查一下?”);每个任务至少问一次“为什么”;让智能体解释而不只是执行,尤其是在你还不熟的代码里;隔一段时间先自己解一遍,再用智能体核对。语音让这些习惯变得自然,因为它们本来就是你和一个真人说话的方式。

接下来会怎样

我不认为我们会永远读智能体的输出。随着智能体承担更长、更自主的任务,人的工作从读完所有内容,转向保持方向感:知道发生了什么、卡在哪、什么需要决策,同时思考仍然自己做。语音恰好擅长这个——短、当下、不必坐着盯屏幕就能跟上。细节留在屏幕上,等你要的时候再看;大意主动来到你耳边。

这套配置免费、本地、大约十分钟。如果你晚上用编程智能体做副业项目,试着跟它说一周话。我猜你不会想回去滚屏幕了。我接下来想试的是 NVIDIA 的 Parakeet 模型,让语音识别更快,并把语音服务挪到家用服务器上,让笔记本凉快点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同学聚会班花问我在干什么,我说在集团打杂,她把我赶去司机桌

同学聚会班花问我在干什么,我说在集团打杂,她把我赶去司机桌

罪案洞察者
2026-06-17 10:15:02
浙江省退役军人事务厅党组书记、厅长胡旭阳一行到访齐鲁军创基地

浙江省退役军人事务厅党组书记、厅长胡旭阳一行到访齐鲁军创基地

军创
2026-11-12 09:19:36
早田希娜终于说了实话:孙颖莎真正吓人的地方,压根不在技术上

早田希娜终于说了实话:孙颖莎真正吓人的地方,压根不在技术上

乒乓乐园
2026-11-12 02:38:25
黄仁勋太聪明了!自爆出轨、启动涉密调查,这场风波,远不止八卦!

黄仁勋太聪明了!自爆出轨、启动涉密调查,这场风波,远不止八卦!

乌娱子酱
2026-11-09 17:29:35
巴萨内讧炸锅!诺坎普夺冠功勋摊牌!和弗里克无法交流

巴萨内讧炸锅!诺坎普夺冠功勋摊牌!和弗里克无法交流

奶盖熊本熊
2026-11-12 09:14:02
伟伟道来 | 战争来到拐点,油价谨慎下行

伟伟道来 | 战争来到拐点,油价谨慎下行

经济观察报
2026-11-11 13:10:31
6-0横扫常冰玉,墨菲赛后点评一针见血,中国名将根本没准备好

6-0横扫常冰玉,墨菲赛后点评一针见血,中国名将根本没准备好

南海浪花
2026-11-12 11:20:25
为什么贸易顺差越高越该少加班?

为什么贸易顺差越高越该少加班?

小眼睛小世界
2026-11-12 11:23:17
无效留洋?U19国足旅欧双星低迷!英冠射手3次吐饼 头牌空门不传队友

无效留洋?U19国足旅欧双星低迷!英冠射手3次吐饼 头牌空门不传队友

我爱英超
2026-11-11 22:30:57
35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

烈史
2026-05-30 13:23:41
菲律宾总统最新涉华表态

菲律宾总统最新涉华表态

上观新闻
2026-11-11 19:56:02
金牌被夺待遇不变!1套公寓+总统接见 哈国:在为亚运竞走判罚上诉

金牌被夺待遇不变!1套公寓+总统接见 哈国:在为亚运竞走判罚上诉

劲爆体坛
2026-11-12 07:06:04
二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

回京历史梦
2026-11-10 17:49:16
中国已备好战争?俄防长撂话:10年内俄北必有一战,信号不简单!

中国已备好战争?俄防长撂话:10年内俄北必有一战,信号不简单!

月下守候
2026-11-09 16:46:23
终于知道为什么大家都说医者不自医了,网友:扣电池的那个笑死了

终于知道为什么大家都说医者不自医了,网友:扣电池的那个笑死了

夜深爱杂谈
2026-11-11 21:58:22
刚刚,特朗普再次遭遇暴击,全面内讧真正开始

刚刚,特朗普再次遭遇暴击,全面内讧真正开始

一个坏土豆
2026-11-11 22:14:13
开源情报:中国可能正在进行一场未经宣布的大规模演习

开源情报:中国可能正在进行一场未经宣布的大规模演习

瞩望云霄
2026-11-11 21:10:05
取消早读、禁考试、不排名:层层减负后,教育到底剩下什么?

取消早读、禁考试、不排名:层层减负后,教育到底剩下什么?

细说职场
2026-11-12 14:31:21
加盟76人后就被曝取关湖人!詹姆斯的八年紫金岁月再度引发争议

加盟76人后就被曝取关湖人!詹姆斯的八年紫金岁月再度引发争议

体坛八点半的那些事儿
2026-11-12 14:40:59
戏精编剧爆料女演员!

戏精编剧爆料女演员!

八卦疯叔
2026-11-08 10:56:17
2026-11-12 16:43:00
硅屿手记
硅屿手记
有态度网友ytd
268文章数 85关注度
往期回顾 全部

科技要闻

英伟达物色新掌门,谁敢接黄仁勋的班?

头条要闻

深红州密西西比"翻蓝" 2年前特朗普曾在此赢下23个点

头条要闻

深红州密西西比"翻蓝" 2年前特朗普曾在此赢下23个点

体育要闻

西部狂飙!湖刺勇集体暴走 连胜到何时?

娱乐要闻

北京知名大腕郝泊言去世,年仅39岁

财经要闻

黄仁勋再曝新婚外情,董事会准备罢免!

汽车要闻

座舱换大屏/增激光雷达 瑞虎9猎鹰700版限时价17.29万

态度原创

健康
房产
艺术
家居
公开课

情绪真能让健康人"伤心至死"?

房产要闻

十年长草!三亚这个豪宅盘,爆出新消息!

艺术要闻

15幅 欧洲画家的风景油画

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版