我每天在 X 上存东西,然后几乎从不回头去看。几个月前我写了个小工具 bookmark-cli,每天把书签同步到本地数据库,方便搜写作灵感。库里现在躺着 12,309 条书签。
![]()
问题出在它只读文字。几年前这没什么,但这些年我存的东西里大约 9% 是视频。这个月更夸张:60 条里 45 条是视频,四分之三。也就是说,我存下的大部分内容,根本进不了我为自己造的那个工具,而我也从来不会重看它们。
我存它们,是因为它们让我着迷,也因为将来可能要从里面抄点思路——我在学分发。于是我把这活儿交给了夜班。
每天夜里,它翻出我存的、帖子内容与科技相关的视频,只留下 3 分钟及以内的,把每条变成一段可搜索的短笔记:视频讲什么、提到了哪些工具、给了哪些数字,再加一句逐字引用作为凭证。
干活的是两个开放模型:Whisper(small)负责把说的话转成文字;Gemma 4 E2B负责写笔记。视频完全没人说话时——我 72 条短科技视频里有 30 条属于这种——Gemma 改读屏幕上的四帧画面。Whisper 听错产品名时,Gemma 会去帖子里找正确拼写。
最好的点子都诞生于懒惰。我不想看那 97 个视频,现在不用看了。
慢而稳的那部分
我住在尼日利亚的哈科特港。电网(当地叫“light”)经常一停就是几个小时,而一台用 CPU 跑 AI 的笔记本掉电很快。所以夜班只在笔记本插着电时工作:一旦切到电池,它立刻停下、保存进度、等着;来电了再接着干。
这周它真刀真枪地这么干了三次,从没把电耗在视频上。有个限制:它只能分辨“插着电”和“用电池”,分不清电网来电和我的发电机。
它是怎么搭起来的
全部跑在我的笔记本上(Intel i5,没有模型能用的显卡,16 GB 内存),不往任何 AI 服务发数据。
- 代码挑视频:帖子带视频、文字里有科技词。yt-dlp 不下载就能读出时长,超过 3 分钟的直接跳过。
- yt-dlp 下载音频,Whisper small 在 CPU 上转写(中位数 23 秒一条),音频用完即删。
- 有语音时,Gemma 4 E2B(通过 Ollama)根据转写和帖子写笔记(中位数 16 秒)。
- 没语音时,代码从视频里取四帧,Gemma 读屏幕:画面内容、能认出的字、屏幕上的工具(中位数 38 秒)。
- 每条答案保存前都由代码检查,只重试一次,之后笔记标记为“未读取”。模型永远不会陷入循环。
检查环节花掉了大部分功夫。模型只能抄,不能编:引用必须逐字出现在转写里——Gemma 曾把“But there are...”写成“And there are some uniquely human things...”,差一个词就足以拒掉它,因为允许“差不多一样”也会放过一个被吞掉的“not”。工具名必须出现在帖子、转写或屏幕上;每个数字必须被说过或写过;名字修正只有在听到的词在转写里、正确的名字在帖子里、且两种拼写长得像时才生效。
最后这条规则来自一次翻车。我拿前 10 条笔记对照真实视频,10 条全标了正确。然后我逐条检查 Gemma 的名字修正,发现 8 条里有 4 条是错的。其中一条,说话人说的是“ChatGPT”,Whisper 写成“Chan GPT”,Gemma 因为帖子讲的是 Claude 就改成了“Claude”。那条就在我的 10 条里,所以真实成绩是 9/10。现在一次修正要求两种拼写至少 60% 的字母相同(“Olamar”和“Ollama”是 83%,“Chan GPT”和“Claude”是 31%)。
结果
把 Gemma 拿掉,56 条笔记里有 22 条根本不存在:那些视频没有语音,Whisper 无话可给,只有 Gemma 能读屏幕。
名字修正的作用比我期望的小,但确实存在。在笔记里搜“ollama”能搜到两个视频,而这两条的转写里 Whisper 写的是“Olamar”或“Olama”,直接搜转写什么也找不到。Gemma 也不是每条都抓得住:帖子写的是 DeepSeek,笔记里仍然是“DeepSeat”。
在这之前,我试过给 Gemma 派另一个活,结果也留在帖子里,因为它塑造了我后来的做法。我让它挑出哪些文字书签值得读,手工标了 100 条来测。在留出的 50 条上,用我近期帖子标题做简单关键词匹配,表现比 Gemma 还好(我挑的 8 条里,关键词前 5 命中 5 条,Gemma 命中 4 条);按点赞数排序一条都没找到。所以现在挑选用关键词,Gemma 干关键词干不了的事:读视频。
开放创新为什么重要
- 它跑在我有的东西上:一台 CPU 笔记本,没有显卡,没有付费 API。Whisper 和 Gemma 4 E2B 小到能整夜干活,而你睡着的时候,慢一点没关系。
- 它能离线工作。模型下载完之后,夜班只有取视频时才需要联网,它写的东西一个字节都不离开我的笔记本。
- 我能好好测它。开放权重跑在自己机器上,我可以把同一个模型跑上几百次,拿它和纯关键词对比,在它输掉的地方把它换掉。换成按次计费的付费 API,我不会这么干。
懒惰的回报
说个诚实的数字:56 条有笔记的视频加起来是 51 分钟。但我本来就不会去看它们,所以在此之前,这 51 分钟就是白白丢掉的。现在它们是 56 条可搜索的笔记。
代价是一次检查:我把 10 条样本视频看了一遍,大约 8 分钟,换来的是剩下的再也不用看。
这周我就在用自己的收藏跑它。周四和周五它跑了两天,扛过了上面那三次断电;从周六起,它每天 23:00 自己启动,趁我睡觉处理我当天存的东西。
我在笔记里搜“distribution”,什么也没搜到。我存的视频都是讲工具的,不是讲人怎么把它们卖出去的。这个发现也挺有用。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.