一段家庭对话可以完整地留在录音里,却很难再被翻回去。第一次上班的故事、一件旧物为什么重要、一句还想再听一遍的话,都埋在那段音频里。要把它们找出来,得听、得打字、得核对、得归档。Jiasheng(家聲,意为“家的声音”)想压缩的,正是这一圈围绕“记住”的文书工作。
![]()
它的做法是:把一段简短的家庭对话,变成一个可随身携带的页面,页面里的每一段文字都能指回原始的声音。选一个话题,录制或导入音频,检查本地生成的转写稿,最后留下一个既能读、也能听的故事。
对话本身仍然由人来把关。可编辑的开场问题帮人起头,语音模型负责第一遍转写;随后由一位家庭成员核对文字,应用才把它们编排成故事。点开任意一段,就能听到它对应的原声,再把页面连同音频、照片、转写稿和元数据一起导出。
这个项目面向“慢而稳”的挑战,目标被刻意收得很小:一次对话,产出一件完成的纪念物。没有需要维持的连续打卡,也没有每日指标。被自动化掉的,是记忆周围的那堆手续。
转写之后,模型就退场了
技术栈并不复杂:界面用 Vue 和 TypeScript,Transformers.js 在浏览器的 Worker 里运行一个固定版本、量化过的 Whisper base 模型。Web Audio 在本地解码录音,Whisper 产出文字和时间戳,IndexedDB 存工作副本,JSZip 打包出可移植的归档,Cloudflare Pages 负责托管应用。
关键的边界划在转写之后:语言模型不写故事正文。确定性的代码把每一段经过核对的文字按原始顺序保留下来,标题、章节标签和下一个对话问题可以编辑。音频链接来自源时间戳,没有时间信息的文字就保持无时间状态。
这个决定来自测试。作者试过用小型 Qwen 模型生成开场问题和追问,结果这些输出能通过结构性检查,却依然空泛、别扭,或者建立在没有依据的假设上。相关功能最终从发布界面里移除,换成人工撰写的问题。
Whisper 本身也被反复审视。在一段 50 秒的合成普通话测试素材上,Whisper base 相比更小的模型纠正了好几个词,但最初漏掉了最后一句。在推理缓冲区里加一秒静音后,这句话被找了回来,而存储的音频没有改动。那次运行在 M1 Mac 上耗时约 56 秒;从公开的 Cloudflare 站点做一次全新浏览器运行约 63 秒,返回 17 个带时间戳的段落,包括最后那句。同音字错误依然存在——这些只是冒烟测试,不是准确率基准。
所以应用要求:故事编排之前必须核对转写稿;一旦编辑源文本,此前的核对状态即失效。自动化与浏览器检查覆盖时间戳校验、源文本保留、导出 HTML 转义、音频保存,以及从导出归档中播放。当前版本支持最长十分钟、最大 100 MB 的录音;普通话人名、日期、地方口音和台湾腔仍需仔细听辨。真实的家庭场景测试尚未完成。
录音留在自己的设备上
家庭录音里那些普通的细节,组合起来往往就变得私人。用本地运行的开源语音模型,转写不需要把录音发给推理服务,也不需要注册推理账号。应用不会为处理而上传录音、转写稿或照片。
这不等于首次访问就离线:模型下载需要网络连接,外部主机仍会收到普通的请求元数据,浏览器缓存也可能被清除。但一家人的对话是在自己的设备上处理的。导出的故事之后可以连同媒体文件一起打开,不再依赖这个应用。
开放的权重和工具链也让实现可被检查、可被替换。作者可以比较模型大小、查看失败案例、固定版本号、修改推理预处理。未来的贡献者可以换一个更好的语音模型,而不改变归档的归属。
演示页面里的样例《第一份薪水带回家的收音机》是一段虚构的家庭故事,配音由 ElevenLabs 通过 Creative Claw 用现成的 James Gao 音色生成,脚本和章节为演示而准备,音频位置使用服务商给出的词级时间。它展示的是阅读、播放和导出体验,不是真实的家庭访谈,也不是语音识别成功的实录。要试真正的模型,需在说话人同意的前提下导入一段简短的普通话录音,请求转写并核对结果;首次使用会下载约 100 MB 的模型和运行时文件,目前最充分的测试都在桌面浏览器里完成。
导出之后,把整个 ZIP 解压到一个文件夹,打开 story.html 即可。故事和它的媒体可以独立于托管应用保存。应用源码采用 MIT 许可,第三方模型、依赖和生成的演示音频各自保留其条款;仓库里还记录了模型评估、浏览器验证和演示来源,包括那些不成功的实验。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.