网易首页 > 网易号 > 正文 申请入驻

为妈妈做的家庭收据查找器,把多语言向量搜索和关键词搜索拼在一起

0
分享至

一张收据明明存下来了,却怎么也找不到。你记得那台洗衣机、那家店、坏掉的是什么,但未必记得文件名或发票号。这就是「Maa ka Drawer」想解决的问题——一个为妈妈做的小型家庭收据查找器,把开放的多语言向量模型和 Tiger Cloud PostgreSQL 的关键词与向量搜索拼在一起,让「找那张账单」变成一件更小的事。

作者明确交代了边界:这个原型的问题是他自己选的,还没有在妈妈身上实测过,所以不能声称帮她省了时间,也不能引用她没给过的反馈。这一点在整篇说明里被反复强调。


抽屉里长什么样

应用打开后是一个插画卡片组成的抽屉。鼠标悬停,卡片会抬起并倾斜;点击或轻触,收据就展开。搜索跑在已保存的文本上,原始 PDF 或照片可以一直挂在旁边。如果收据上没有写保修到期日,那个字段就保持空白——不猜、不填。

上传 JPG、PNG 或 PDF 后,系统会抽取文字并给出一个识别出的账单类型建议。一张合成的电费单被归为「Electricity bill → Services」,INR 400 的金额和原始图片都保留了下来。Tesseract.js 在应用服务器上读取英文和印地语文字;PDF.js 直接读取内嵌文本;扫描页的 OCR 也实现了,但只限于前三页,而且浏览器端的复测还没做。照片和内嵌文本的 PDF 通过了功能检查。模糊照片、手写体和陌生版式的账单,都可能失败。

说一句印地语,账单自己冒出来

「Speak receipt」功能可以录一段简短的印地语或印度英语备注,也可以直接传音频文件。本地的 Whisper-small 通过 ONNX 转换和 Transformers.js 完成转写。一个保守的解析器会给出物品建议和明确说出的金额。一段合成的印地语开发录音产出了「Electricity bill · ₹400」;不完美的转写文本会一直显示出来,供人手动修正。语音备注被标记为备注,而不是原始发票。录音是临时的,只有经过复核的文本才会被保存。

语音验证记录用的是两个 Murf 生成的开发用样本,不是留出集准确率测试,也不是他妈妈的反馈。转写和云端保存/重载是分开验证的。进一步的实时麦克风和嘈杂家庭环境测试仍待进行。Murf Isha 提供印度英语的演示旁白;Murf 不负责转写用户备注。

演示视频是一段带字幕的走查,旁白由 Murf Isha 的印度英语合成,画面是从真实交互中截取的截图拼起来的。它展示了印地语搜索、收据证据、一次无匹配查询、上传收据照片并 OCR、印地语语音转写、一份附带的 PDF、归档、撤销,以及重载后的持久化。它不是连续录屏。演示里的每一张收据都是虚构的。

真正有用的 AI 任务是检索

一句印地语查询,比如 कपड़े धोने वाली मशीन,能找到一张英文的洗衣机收据——哪怕查询里的词一个都没在收据里出现。这就是这个项目里 AI 真正干活的地方。

模型是 multilingual-e5-small,用的是 Xenova 的 ONNX 转换,跑在 Transformers.js 上。量化推理在应用服务器上执行。查询和收据分块会变成归一化的 384 维向量。

PostgreSQL 存源文本、元数据、全文检索向量和 pgvector 嵌入。精确的词和发票号很重要,所以关键词搜索仍然是系统的一部分。倒数排名融合把关键词排名和语义排名合到一起。一个相似度闸门会过滤掉弱匹配或含糊的语义匹配。这些分数不是概率。

界面用 React 和 Vite,Express 提供 API 和构建后的应用。PDF.js 在收据视图里渲染原件。Codex 帮助实现和测试了这个项目,生成的家电插画提供视觉线索——这些插画不是他妈妈物品的照片。

数据层与验证记录

Tiger Data 是实时的数据层。一个专用的免费 Tiger Cloud 服务把收据文本和 384 维嵌入存进 pgvector。一次实时验证跑通了保存、精确发票检索、向量搜索、重连持久化、归档排除和撤销。验证记录里包含时间戳和 pgvector 版本。最初的图库/PDF 走查和检索基准用的是本地 PGlite。新的 OCR 和语音录入截图是在应用连到 Tiger Cloud 时截取的。云端持久化是单独验证的。

免费服务提供的是私有的 Timescale 证书颁发机构。作者在首次连接时把该 CA 固定在本地,之后的连接保持链和主机名检查开启。这个首次使用即信任的步骤在 README 里有披露;它不是公开认证的证书链。

作者对六张虚构收据和 18 条查询跑了一次固定评估。完整的查询集和结果都是公开的。这是一个小型的、由构建者自己做的评估。一句印地语洗衣机短语被拒绝了,一句 Hinglish 的吊扇查询返回了净化器。这些失败限制了他把这个工具放心交给别人的程度。

全部 21 个自动化测试通过,覆盖检索、标识符、校验、源文件服务、归档/撤销、数据库持久化、真实图片 OCR 和保守的语音备注解析。桌面和手机布局都在浏览器里检查过。

开放模型让这个项目有一个可以运行、检查、替换和测试的检索组件,而不需要托管的生成式 API。权重下载之后,本地模式把收据数据和推理都留在笔记本上。经过验证的 Tiger Cloud 模式把收据文本和嵌入存到远程,而模型推理和原始附件留在应用服务器上。那个模式不是完全离线的。

这个模型只做一件有限的事:帮忙定位已有的证据。它不写关于保修范围的答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
死马当活马医!邓卓翔为武汉足球拼了,铁人一旦降级,徐正源铁定无缘国足主帅

死马当活马医!邓卓翔为武汉足球拼了,铁人一旦降级,徐正源铁定无缘国足主帅

刀锋体育
2026-10-05 08:00:14
一条2.4米长的丝带缝在衣服上,商家说剪了就不给退,消费者却觉得被当贼防,信任这东西,越来越像用胶带粘的纸片,一碰就裂

一条2.4米长的丝带缝在衣服上,商家说剪了就不给退,消费者却觉得被当贼防,信任这东西,越来越像用胶带粘的纸片,一碰就裂

网络易不易
2026-10-05 11:17:00
中国大满贯捷报:女单爆大冷,国乒劲敌0:3完败,陈熠晋级!

中国大满贯捷报:女单爆大冷,国乒劲敌0:3完败,陈熠晋级!

显微镜下的人性
2026-10-06 04:28:48
梅德维德夫误伤观众被判负,德约科维奇携33连胜冲击七冠王

梅德维德夫误伤观众被判负,德约科维奇携33连胜冲击七冠王

新京报
2026-10-05 22:40:09
某女网红认为恨日本人的人价值观有问题:该恨的是以前的帝国主义

某女网红认为恨日本人的人价值观有问题:该恨的是以前的帝国主义

律法刑道
2026-09-01 09:02:43
新市长的女儿在学校里被市教委主任的儿子打了,新市长赶往学校

新市长的女儿在学校里被市教委主任的儿子打了,新市长赶往学校

乔生桂
2025-09-19 16:37:03
新婚夜妻子为男闺蜜不让我碰,我搬走,五年后聚会她见我儿女愣住

新婚夜妻子为男闺蜜不让我碰,我搬走,五年后聚会她见我儿女愣住

艺鉴在线
2026-10-06 02:35:53
1-2!中网16强定13席:3大种子球员被淘汰,郑钦文第4轮对手出炉

1-2!中网16强定13席:3大种子球员被淘汰,郑钦文第4轮对手出炉

浩瀚的星河
2026-10-06 04:03:30
月球上遍地是土,却没人敢随便挖一锹,为什么?因为那层4米厚的月壤,压根不是普通泥土,而是太阳系40亿年演化留下的“黑匣子”

月球上遍地是土,却没人敢随便挖一锹,为什么?因为那层4米厚的月壤,压根不是普通泥土,而是太阳系40亿年演化留下的“黑匣子”

扶苏聊历史
2026-10-05 13:35:24
钱再多又有何用65岁刘德华的现状,给娱乐圈所有明星敲响警钟

钱再多又有何用65岁刘德华的现状,给娱乐圈所有明星敲响警钟

无人倾听无人倾听
2026-09-17 06:40:37
演员刘美含发文称,花18元买超前点播,看完才发现自己三分之二的戏份被剪光,并回应“作为演员,我是完全理解这些处理的”

演员刘美含发文称,花18元买超前点播,看完才发现自己三分之二的戏份被剪光,并回应“作为演员,我是完全理解这些处理的”

台州交通广播
2026-10-05 20:49:21
南投县最新民调,六成九支持蓝营“神力女超人”许淑华连任

南投县最新民调,六成九支持蓝营“神力女超人”许淑华连任

海峡导报社
2026-10-05 21:18:03
重磅!中国传出大好消息,马科斯肠子悔青都没用了!

重磅!中国传出大好消息,马科斯肠子悔青都没用了!

果妈聊娱乐
2026-10-05 14:17:52
两性关系:女人实话实说,男性过了75岁,对女人的最大需求有5点

两性关系:女人实话实说,男性过了75岁,对女人的最大需求有5点

荔子言
2026-09-27 17:04:17
国际乒联最新世界排名:王楚钦第四林诗栋第九,国乒男单无缘前三,松岛辉空升至第一;孙颖莎重回女单第一

国际乒联最新世界排名:王楚钦第四林诗栋第九,国乒男单无缘前三,松岛辉空升至第一;孙颖莎重回女单第一

先锋新闻
2026-10-05 15:17:26
深圳已有布局!刚刚,2026诺奖首奖揭晓:一束蓝光,让人类第一次按住了自己的大脑

深圳已有布局!刚刚,2026诺奖首奖揭晓:一束蓝光,让人类第一次按住了自己的大脑

深圳梦
2026-10-05 20:10:44
8天前曾3-0国足!新西兰1-2日本 全场仅3射 日本男足热身赛4战全胜

8天前曾3-0国足!新西兰1-2日本 全场仅3射 日本男足热身赛4战全胜

我爱英超
2026-10-05 20:32:37
大快人心!大闹航班辱骂空姐,嚣张乘客终于付出代价

大快人心!大闹航班辱骂空姐,嚣张乘客终于付出代价

小呫说故事
2026-10-05 23:57:37
47:44!巴西首轮投票结束,卢拉大选决战失败,中巴关系或迎变数

47:44!巴西首轮投票结束,卢拉大选决战失败,中巴关系或迎变数

观锐器
2026-10-05 20:43:47
缅北电诈女头目明珍珍供述:杀了14名中国人!杀人过程完整曝出,极其残忍

缅北电诈女头目明珍珍供述:杀了14名中国人!杀人过程完整曝出,极其残忍

胡侃社会百态
2026-10-05 17:53:38
2026-10-06 05:43:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
83文章数 103关注度
往期回顾 全部

科技要闻

2026年诺奖:三名科学家因光遗传学获奖

头条要闻

孙颖莎整顿乒乓球观赛礼仪:有闪光灯、呐喊等干扰

头条要闻

孙颖莎整顿乒乓球观赛礼仪:有闪光灯、呐喊等干扰

体育要闻

30天30队·热:扬尼斯、阿德巴约与克雷

娱乐要闻

蔡康永回应漏洞百出,太平轮旧事被扒

财经要闻

零跑声明切割!蔡康永两面人身份被抵制

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

家居
房产
教育
游戏
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

教育要闻

38 岁清华毕业生三战高考考上北大医学部,称「希望在热爱的领域做一点有意义的事」,如何看待他的选择?

《守望先锋》中国限定皮肤让一些老外不满 抽取受质疑

军事要闻

俄军连续4天轰炸基辅大桥

无障碍浏览 进入关怀版