网易首页 > 网易号 > 正文 申请入驻

数据不敢上云,他把AI塞进本地:搜索5毫秒

0
分享至

做AI工具的人都在往云上跑,OpenSearch反着来:所有推理、索引、搜索全在本地跑,一个字节都不出机器。这个项目在Hacktoberfest开源AI挑战赛第二周提交,定位是给自由职业者、开发者、法律顾问、研究员和小型代理机构创始人用的桌面智能助手。


它要解决的是两个具体麻烦。一是隐私与合规墙:这些人手里有客户的代码库、保密合同、财务表格和专有笔记,受保密协议和数据驻留法规约束,不能上传到OpenAI或Anthropic这类第三方云API。二是上下文碎片化:架构决策、终端命令、凭证散落在文件夹、markdown笔记和剪贴板历史里,找不回来。

本地跑,靠什么撑住

核心难点是让每个功能都在用户硬件上完成,不向外部服务器发数据。项目没有用远程向量数据库,而是把本地文档切块,用@huggingface/transformers生成384维稠密向量,存进一个轻量本地索引(userData/index.json)。查询时做余弦相似度加关键词评分的混合检索,官方给出的数字是5毫秒以内。

嵌入模型用的是all-MiniLM-L6-v2,通过ONNX Runtime Web在本地运行。本地大模型引擎接的是Ollama,支持SmolLM2-360M、Llama 3.2-1B、Qwen 2.5这类开放权重模型。文档和PDF解析用pdf-parse,可以现场抽取评分标准和PDF简报。

技术栈是Electron 34加TypeScript和electron-vite,前端React 19,跑在macOS、Linux、Windows三个平台上,快捷键Alt + Shift + Space唤起。

记忆引擎怎么落地

决策与任务提取走双模式。一条是确定性回退解析器,用正则和模式分析抓显式的TODO、FIXME、截止日期格式和决策记录;另一条是可选的本地LLM管线,把复杂的自然语言笔记结构化成带置信度评分和原文摘录核验的可执行任务。

规划器把PDF、Markdown和文本文件读进来,按需求、实现、验证三个阶段排出交付物,绑定到可交互的月历和里程碑时间线上,一键打勾完成并同步到本地存储,另配一个常驻草稿本记会议和评分标准笔记。

剪贴板记忆会持续监控复制内容,但内置熵值和模式扫描器,在保存前自动识别并跳过敏感令牌,包括Stripe密钥、AWS访问ID、RSA私钥和连接字符串。

每天早上还会生成一份项目简报,带速度评分、意图设定和本地文本转语音朗读。

谁掏钱

商业模式分两层:开源核心应用免费;Pro档29美元/席位/月,或99美元永久授权,解锁自定义离线模型包、自动化客户审计报告和加密多设备同步。自由职业者可以把它作为客户数据合规的正当业务支出报销。

支撑这套定价的逻辑是成本结构。云AI API按token计费,费用随文档规模上涨,一个要索引几百页PDF和代码仓库的自由职业者,云成本很快变得难以承受;本地开源模型在现有笔记本的CPU和GPU上跑,不产生这部分开销。另一层是韧性:飞机上、偏远地点、气隙企业防火墙后面,搜索和智能功能都不中断。

项目方的说法是,用开放权重模型意味着权重、推理和数据都归自己,没有公司能改服务条款、拿专有代码训练或撤销API访问。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
幸亏中国没中标!14年泰国高铁选择让日本建,建成后泰国悲痛欲绝

幸亏中国没中标!14年泰国高铁选择让日本建,建成后泰国悲痛欲绝

点燃好奇心
2026-10-19 18:14:23
美股存储芯片股盘前走低,SK海力士跌4%,美光科技、闪迪跌超2%

美股存储芯片股盘前走低,SK海力士跌4%,美光科技、闪迪跌超2%

每日经济新闻
2026-10-20 16:09:07
为何日本变得如此嚣张?因为一旦中日爆发冲突,日本就赚到了

为何日本变得如此嚣张?因为一旦中日爆发冲突,日本就赚到了

前行之路
2026-10-19 18:51:45
林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

兴趣知识
2026-07-04 01:34:41
这个江西男子居然一个月就花了892万:打赏主播就消费了718万!

这个江西男子居然一个月就花了892万:打赏主播就消费了718万!

民生故事会
2026-10-21 00:01:21
商务部答中经报:让中小微企业、个体工商户享受科技兴商的发展红利

商务部答中经报:让中小微企业、个体工商户享受科技兴商的发展红利

中国经营报
2026-10-20 08:49:30
美媒评23届7笔亿元提前续约:文班成唯一A+ 阿门2.08亿B-波杰垫底

美媒评23届7笔亿元提前续约:文班成唯一A+ 阿门2.08亿B-波杰垫底

锅子篮球
2026-10-20 22:03:27
男子捡到3.8万现金 写失物招领时电话故意空了4位

男子捡到3.8万现金 写失物招领时电话故意空了4位

闪电新闻
2026-10-20 19:51:55
刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

静若梨花
2026-08-29 10:42:55
班主任真话:学习好、后劲足的孩子,都来自这三种家庭

班主任真话:学习好、后劲足的孩子,都来自这三种家庭

手工制作阿爱
2026-10-21 00:39:33
美国:火电厂投资首超中国!中国:忘了告你,我今年玩新能源电厂

美国:火电厂投资首超中国!中国:忘了告你,我今年玩新能源电厂

乌克兰小静
2026-10-15 07:59:37
月赚1335亿!不是中国离不开世界,是世界离不开中国制造!

月赚1335亿!不是中国离不开世界,是世界离不开中国制造!

王二哥老搞笑
2026-10-21 01:47:48
不扒不知道,一扒太意外!退隐乒坛的刘国梁,私下壕的让人不敢想

不扒不知道,一扒太意外!退隐乒坛的刘国梁,私下壕的让人不敢想

贵州小娟
2026-10-20 19:51:21
孩子突然说奇怪的话一定不要忽视!看完网友分享,真不能不当回事

孩子突然说奇怪的话一定不要忽视!看完网友分享,真不能不当回事

夜深爱杂谈
2026-08-27 21:57:06
送走孙东海,熬过鄢颇,在徐佳宁爆雷前离婚 李小冉的体面全是自

送走孙东海,熬过鄢颇,在徐佳宁爆雷前离婚 李小冉的体面全是自

莹莹的历史说
2026-10-21 01:55:07
南京同曦宙光不敌广州智都集团

南京同曦宙光不敌广州智都集团

南京同曦大圣
2026-10-21 00:41:39
上海一居民准备晒床铺,掀开床垫惊现一条蛇!当事人:今天不打开,还不知道要跟它同床多久

上海一居民准备晒床铺,掀开床垫惊现一条蛇!当事人:今天不打开,还不知道要跟它同床多久

环球网资讯
2026-10-20 15:02:59
我考了四年公务员,终于承认了一个残酷的现实:我永远考不上

我考了四年公务员,终于承认了一个残酷的现实:我永远考不上

军闻新大门
2026-10-18 23:46:34
勇士队格林:希望在勇士退役,但我毕竟不是库里,没有库里的优待

勇士队格林:希望在勇士退役,但我毕竟不是库里,没有库里的优待

好火子
2026-10-21 02:27:11
女排名将孙晋芳:在美国治病,换血度日,与婆婆情同母女惹人羡慕

女排名将孙晋芳:在美国治病,换血度日,与婆婆情同母女惹人羡慕

丁隗解说
2026-10-19 21:43:39
2026-10-21 03:43:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
211文章数 98关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

艺术
健康
教育
本地
数码

艺术要闻

谁敢信?63岁大爷的油画竟被选进美院教材,质感强到像要溢出屏幕!

痘痘能根治吗?皮肤科医生说实话

教育要闻

悲哀!16岁男孩沉迷游戏,父亲怒摔手机,儿子多日拒上学,父母花8999元重买手机,才换回孩子上学

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

数码要闻

Mac版Perplexity Computer新增端侧模式,要求36GB统一内存

无障碍浏览 进入关怀版