网易首页 > 网易号 > 正文 申请入驻

我们是如何阻止本地LLM在900张表上发明JOIN的?

0
分享至

去年,我们开始在公司内部搭建一个文本到SQL的助手。目标很朴实:有人在内部用俄语问一句“列出未使用的存储卷”或者“这个系统每个月烧多少钱”,助手自动找到数据、写出SQL、执行、返回答案。仓库是ClickHouse,接近900张表,整个链路跑在本地网络里——问题、schema、数据都不出墙。

一开始我们也走了最直觉的路线:把仓库的schema一股脑塞进提示词,让LLM自己摸索。Demo跑起来顺滑得不行,可一上真实仓库,崩盘几乎是分秒的事。两个致命的卡点冒了出来:模型选错表,这还算轻的;更要命的是,就算它偏偏撞上了正确的表,也完全不知道该怎么安全地把它们连起来。


第二种出错方式的破坏力大得多。模型会像个在黑暗仓库里乱撞的新人:先DESCRIBE一张表,再SELECT另一张,换一个相邻的列再试一次,改个WHERE条件又跑一轮——为回答一个问题,它能用几十个差不多的查询把ClickHouse揍一顿,直到超时。好消息是我们不用给云端付token账单,因为模型就是本地的;坏消息是代价全变成了延迟、被占用的GPU时间和毫无意义的数据库负载。这个教训几乎是用焊枪烙在我们脑子里的:“我需要哪些表?”和“我该怎么连它们?”是两种完全不同的知识,绝对不能把它们揉在一坨巨型提示里。

从那以后,我们把管线拆开,下面这几个要点,就是让本地LLM停止“发明”JOIN的关键。

一、用Markdown文件管理schema知识,告别一锅粥
巨型提示很难维护、审查、比对。我们也不想自创一套配置语言自虐,于是选了最朴素的方案:每个业务领域一个Markdown文件。文件里写着领域标识、俄语和英语的关键词、示例问题,让后续的检索和匹配有据可循。这样添加、修正一个领域的知识,就像改文档一样省心。

二、表检索:向量搜索+pg_trgm,再加一口RRF
找对表不能只靠语义相似度,我们混合了两路信号:一路是向量搜索(bge-m3嵌入),捕捉提问和表描述之间的语义关联;另一路是pg_trgm——Postgres的三元组模糊匹配插件,把俄语关键词、表名、列名的硬匹配兜住。两路分数用倒数排名融合(Reciprocal Rank Fusion)捏在一起,既不怕同义词跑偏,也不怕精确术语对不上。

三、建一张“风险加权连接图”,让模型只走安全通道
即便召回候选表,

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人在干坏事的时候是最不嫌累的丨囧图集

人在干坏事的时候是最不嫌累的丨囧图集

采采
2026-07-27 17:41:58
公布了!76人还不如掘金!格林你真跟詹姆斯来啊!

公布了!76人还不如掘金!格林你真跟詹姆斯来啊!

柚子说球
2026-07-27 12:47:03
崔泰源:“恋爱脑”财阀,为情人和总统千金离婚,要付9440亿韩元

崔泰源:“恋爱脑”财阀,为情人和总统千金离婚,要付9440亿韩元

毒舌小红帽
2026-07-27 19:12:48
美国强硬鹰派组团访华,发现中方不热情,抱怨中国对他们太不公平

美国强硬鹰派组团访华,发现中方不热情,抱怨中国对他们太不公平

开车要双手
2026-07-28 10:32:16
过年堂妹送了我妈5斤鸡蛋,不值20块钱,我却偷塞堂妹包里3000元

过年堂妹送了我妈5斤鸡蛋,不值20块钱,我却偷塞堂妹包里3000元

秀秀情感课堂
2026-07-27 13:55:03
华盛顿赛男单首轮,商竣程复出首秀1-2不敌36岁前“亚洲一哥”锦织圭,后者本赛季结束就将退役

华盛顿赛男单首轮,商竣程复出首秀1-2不敌36岁前“亚洲一哥”锦织圭,后者本赛季结束就将退役

极目新闻
2026-07-28 09:40:34
人口告别世界第一?催生“二孩”无效后,国家终于向住房出手了!

人口告别世界第一?催生“二孩”无效后,国家终于向住房出手了!

混沌录
2026-05-30 23:41:14
日本女老师教学「圆周率」太强大爆红,网友:想认真上数学课了

日本女老师教学「圆周率」太强大爆红,网友:想认真上数学课了

日本物语
2026-07-26 20:35:44
反转了!饶毅发声:为王虹申请法国深造,撰写推荐信有三位老师,当时她的成绩中游

反转了!饶毅发声:为王虹申请法国深造,撰写推荐信有三位老师,当时她的成绩中游

火山詩话
2026-07-28 12:56:20
梦三全员退役坐看台,为什么梅西依旧能打?

梦三全员退役坐看台,为什么梅西依旧能打?

晚雾空青
2026-07-27 01:10:44
在华业绩没好转,LV母公司首次回应与茉莉奶白诉讼:不止在中国,在全球均定期处理商标侵权,知识产权是公司绝对核心资产

在华业绩没好转,LV母公司首次回应与茉莉奶白诉讼:不止在中国,在全球均定期处理商标侵权,知识产权是公司绝对核心资产

每日经济新闻
2026-07-28 09:06:08
刚从重庆回来,毫不客气说,重庆就是全国城市格局的天花板!

刚从重庆回来,毫不客气说,重庆就是全国城市格局的天花板!

健身狂人
2026-07-28 10:51:58
“我还是建议出国!”邓煜获奖前的采访回答,被北大选择性删减了

“我还是建议出国!”邓煜获奖前的采访回答,被北大选择性删减了

世界圈
2026-07-28 08:59:36
“没指名道姓,可都知道他在说谁!”丘成桐采访,再提某院士逆徒

“没指名道姓,可都知道他在说谁!”丘成桐采访,再提某院士逆徒

妍妍教育日记
2026-07-21 10:40:06
离谱操作!洛夫顿为何宁可放弃CBA顶薪也要走人?媒体人一针见血

离谱操作!洛夫顿为何宁可放弃CBA顶薪也要走人?媒体人一针见血

行舟问茶
2026-07-28 02:53:51
沙特卖油,不存银行全换黄金,想掏空中国金库?

沙特卖油,不存银行全换黄金,想掏空中国金库?

李云飞Afey
2026-07-28 12:47:29
1夜7大转会!穆氏新皇马5进4出,新月有意引进恩迪亚耶!

1夜7大转会!穆氏新皇马5进4出,新月有意引进恩迪亚耶!

田先生篮球
2026-07-28 08:42:05
炮制张氏叔侄十年冤狱,女神探聂海芬,民众为何强烈要求从严追责

炮制张氏叔侄十年冤狱,女神探聂海芬,民众为何强烈要求从严追责

原广工业
2026-07-18 11:06:26
全程低头玩手机,让助理挡人——乐华七子把“18线”坐出了新高度

全程低头玩手机,让助理挡人——乐华七子把“18线”坐出了新高度

情感大头说说
2026-07-27 04:17:52
没等来战争,反遭日方釜底抽薪!上海3万日侨估计要睡不着了

没等来战争,反遭日方釜底抽薪!上海3万日侨估计要睡不着了

叮当当科技
2026-07-27 03:39:13
2026-07-28 13:43:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
324文章数 76关注度
往期回顾 全部

科技要闻

Kimi K3完整开放!2.78万亿参数模型可部署

头条要闻

牛弹琴:在中东地区 巴基斯坦又拿下一个历史性协议

头条要闻

牛弹琴:在中东地区 巴基斯坦又拿下一个历史性协议

体育要闻

传奇同框!63岁乔丹与51岁贝克汉姆共进午餐

娱乐要闻

李登科向李宏毅道歉 称给他道歉不丢人

财经要闻

悟空租车乱象追踪:货不对板与迟来的赔偿

汽车要闻

零跑D19迎来首次OTA推送 智能化体验升级

态度原创

房产
旅游
时尚
游戏
家居

房产要闻

拿下百亩宅地!又一河北民企,重仓海南!

旅游要闻

日媒报道:赴华看熊猫成日本游客新选择

地表最强“小个子穿搭教科书”,结婚了!

前生软制作人称《博德4》给新团队就完了!IP要被毁

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版