网易首页 > 网易号 > 正文 申请入驻

混合检索失效,问题可能出在分词器上

0
分享至

语义搜索看起来能用,直到有人在搜索框里粘进一个零件编号。向向量索引查询 HS-2841-B,返回的却是关于供暖系统的“相关”片段——因为嵌入模型把这个字符串当成模糊语义,而不是精确标识符。用 BM25 查同样的内容,通常能命中那一行,前提是分词器没有先把这串代码拆坏,而这一点恰恰没人检查。

混合检索是常见的解法:两路都跑,再把排名融合。真正有意思的工程细节藏在这句话的两端:每一路如何对你实际的语料做分词,以及如何在不凭空造出一套刻度的前提下完成融合。

词法这一侧,本质是词典选择

多数 Postgres 全文检索配置会带着某个语言配置调用 to_tsquery。默认的英文配置会做词干化、去停用词、按标点切分——这些都合理,但对标识符全是错的。HS-2841-B 会被切成若干 token,再也匹配不上用户输入的原始字符串。

一个知识平台的做法是绕开这个问题,改用 simple 词典,它不做词干化:查询用 plainto_tsquery('simple', %s) 构造,用 ts_rank(不是 ts_rank_cd)按词频对查询打分,语句带硬性的 statement_timeout——一条挂住的检索查询,比一条返回结果更少的查询更糟。

simple 词典换来精确性,也丢掉了语言处理能力:不做词干化,“retrieval”和“retrieving”就不再互相匹配。语料偏技术时这笔交易划算,语料是散文时就错了。

词典修不了的那种情况:没有空格

中文、日文、韩文在词与词之间没有空格,plainto_tsquery 会把一整句看成一个巨大的 token。不会报任何错。词法这一侧只是永远返回空,混合分数悄悄退化成纯向量相似度。

同一份代码里的绕行方案是加一趟字面匹配,匹配前先去掉空白字符:检测到查询中含中日韩字符时,用正则把空白全部删掉,再拿这个模式去做 ILIKE 扫描,与一路 BM25 风格的召回并行。它是子串匹配,不是分词器,在大表上的开销可以想见——所以它只作为若干候选生成器之一、带着自己的 limit 运行,而不是唯一路径。

这个教训不止适用于中日韩文本:如果你说不出语料是被哪个分词器索引的,你就说不出混合检索里词法那一半,在真正重要的查询上到底做了什么。在信任融合之前,拿一个产品编号和一句第二语言的话去测它。

融合,但不凭空造刻度

BM25 分数和余弦相似度处在不同的刻度上。要把它们相加就得先归一化,而归一化正是多数实现悄悄出问题的地方:在一份语料上调好的固定权重,换一份语料就失效。

倒数排名融合(RRF)绕开了刻度问题,只用每个检索器给出的排名:每个检索器贡献 1/(K + rank),于是在某个列表里排第一,无论原始分数多少,价值大致相当。K(这份代码里取 60)控制着第一名多快失去主导地位:K 小,各列表头部更具决定性;K 大,曲线被压平。

两个细节让它在生产环境里站得住。并列时按最佳原始分数打破,于是在某处排第一的候选,会压过处处排第三的候选。截断阈值施加在“相对本次查询最佳候选归一化后的 RRF 分数”上,而不是一个固定数字——否则一个最佳匹配本身就很弱的查询照样返回十条结果,检索就这样悄悄变成了随机抽样。

什么时候不该用混合检索

  • 单一语言、词形干净、文档短。单用 BM25 就够快、可解释,而且往往更好。加上向量会让索引翻倍,每次查询还多一次嵌入调用。
  • 语料小到能直接读完。几百个 chunk 以下,在一个好分词器上做线性扫描胜过两者,也更好调试。
  • 你没法评估它。融合参数、chunk 大小、阈值都有默认值,而这些默认值对你的数据都是错的。没有一小份带标注的查询集,你就是在凭感觉调参。

重排器是同一套论证的上一层:它改善列表头部,代价是每次查询都增加延迟。加之前先测量,而且要用用户真正会输入的查询来测——包括那些带编号的。

反过来看

混合的反面是刻意的简单:只用一个检索器,按语料来选,分词方式写下来并测过。见过单检索器系统跑赢混合系统,原因仅仅是有人维护了关键词索引,而没人维护融合权重。

融合不是免费的准确率。它是两种意见的平均,而平均只有在两种意见各自都站得住时,才比其中任何一个更好。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
物业费不再归物业,物业改革终于来了!

物业费不再归物业,物业改革终于来了!

职场资深秘书
2026-11-16 14:18:22
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
CCTV5直播国足VS巴林!毛伟杰胡荷韬竞争首发,张玉宁+杨希们别受伤

CCTV5直播国足VS巴林!毛伟杰胡荷韬竞争首发,张玉宁+杨希们别受伤

刀锋体育
2026-11-16 18:17:44
正式归队!国安迎回左路悍将,足协杯踢不了,明年能否进主力阵容

正式归队!国安迎回左路悍将,足协杯踢不了,明年能否进主力阵容

体坛鉴春秋
2026-11-16 15:22:55
阿尔特塔豪砸!阿森纳 1.33 亿锁定皇马巨星,交易势在必得

阿尔特塔豪砸!阿森纳 1.33 亿锁定皇马巨星,交易势在必得

一隅非生
2026-11-16 11:47:13
抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

磊子讲史
2026-11-11 16:38:00
女子发视频哭诉生孩子没有尊严:主刀、麻醉都是男的,查房直接上手检查,旁边还站着一群实习生

女子发视频哭诉生孩子没有尊严:主刀、麻醉都是男的,查房直接上手检查,旁边还站着一群实习生

一丝不苟的法律人
2026-11-05 14:23:39
最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

最新夺冠概率正式出炉!联盟第一湖人无缘上榜,残阵雷霆位居第二

兵哥篮球故事
2026-11-16 13:15:13
网传股民圈传出劲爆消息,全网炸锅:A股最残酷真相被撕开…

网传股民圈传出劲爆消息,全网炸锅:A股最残酷真相被撕开…

慧翔百科
2026-11-04 08:24:14
涉嫌严重违纪违法,龚先华接受审查调查

涉嫌严重违纪违法,龚先华接受审查调查

中国基金报
2026-11-16 13:36:52
香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉丈夫

香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉丈夫

不写散文诗
2026-11-15 15:08:37
销量暴涨1033%,全球爆单!浙江老板忙疯了:每隔一两周,客户就要紧急加单

销量暴涨1033%,全球爆单!浙江老板忙疯了:每隔一两周,客户就要紧急加单

环球网资讯
2026-11-16 10:26:24
马斯克对英伟达发出警告:若没有黄仁勋,握手交易将不复存在

马斯克对英伟达发出警告:若没有黄仁勋,握手交易将不复存在

忧郁天空
2026-11-15 20:31:10
U17世界杯:U17国少1-2洪都拉斯,对手上届3连败,斐济连输亚洲队

U17世界杯:U17国少1-2洪都拉斯,对手上届3连败,斐济连输亚洲队

徐扙老表哥
2026-11-16 12:42:49
五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

谈史论今1
2026-11-13 20:52:38
河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

界面新闻
2026-11-16 13:37:26
乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

吉刻新闻
2026-11-15 08:10:56
皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

奶盖熊本熊
2026-11-16 09:03:54
年薪5846万,联盟第3!带队7连败+东部垫底!离开詹姆斯2年后,他彻底被打回原形

年薪5846万,联盟第3!带队7连败+东部垫底!离开詹姆斯2年后,他彻底被打回原形

答案聊体育1
2026-11-16 18:22:37
马克龙发出警告 : 若切断对乌克兰的一切支持 , 法国将在欧洲陷入孤立

马克龙发出警告 : 若切断对乌克兰的一切支持 , 法国将在欧洲陷入孤立

巷北楠猫本尊
2026-11-16 15:24:18
2026-11-16 19:00:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
211文章数 79关注度
往期回顾 全部

教育要闻

10金31银3铜!河南学子在物理、化学奥赛全国决赛斩获优异成绩

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
时尚
艺术
本地
亲子

家居要闻

2026建博会(广州) 公装联探展交流活动

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

无障碍浏览 进入关怀版