网易首页 > 网易科技 > 网易科技 > 正文

阿里开源"零搜索":AI自学检索能力,训练成本砍掉88%

0
分享至

5月9日消息,阿里巴巴集团研究人员近日开发出创新方法,可显著降低人工智能信息检索训练的成本与复杂性,有望彻底摆脱对昂贵商业搜索引擎API的依赖。

这项技术名为“零搜索”(ZeroSearch),通过模拟训练的方式使大语言模型(LLM)形成高级搜索能力,全程无需调用真实搜索引擎。这项创新不仅有助于企业节省大量API费用,还赋予开发者更多的控制力,以优化人工智能系统在信息检索方面的学习过程。

研究团队在近日发表于arXiv的论文中指出:“强化学习训练需要频繁推演策略,可能涉及数十万次请求,导致巨额API开销并严重制约扩展性。为应对这些挑战,我们提出了‘零搜索’框架,一种无需依赖真实搜索引擎的强化学习方案,能够有效培养LLM的检索能力。”



"零搜索"如何实现无需搜索引擎的AI训练?

“零搜索”技术所解决的是一个困扰行业已久的核心问题:开发具备自主信息检索能力的人工智能助手时,通常面临两大挑战:一是训练过程中由搜索引擎返回的文档质量不可控,二是数十万次调用谷歌等商业搜索引擎API所带来的高昂费用。

阿里巴巴的解决方案从轻量级的监督微调入手,先将LLM转化为一个检索模块,使其能够根据查询生成相关和不相关的文档。在强化学习训练过程中,研究人员采用了一种名为curriculum-based rollout strategy的方法,逐步降低生成文档的质量,以提升模型的辨别能力。

研究人员解释道:“我们的关键发现是,LLM在大规模预训练中已积累了丰富的世界知识,且具备在给定查询条件下生成相关文档的能力。与真实搜索引擎相比,模拟生成的内容在文本风格上存在差异,但在信息相关性方面却能相媲美。”

低成本实现超越谷歌的性能

在涵盖七个问答数据集的综合实验中,“零搜索”技术训练出的模型不仅表现与真实搜索引擎训练的模型相当,甚至在多个任务中实现超越。尤其值得一提的是,7B参数的检索模块已可达到谷歌搜索的性能水平,而14B参数的模型则在多个指标上超越了谷歌。

成本节约同样显著。据研究团队测算,使用SerpAPI调用谷歌搜索处理约6.4万次查询,成本约为586.70美元;而在四块A100 GPU上运行14B参数的模拟LLM,仅需70.80美元,节省幅度高达88%。研究人员指出:“这一结果表明,在强化学习设置中,用训练有素的LLM替代真实搜索引擎是完全可行的。”

将对AI发展产生深远影响

“零搜索”标志着人工智能系统训练方法的一次重大突破与转型。它表明,人工智能系统可以在无需依赖外部工具(如搜索引擎)的前提下,不断提升自身的信息检索能力。

这项技术对于AI行业的意义尤为重大。长期以来,训练先进人工智能系统往往依赖于由大型科技公司掌控的商业搜索API,训练成本居高不下。而“零搜索”打破了这一格局,让人工智能可以通过模拟实现自主搜索,从而摆脱对外部搜索服务的依赖。

对于预算有限的小型人工智能公司和初创企业而言,这无疑是一个利好消息。API成本的高门槛一直是开发复杂智能助手的一大障碍。“零搜索”在通过将成本削减近90%的同时,也为更多企业打开了进入先进人工智能领域的大门。

此外,使用模拟搜索还能为开发者提供更高的可控性。真实搜索引擎返回的内容质量参差不齐,难以精确控制训练数据。而在模拟环境下,开发者可以定制训练语料,系统性地塑造模型的学习路径。

“零搜索”技术已被验证可适用于多种模型家族,包括Qwen-2.5和LLaMA-3.2,并支持基础版本与指令调优版本。研究团队已将相关代码、数据集和预训练模型开源发布于GitHub和Hugging Face,供业内研究人员和企业使用与测试。

随着大语言模型不断演进,像“零搜索”这样的技术预示着,未来人工智能系统将更多依赖自我模拟来发展复杂的能力,而非依靠外部服务。这不仅可能重塑人工智能开发的经济模式,还将降低整个行业对大型平台的依赖。

颇具讽刺性的是,在教会人工智能如何不依赖搜索引擎进行搜索的过程中,阿里巴巴或许创造了一项使搜索引擎在人工智能训练中变得可有可无的技术。随着这些系统变得愈加自给自足,未来的技术生态或将在短短几年内发生翻天覆地的变化。(小小)

延伸阅读
相关推荐
热点推荐
讨厌一个人,其实不用翻脸的,最有水平的处理方式是:森田理论

讨厌一个人,其实不用翻脸的,最有水平的处理方式是:森田理论

德鲁克博雅管理
2025-12-09 17:05:19
随着多特1-1,拜仁2-2,德甲最新积分榜出炉:欧冠席位争夺异常激烈

随着多特1-1,拜仁2-2,德甲最新积分榜出炉:欧冠席位争夺异常激烈

侧身凌空斩
2025-12-15 07:02:07
C罗前队友直言与其共事压力很大:他能决定队伍首发、不给他传球生气、禁区倒地要点球

C罗前队友直言与其共事压力很大:他能决定队伍首发、不给他传球生气、禁区倒地要点球

刘哥谈体育
2025-12-15 06:31:25
美国军火商洛马公司因没缴纳中方开出990亿罚单,后果竟如此严重

美国军火商洛马公司因没缴纳中方开出990亿罚单,后果竟如此严重

百态人间
2025-12-13 16:07:09
防止规模性返乡滞乡,能采取哪些手段?

防止规模性返乡滞乡,能采取哪些手段?

基本常识
2025-11-18 23:54:24
柬埔寨机枪手瞎打一通,操着东大高射机枪朝泰国F-16猛烈开火!

柬埔寨机枪手瞎打一通,操着东大高射机枪朝泰国F-16猛烈开火!

阿龙聊军事
2025-12-15 10:18:26
“猪八戒”扮演者马德华悼念何晴:她身体一直不是特别好,走得太早了,太突然太可惜;六小龄童、“赵云”张山:一路走好

“猪八戒”扮演者马德华悼念何晴:她身体一直不是特别好,走得太早了,太突然太可惜;六小龄童、“赵云”张山:一路走好

环球网资讯
2025-12-14 13:15:39
真相大白!泰军拿VT-4当火炮用,连射200发,相当于打完5轮备弹!

真相大白!泰军拿VT-4当火炮用,连射200发,相当于打完5轮备弹!

梁讯
2025-12-14 14:49:49
特朗普下令,美军打劫百万桶原油,不到72小时,中方出招了

特朗普下令,美军打劫百万桶原油,不到72小时,中方出招了

军机Talk
2025-12-15 10:33:42
比变老更可怕的是“越长越凶”,这5个特征,中一个颜值就毁了

比变老更可怕的是“越长越凶”,这5个特征,中一个颜值就毁了

小陈聊搭配
2025-12-14 19:03:46
日本记者挑衅:南京30万你们数了?李连杰当场反问一句,他立马闭嘴,提到了日本至今都抬不起头的7万女人公案

日本记者挑衅:南京30万你们数了?李连杰当场反问一句,他立马闭嘴,提到了日本至今都抬不起头的7万女人公案

历史回忆室
2025-12-11 18:47:11
42+8!中国第一摇摆人!自曝拒绝活塞训练营合同

42+8!中国第一摇摆人!自曝拒绝活塞训练营合同

篮球实战宝典
2025-12-14 23:51:52
3万一支药剂疑误冷冻失效,医生仍注射给1岁罕见病患儿

3万一支药剂疑误冷冻失效,医生仍注射给1岁罕见病患儿

观威海
2025-12-13 10:30:04
遇到烂人烂事,最有水平的处理方式:三个字

遇到烂人烂事,最有水平的处理方式:三个字

诗词中国
2025-12-05 19:47:23
德媒:德国将派兵加入波兰“东方盾牌”

德媒:德国将派兵加入波兰“东方盾牌”

参考消息
2025-12-14 15:27:42
8连胜+16连胜,明明是联盟第一,却声名狼藉!联盟如意算盘打错了

8连胜+16连胜,明明是联盟第一,却声名狼藉!联盟如意算盘打错了

老梁体育漫谈
2025-12-15 00:03:58
江一燕,官宣离婚!

江一燕,官宣离婚!

黎兜兜
2025-11-05 21:50:24
重磅:欧文即将回归浓眉哥不走了,独行侠组成三巨头冲击季后赛

重磅:欧文即将回归浓眉哥不走了,独行侠组成三巨头冲击季后赛

姜大叔侃球
2025-12-14 19:35:19
马筱梅三里屯喝咖啡被偶遇,怀孕七八个月,皮肤白皙,少女感十足

马筱梅三里屯喝咖啡被偶遇,怀孕七八个月,皮肤白皙,少女感十足

小徐讲八卦
2025-12-14 08:01:30
蔡英文正式出手,逼宫赖清德,赖清德放话:没必要再宣布“台独”

蔡英文正式出手,逼宫赖清德,赖清德放话:没必要再宣布“台独”

议纪史
2025-12-14 19:40:03
2025-12-15 11:44:49

科技要闻

平价数码产品,要和我们说再见了?

头条要闻

巨头裁员史无前例 员工发现同事"消失":杯子还在桌上

头条要闻

巨头裁员史无前例 员工发现同事"消失":杯子还在桌上

体育要闻

战胜完全体雷霆,马刺“疯狂动物城”只是半成品

娱乐要闻

黄绮珊在何晴去世首发,10年悄悄祈福

财经要闻

新会陈皮乱象曝光:产地造假、年份速成

汽车要闻

奔驰小G谍照,或搭混动或燃油动力

态度原创

亲子
教育
家居
房产
游戏

亲子要闻

这孩子

教育要闻

补课的孩子,在为谁努力?

家居要闻

温润质感 打造干净空间

房产要闻

疯狂拿地290亩!封关在即,又一民企重仓海南!

曝《半条命3》将护航Steam machine!或春季上线

无障碍浏览 进入关怀版
×