网易首页 > 网易科技 > 网易科技 > 正文

阿里开源"零搜索":AI自学检索能力,训练成本砍掉88%

0
分享至

5月9日消息,阿里巴巴集团研究人员近日开发出创新方法,可显著降低人工智能信息检索训练的成本与复杂性,有望彻底摆脱对昂贵商业搜索引擎API的依赖。

这项技术名为“零搜索”(ZeroSearch),通过模拟训练的方式使大语言模型(LLM)形成高级搜索能力,全程无需调用真实搜索引擎。这项创新不仅有助于企业节省大量API费用,还赋予开发者更多的控制力,以优化人工智能系统在信息检索方面的学习过程。

研究团队在近日发表于arXiv的论文中指出:“强化学习训练需要频繁推演策略,可能涉及数十万次请求,导致巨额API开销并严重制约扩展性。为应对这些挑战,我们提出了‘零搜索’框架,一种无需依赖真实搜索引擎的强化学习方案,能够有效培养LLM的检索能力。”



"零搜索"如何实现无需搜索引擎的AI训练?

“零搜索”技术所解决的是一个困扰行业已久的核心问题:开发具备自主信息检索能力的人工智能助手时,通常面临两大挑战:一是训练过程中由搜索引擎返回的文档质量不可控,二是数十万次调用谷歌等商业搜索引擎API所带来的高昂费用。

阿里巴巴的解决方案从轻量级的监督微调入手,先将LLM转化为一个检索模块,使其能够根据查询生成相关和不相关的文档。在强化学习训练过程中,研究人员采用了一种名为curriculum-based rollout strategy的方法,逐步降低生成文档的质量,以提升模型的辨别能力。

研究人员解释道:“我们的关键发现是,LLM在大规模预训练中已积累了丰富的世界知识,且具备在给定查询条件下生成相关文档的能力。与真实搜索引擎相比,模拟生成的内容在文本风格上存在差异,但在信息相关性方面却能相媲美。”

低成本实现超越谷歌的性能

在涵盖七个问答数据集的综合实验中,“零搜索”技术训练出的模型不仅表现与真实搜索引擎训练的模型相当,甚至在多个任务中实现超越。尤其值得一提的是,7B参数的检索模块已可达到谷歌搜索的性能水平,而14B参数的模型则在多个指标上超越了谷歌。

成本节约同样显著。据研究团队测算,使用SerpAPI调用谷歌搜索处理约6.4万次查询,成本约为586.70美元;而在四块A100 GPU上运行14B参数的模拟LLM,仅需70.80美元,节省幅度高达88%。研究人员指出:“这一结果表明,在强化学习设置中,用训练有素的LLM替代真实搜索引擎是完全可行的。”

将对AI发展产生深远影响

“零搜索”标志着人工智能系统训练方法的一次重大突破与转型。它表明,人工智能系统可以在无需依赖外部工具(如搜索引擎)的前提下,不断提升自身的信息检索能力。

这项技术对于AI行业的意义尤为重大。长期以来,训练先进人工智能系统往往依赖于由大型科技公司掌控的商业搜索API,训练成本居高不下。而“零搜索”打破了这一格局,让人工智能可以通过模拟实现自主搜索,从而摆脱对外部搜索服务的依赖。

对于预算有限的小型人工智能公司和初创企业而言,这无疑是一个利好消息。API成本的高门槛一直是开发复杂智能助手的一大障碍。“零搜索”在通过将成本削减近90%的同时,也为更多企业打开了进入先进人工智能领域的大门。

此外,使用模拟搜索还能为开发者提供更高的可控性。真实搜索引擎返回的内容质量参差不齐,难以精确控制训练数据。而在模拟环境下,开发者可以定制训练语料,系统性地塑造模型的学习路径。

“零搜索”技术已被验证可适用于多种模型家族,包括Qwen-2.5和LLaMA-3.2,并支持基础版本与指令调优版本。研究团队已将相关代码、数据集和预训练模型开源发布于GitHub和Hugging Face,供业内研究人员和企业使用与测试。

随着大语言模型不断演进,像“零搜索”这样的技术预示着,未来人工智能系统将更多依赖自我模拟来发展复杂的能力,而非依靠外部服务。这不仅可能重塑人工智能开发的经济模式,还将降低整个行业对大型平台的依赖。

颇具讽刺性的是,在教会人工智能如何不依赖搜索引擎进行搜索的过程中,阿里巴巴或许创造了一项使搜索引擎在人工智能训练中变得可有可无的技术。随着这些系统变得愈加自给自足,未来的技术生态或将在短短几年内发生翻天覆地的变化。(小小)

延伸阅读
相关推荐
热点推荐
日本3箭齐发,战争准备全面铺开,解放军开始算账,出手就是王炸

日本3箭齐发,战争准备全面铺开,解放军开始算账,出手就是王炸

文雅笔墨
2025-11-29 21:04:55
王丙乾同志生平

王丙乾同志生平

新京报政事儿
2025-12-14 14:13:59
1958年,江青前夫去世,临终前嘴里不断喊着:江青是什么人?

1958年,江青前夫去世,临终前嘴里不断喊着:江青是什么人?

海佑讲史
2025-12-07 19:20:04
一个只存在53天,不被任何国家承认的政权——中华共和国

一个只存在53天,不被任何国家承认的政权——中华共和国

何氽简史
2025-11-25 19:55:49
那个沉迷整形,把胸隆炸的网红突然过世?!死时已整成外星人,网友怀疑自杀...

那个沉迷整形,把胸隆炸的网红突然过世?!死时已整成外星人,网友怀疑自杀...

英国那些事儿
2025-12-12 23:37:58
赤身被吊在房梁上,下体被插上铜棒通电,遗照却一直被日寇供奉着

赤身被吊在房梁上,下体被插上铜棒通电,遗照却一直被日寇供奉着

兴趣知识
2025-12-03 16:21:36
1950年朝鲜战火烧到眉毛,林彪盯着出兵名单上的司令名字,突然眉头紧锁拍了桌子:这个人必须马上换掉!

1950年朝鲜战火烧到眉毛,林彪盯着出兵名单上的司令名字,突然眉头紧锁拍了桌子:这个人必须马上换掉!

寄史言志
2025-12-14 19:06:16
08年我35岁破格升县长,省委书记考察时盯着我半晌,突然做了个决定

08年我35岁破格升县长,省委书记考察时盯着我半晌,突然做了个决定

张道陵秘话
2025-12-10 15:12:17
张含韵的奶欲更勾人,36岁依旧童颜,身材却饱满成熟韵味满满

张含韵的奶欲更勾人,36岁依旧童颜,身材却饱满成熟韵味满满

草莓解说体育
2025-11-20 13:10:19
郭沫若女儿:已报警

郭沫若女儿:已报警

澎湃新闻
2025-12-14 00:01:04
实话很难听,但这就是今年三亚旅游的真实现状。

实话很难听,但这就是今年三亚旅游的真实现状。

享乐旅行
2025-12-13 12:17:06
西方媒体讥笑:全球90%激光雷达来自中国,结果中国每年亏上亿元

西方媒体讥笑:全球90%激光雷达来自中国,结果中国每年亏上亿元

禾寒叙
2025-12-02 20:43:51
分析100个出轨案例发现,50岁后频繁出轨的女人,有3个共性

分析100个出轨案例发现,50岁后频繁出轨的女人,有3个共性

我的琪琪美玉
2024-02-23 13:04:06
宋轶的脸到底怎么了?她一句话让全网炸锅!

宋轶的脸到底怎么了?她一句话让全网炸锅!

毒舌八卦
2025-08-31 22:34:38
谢逸枫:政策方向已定,2026年房地产这么干

谢逸枫:政策方向已定,2026年房地产这么干

谢逸枫看楼市
2025-12-14 23:04:32
浙江男子失业一年,躺平出租房,全靠女友养!女友无奈:长得帅真没用

浙江男子失业一年,躺平出租房,全靠女友养!女友无奈:长得帅真没用

趣笔谈
2025-11-27 10:40:06
人均消费过万!如今谁还在为KTV买单?老板们直呼“苦不堪言”

人均消费过万!如今谁还在为KTV买单?老板们直呼“苦不堪言”

音乐时光的娱乐
2025-12-14 00:12:34
哪一刻意识到自己没见过世面?网友:从此再没喝过茶

哪一刻意识到自己没见过世面?网友:从此再没喝过茶

另子维爱读史
2025-12-13 21:53:50
大家发现没有,这次中日冲突比历次都严重,却没有人喊抵制日货了

大家发现没有,这次中日冲突比历次都严重,却没有人喊抵制日货了

扶苏聊历史
2025-11-24 15:15:15
本菲卡4-0大胜莫雷拉人,帕夫利季斯帽子戏法,奥尔斯内斯1射2传

本菲卡4-0大胜莫雷拉人,帕夫利季斯帽子戏法,奥尔斯内斯1射2传

懂球帝
2025-12-15 04:01:32
2025-12-15 06:04:49

科技要闻

当人形机器人有了App Store,宇树在赌什么

头条要闻

澳海滩枪击惊魂50分钟:枪手占据天桥向下扫射

头条要闻

澳海滩枪击惊魂50分钟:枪手占据天桥向下扫射

体育要闻

马刺终结雷霆:以勇猛,以文班亚马

娱乐要闻

何晴生前最大谣言!没有再婚嫁廖京生

财经要闻

重大违法强制退市!10人被判刑

汽车要闻

硬核敞篷巴士?掷弹兵Game Viewer 2026年初量产

态度原创

时尚
艺术
亲子
数码
健康

终于在广州最舒服的季节和你们见面啦

艺术要闻

才女一生未嫁,画史铸就传奇

亲子要闻

保护孩子宝妈必学,什么是分离焦虑变异和饮食失调依赖进食?

数码要闻

Beats携手IShowSpeed合作短片 《速稳风云》全球上线

甲状腺结节到这个程度,该穿刺了!

无障碍浏览 进入关怀版
×