网易首页 > 网易科技 > 网易科技 > 正文

阿里开源"零搜索":AI自学检索能力,训练成本砍掉88%

0
分享至

5月9日消息,阿里巴巴集团研究人员近日开发出创新方法,可显著降低人工智能信息检索训练的成本与复杂性,有望彻底摆脱对昂贵商业搜索引擎API的依赖。

这项技术名为“零搜索”(ZeroSearch),通过模拟训练的方式使大语言模型(LLM)形成高级搜索能力,全程无需调用真实搜索引擎。这项创新不仅有助于企业节省大量API费用,还赋予开发者更多的控制力,以优化人工智能系统在信息检索方面的学习过程。

研究团队在近日发表于arXiv的论文中指出:“强化学习训练需要频繁推演策略,可能涉及数十万次请求,导致巨额API开销并严重制约扩展性。为应对这些挑战,我们提出了‘零搜索’框架,一种无需依赖真实搜索引擎的强化学习方案,能够有效培养LLM的检索能力。”



"零搜索"如何实现无需搜索引擎的AI训练?

“零搜索”技术所解决的是一个困扰行业已久的核心问题:开发具备自主信息检索能力的人工智能助手时,通常面临两大挑战:一是训练过程中由搜索引擎返回的文档质量不可控,二是数十万次调用谷歌等商业搜索引擎API所带来的高昂费用。

阿里巴巴的解决方案从轻量级的监督微调入手,先将LLM转化为一个检索模块,使其能够根据查询生成相关和不相关的文档。在强化学习训练过程中,研究人员采用了一种名为curriculum-based rollout strategy的方法,逐步降低生成文档的质量,以提升模型的辨别能力。

研究人员解释道:“我们的关键发现是,LLM在大规模预训练中已积累了丰富的世界知识,且具备在给定查询条件下生成相关文档的能力。与真实搜索引擎相比,模拟生成的内容在文本风格上存在差异,但在信息相关性方面却能相媲美。”

低成本实现超越谷歌的性能

在涵盖七个问答数据集的综合实验中,“零搜索”技术训练出的模型不仅表现与真实搜索引擎训练的模型相当,甚至在多个任务中实现超越。尤其值得一提的是,7B参数的检索模块已可达到谷歌搜索的性能水平,而14B参数的模型则在多个指标上超越了谷歌。

成本节约同样显著。据研究团队测算,使用SerpAPI调用谷歌搜索处理约6.4万次查询,成本约为586.70美元;而在四块A100 GPU上运行14B参数的模拟LLM,仅需70.80美元,节省幅度高达88%。研究人员指出:“这一结果表明,在强化学习设置中,用训练有素的LLM替代真实搜索引擎是完全可行的。”

将对AI发展产生深远影响

“零搜索”标志着人工智能系统训练方法的一次重大突破与转型。它表明,人工智能系统可以在无需依赖外部工具(如搜索引擎)的前提下,不断提升自身的信息检索能力。

这项技术对于AI行业的意义尤为重大。长期以来,训练先进人工智能系统往往依赖于由大型科技公司掌控的商业搜索API,训练成本居高不下。而“零搜索”打破了这一格局,让人工智能可以通过模拟实现自主搜索,从而摆脱对外部搜索服务的依赖。

对于预算有限的小型人工智能公司和初创企业而言,这无疑是一个利好消息。API成本的高门槛一直是开发复杂智能助手的一大障碍。“零搜索”在通过将成本削减近90%的同时,也为更多企业打开了进入先进人工智能领域的大门。

此外,使用模拟搜索还能为开发者提供更高的可控性。真实搜索引擎返回的内容质量参差不齐,难以精确控制训练数据。而在模拟环境下,开发者可以定制训练语料,系统性地塑造模型的学习路径。

“零搜索”技术已被验证可适用于多种模型家族,包括Qwen-2.5和LLaMA-3.2,并支持基础版本与指令调优版本。研究团队已将相关代码、数据集和预训练模型开源发布于GitHub和Hugging Face,供业内研究人员和企业使用与测试。

随着大语言模型不断演进,像“零搜索”这样的技术预示着,未来人工智能系统将更多依赖自我模拟来发展复杂的能力,而非依靠外部服务。这不仅可能重塑人工智能开发的经济模式,还将降低整个行业对大型平台的依赖。

颇具讽刺性的是,在教会人工智能如何不依赖搜索引擎进行搜索的过程中,阿里巴巴或许创造了一项使搜索引擎在人工智能训练中变得可有可无的技术。随着这些系统变得愈加自给自足,未来的技术生态或将在短短几年内发生翻天覆地的变化。(小小)

延伸阅读
相关推荐
热点推荐
牛鬼神蛇现原形!聂卫平去世仅一天,私生活被扒,王刚郎平被牵连

牛鬼神蛇现原形!聂卫平去世仅一天,私生活被扒,王刚郎平被牵连

春露秋霜
2026-01-16 06:27:20
暴利!iPhone 17 Pro Max电池成本不足百元:苹果售后10倍收费

暴利!iPhone 17 Pro Max电池成本不足百元:苹果售后10倍收费

快科技
2026-02-08 21:57:53
潮汕婚礼丈母娘火了,打扮娇艳比新娘还抢镜,网友:感觉有点不对

潮汕婚礼丈母娘火了,打扮娇艳比新娘还抢镜,网友:感觉有点不对

梅子的小情绪
2026-02-08 19:59:04
女孩当小姐,一晚要提供4到5次上门服务,2015年被亲人点到不赴约

女孩当小姐,一晚要提供4到5次上门服务,2015年被亲人点到不赴约

汉史趣闻
2025-11-08 09:27:32
索帅力荐的3人全成巨星,硬塞的3人却一地鸡毛,谁是最大败笔?

索帅力荐的3人全成巨星,硬塞的3人却一地鸡毛,谁是最大败笔?

澜归序
2025-12-18 00:52:47
国乒公布17人打新加坡大满贯,王皓处境比较微妙,林诗栋持续掉分

国乒公布17人打新加坡大满贯,王皓处境比较微妙,林诗栋持续掉分

体育大学僧
2026-02-10 10:06:33
赛力斯“断腕”,重庆接盘,蓝电汽车这次能活吗?

赛力斯“断腕”,重庆接盘,蓝电汽车这次能活吗?

道哥说车
2026-02-10 10:31:43
许敏当官了!履职副会长,聘任仪式现场照曝光,网友:退休不退岗

许敏当官了!履职副会长,聘任仪式现场照曝光,网友:退休不退岗

究竟谁主沉浮
2026-02-10 09:59:52
三百名医生提醒:晨起一杯水对胰腺的影响,建议抽空看看

三百名医生提醒:晨起一杯水对胰腺的影响,建议抽空看看

摇感军事
2026-02-07 20:57:40
我研发的配方被堂姐偷去开厂,她大规模投产时我打了个电话

我研发的配方被堂姐偷去开厂,她大规模投产时我打了个电话

小秋情感说
2026-02-10 10:16:47
女同事这是啥意思?我这么回行不行?

女同事这是啥意思?我这么回行不行?

太急张三疯
2026-02-08 03:51:46
2月10日冬奥会看点:林孝埈刘少昂首秀,中国短道速滑冲首金

2月10日冬奥会看点:林孝埈刘少昂首秀,中国短道速滑冲首金

全景体育V
2026-02-10 07:15:00
别墅搜出23件国宝,全家集体失联!徐湖平案落幕,17年举报有结果

别墅搜出23件国宝,全家集体失联!徐湖平案落幕,17年举报有结果

诗意世界
2026-01-03 15:19:25
记者:拜合拉木700万3年合同加盟蓉城,贺一然转会费不足千万

记者:拜合拉木700万3年合同加盟蓉城,贺一然转会费不足千万

懂球帝
2026-02-09 17:14:43
卡里克获曼联更衣室大佬支持!若未转正三队欲请,下季必执教英超

卡里克获曼联更衣室大佬支持!若未转正三队欲请,下季必执教英超

罗米的曼联博客
2026-02-10 07:34:44
江苏修脚师孙鹏去世,年仅40岁,因肚子疼确诊,哥哥和妈妈也没了

江苏修脚师孙鹏去世,年仅40岁,因肚子疼确诊,哥哥和妈妈也没了

嫹笔牂牂
2026-02-04 07:11:14
20年前,张冕为护胡歌离世,胡歌许诺赡养其父母,如今他做到了吗

20年前,张冕为护胡歌离世,胡歌许诺赡养其父母,如今他做到了吗

青橘罐头
2026-02-06 11:39:34
北京这晚,没点实力还真登不上这个舞台,46岁董洁独舞秒了一大批

北京这晚,没点实力还真登不上这个舞台,46岁董洁独舞秒了一大批

小徐讲八卦
2026-02-10 05:27:53
乌克兰选手特制头盔遭冬奥会禁用!印有阵亡运动员头像 怒批:特权

乌克兰选手特制头盔遭冬奥会禁用!印有阵亡运动员头像 怒批:特权

风过乡
2026-02-10 12:21:58
最令大龄剩女崩溃的瞬间在什么时候?扎心了,已经没资格当后妈了

最令大龄剩女崩溃的瞬间在什么时候?扎心了,已经没资格当后妈了

另子维爱读史
2026-01-17 19:33:22
2026-02-10 14:39:00

科技要闻

Seedance刷屏:网友们玩疯 影视圈瑟瑟发抖

头条要闻

起底周媛"性商"生意:课程服装含吊带丝袜 课上扮妲己

头条要闻

起底周媛"性商"生意:课程服装含吊带丝袜 课上扮妲己

体育要闻

NBA上演全武行,超大冲突4人驱逐!

娱乐要闻

全红婵官宣喜讯,杂志首秀太惊艳

财经要闻

雀巢中国近千经销商的“追债记”

汽车要闻

应用于190KW四驱Ultra版 方程豹钛7搭载天神之眼5.0

态度原创

健康
旅游
游戏
艺术
公开课

转头就晕的耳石症,能开车上班吗?

旅游要闻

踏轮前行,在珠海邂逅山海浪漫与人间暖意

《Warframe》中国玩家线下见面会——13年如一日

艺术要闻

挑战您的眼力!这14个字的草书您能认全吗?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×