网易首页 > 网易科技 > 网易科技 > 正文

阿里开源"零搜索":AI自学检索能力,训练成本砍掉88%

0
分享至

5月9日消息,阿里巴巴集团研究人员近日开发出创新方法,可显著降低人工智能信息检索训练的成本与复杂性,有望彻底摆脱对昂贵商业搜索引擎API的依赖。

这项技术名为“零搜索”(ZeroSearch),通过模拟训练的方式使大语言模型(LLM)形成高级搜索能力,全程无需调用真实搜索引擎。这项创新不仅有助于企业节省大量API费用,还赋予开发者更多的控制力,以优化人工智能系统在信息检索方面的学习过程。

研究团队在近日发表于arXiv的论文中指出:“强化学习训练需要频繁推演策略,可能涉及数十万次请求,导致巨额API开销并严重制约扩展性。为应对这些挑战,我们提出了‘零搜索’框架,一种无需依赖真实搜索引擎的强化学习方案,能够有效培养LLM的检索能力。”



"零搜索"如何实现无需搜索引擎的AI训练?

“零搜索”技术所解决的是一个困扰行业已久的核心问题:开发具备自主信息检索能力的人工智能助手时,通常面临两大挑战:一是训练过程中由搜索引擎返回的文档质量不可控,二是数十万次调用谷歌等商业搜索引擎API所带来的高昂费用。

阿里巴巴的解决方案从轻量级的监督微调入手,先将LLM转化为一个检索模块,使其能够根据查询生成相关和不相关的文档。在强化学习训练过程中,研究人员采用了一种名为curriculum-based rollout strategy的方法,逐步降低生成文档的质量,以提升模型的辨别能力。

研究人员解释道:“我们的关键发现是,LLM在大规模预训练中已积累了丰富的世界知识,且具备在给定查询条件下生成相关文档的能力。与真实搜索引擎相比,模拟生成的内容在文本风格上存在差异,但在信息相关性方面却能相媲美。”

低成本实现超越谷歌的性能

在涵盖七个问答数据集的综合实验中,“零搜索”技术训练出的模型不仅表现与真实搜索引擎训练的模型相当,甚至在多个任务中实现超越。尤其值得一提的是,7B参数的检索模块已可达到谷歌搜索的性能水平,而14B参数的模型则在多个指标上超越了谷歌。

成本节约同样显著。据研究团队测算,使用SerpAPI调用谷歌搜索处理约6.4万次查询,成本约为586.70美元;而在四块A100 GPU上运行14B参数的模拟LLM,仅需70.80美元,节省幅度高达88%。研究人员指出:“这一结果表明,在强化学习设置中,用训练有素的LLM替代真实搜索引擎是完全可行的。”

将对AI发展产生深远影响

“零搜索”标志着人工智能系统训练方法的一次重大突破与转型。它表明,人工智能系统可以在无需依赖外部工具(如搜索引擎)的前提下,不断提升自身的信息检索能力。

这项技术对于AI行业的意义尤为重大。长期以来,训练先进人工智能系统往往依赖于由大型科技公司掌控的商业搜索API,训练成本居高不下。而“零搜索”打破了这一格局,让人工智能可以通过模拟实现自主搜索,从而摆脱对外部搜索服务的依赖。

对于预算有限的小型人工智能公司和初创企业而言,这无疑是一个利好消息。API成本的高门槛一直是开发复杂智能助手的一大障碍。“零搜索”在通过将成本削减近90%的同时,也为更多企业打开了进入先进人工智能领域的大门。

此外,使用模拟搜索还能为开发者提供更高的可控性。真实搜索引擎返回的内容质量参差不齐,难以精确控制训练数据。而在模拟环境下,开发者可以定制训练语料,系统性地塑造模型的学习路径。

“零搜索”技术已被验证可适用于多种模型家族,包括Qwen-2.5和LLaMA-3.2,并支持基础版本与指令调优版本。研究团队已将相关代码、数据集和预训练模型开源发布于GitHub和Hugging Face,供业内研究人员和企业使用与测试。

随着大语言模型不断演进,像“零搜索”这样的技术预示着,未来人工智能系统将更多依赖自我模拟来发展复杂的能力,而非依靠外部服务。这不仅可能重塑人工智能开发的经济模式,还将降低整个行业对大型平台的依赖。

颇具讽刺性的是,在教会人工智能如何不依赖搜索引擎进行搜索的过程中,阿里巴巴或许创造了一项使搜索引擎在人工智能训练中变得可有可无的技术。随着这些系统变得愈加自给自足,未来的技术生态或将在短短几年内发生翻天覆地的变化。(小小)

延伸阅读
相关推荐
热点推荐
某头部央企,年底大规模裁员!

某头部央企,年底大规模裁员!

地产八卦
2025-12-17 07:06:08
奥迪A6L终于开窍了!直降20.18万,网友:老车主集体破防

奥迪A6L终于开窍了!直降20.18万,网友:老车主集体破防

汽车网评
2025-12-17 21:24:45
伤亡700人,中方援建大桥被炸,中械军大胜,大批导弹成战利品

伤亡700人,中方援建大桥被炸,中械军大胜,大批导弹成战利品

爱情毕业了
2025-12-17 08:28:28
谁说制裁日本高官没有用?看看日本官方和他儿子的反应就知道了

谁说制裁日本高官没有用?看看日本官方和他儿子的反应就知道了

娱乐的宅急便
2025-12-17 11:26:56
2025最惨大撤退:18万家快递驿站,快把所有人得罪光了

2025最惨大撤退:18万家快递驿站,快把所有人得罪光了

金错刀
2025-12-14 15:34:35
苦等5年,蒙古熟鸭子还是飞了,中俄谁也不让步,坐视大项目泡汤

苦等5年,蒙古熟鸭子还是飞了,中俄谁也不让步,坐视大项目泡汤

科普100克克
2025-12-07 18:20:34
宣告奇迹出现刚2个月,蔡磊再破天花板,让整个科研界“沉默”了

宣告奇迹出现刚2个月,蔡磊再破天花板,让整个科研界“沉默”了

大眼妹妹
2025-11-27 20:17:22
糖尿病最怕的早餐!医生再三强调:宁可饿着,也别碰这5种早餐

糖尿病最怕的早餐!医生再三强调:宁可饿着,也别碰这5种早餐

读懂世界历史
2025-12-17 21:28:48
为什么当年的西方,要把先进的高铁技术转让给中国?

为什么当年的西方,要把先进的高铁技术转让给中国?

南权先生
2025-12-08 17:48:15
官方:2026年世界杯财政拨款7.27亿美元,冠军奖金5000万美元

官方:2026年世界杯财政拨款7.27亿美元,冠军奖金5000万美元

懂球帝
2025-12-17 21:00:05
2025年高校教师退休新规定出台

2025年高校教师退休新规定出台

化学人生
2025-12-17 20:54:20
台亿万富翁携妻钻进焚化炉,锁门启动焚烧,连3个孩子也被磨成粉

台亿万富翁携妻钻进焚化炉,锁门启动焚烧,连3个孩子也被磨成粉

麦大人
2023-12-25 17:18:01
泰军争议高地缴获大国造GAM-102LR反坦克导弹,柬军弃械溃逃

泰军争议高地缴获大国造GAM-102LR反坦克导弹,柬军弃械溃逃

老马拉车莫少装
2025-12-14 23:29:14
事实证明!陪马克龙回国的巩俐,可能已经走上了另一条大道

事实证明!陪马克龙回国的巩俐,可能已经走上了另一条大道

梦史
2025-12-13 11:46:11
反击战名将廖锡龙:坚持举报总后勤部副部长谷俊山,结果如何?

反击战名将廖锡龙:坚持举报总后勤部副部长谷俊山,结果如何?

大运河时空
2025-12-16 07:40:03
鞠婧祎偷鸡不成蚀把米!这下好了,全世界都知道内娱赚钱有多疯了

鞠婧祎偷鸡不成蚀把米!这下好了,全世界都知道内娱赚钱有多疯了

乐悠悠娱乐
2025-12-17 10:25:53
查尔斯举办圣诞节前宴会,王室成员都来了:小公主美出新高度。

查尔斯举办圣诞节前宴会,王室成员都来了:小公主美出新高度。

书中自有颜如玉
2025-12-17 14:37:17
人数不够,票价来凑?《阿凡达3》票价太高引争议,吃相真难看

人数不够,票价来凑?《阿凡达3》票价太高引争议,吃相真难看

娱乐圈笔娱君
2025-12-17 14:15:17
空缺246天!长安汽车总裁终落定,“老兵”赵非上任

空缺246天!长安汽车总裁终落定,“老兵”赵非上任

国际金融报
2025-12-16 20:09:28
笑了!柬泰冲突后,泰国驻华大使馆微博下面,全是一样的评论

笑了!柬泰冲突后,泰国驻华大使馆微博下面,全是一样的评论

消失的电波
2025-12-15 14:10:23
2025-12-17 23:08:49

科技要闻

特斯拉值1.6万亿靠画饼 Waymo值千亿靠跑单

头条要闻

捐赠博物馆价值8800万的名画现身拍卖市场 捐赠方发声

头条要闻

捐赠博物馆价值8800万的名画现身拍卖市场 捐赠方发声

体育要闻

短短一年,从争冠到0胜垫底...

娱乐要闻

狗仔曝热播剧姐弟恋真谈了???

财经要闻

重磅信号!收入分配制度或迎重大突破

汽车要闻

一车多动力+双姿态 长城欧拉5上市 限时9.18万元起

态度原创

教育
时尚
数码
本地
军事航空

教育要闻

明早9点,“三尺之外”城市教育谈正式开讲!点这里预约直播

这才是50岁女人该有的冬季穿搭,既保暖又体面,想不优雅都难

数码要闻

连续五年全国销量第一 添可洗地机为何被称一次性用品?

本地新闻

云游安徽|踏过战壕与石板,读一部活的淮北史

军事要闻

最新现场:山东舰完成年度最后一次海上训练

无障碍浏览 进入关怀版
×