网易首页 > 网易号 > 正文 申请入驻

人大、清华DeepAnalyze,让LLM化身数据科学家

0
分享至

来自人大和清华的研究团队发布了DeepAnalyze,首个面向自主数据科学的 agentic LLM。DeepAnalyze引起了社区内广泛讨论,一周内收获1000多个GitHub星标、20w余次社交媒体浏览量。

DeepAnalyze正在不断完善中,诚邀大家交流合作!欢迎研究者和从业者在GitHub提交pull request,成为contributor,共建DeepAnalyze!

DeepAnalyze-8B 能够模拟数据科学家的行为,在真实环境中主动编排、优化操作,最终完成复杂的数据科学任务。支持各种以数据为核心的任务:

  • 数据任务:自动化数据准备、数据分析、数据建模、数据可视化、数据洞察、报告生成;
  • 数据研究:可在任意数量的结构化数据(数据库、CSV、Excel)、半结构化数据(JSON、XML、YAML)、非结构化数据(TXT、Markdown)中进行开放式深度研究,生成分析师级别的研究报告;

DeepAnalyze 是一个 agentic LLM,无需任何启发式 workflow,即可自主完成复杂数据科学任务

  • 论文链接:https://arxiv.org/pdf/2510.16872
  • 代码、Demo链接:https://github.com/ruc-datalab/DeepAnalyze
  • 模型链接:https://huggingface.co/RUC-DataLab/DeepAnalyze-8B
  • 数据链接:https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K

DeepAnalyze 的论文、代码、模型、数据均已开源,欢迎大家体验!

DeepAnalyze: 自主完成数据科学全流程

DeepAnalyze 可本地部署,作为您的私有数据科学助手!

DeepAnalyze 是什么?

现有将 LLMs 应用于自主数据科学的方法,可以分为两类:

  • 领域特定的 LLM:面向数据科学的代码生成 LLM、结构化数据理解 LLM...
  • 基于 workflow 的智能体:人为设计 workflow,通过 prompt 调用闭源 LLM 完成任务

现有工作面临两方面局限性:

  • 仅支持单点任务(例如数据分析、数据建模),无法端到端完成数据科学全流程。
  • 闭源模型未在真实环境中的数据科学任务上训练过,难以编排和优化各种复杂操作。

DeepAnalyze 希望推动基于 LLM 的数据科学系统从 workflow-based agent 范式转变到可训练的 agentic LLM 范式。

数据科学的复杂性为训练 agentic LLM 提出了新的挑战,包括:

  • 奖励稀疏:数据科学的复杂性使得 LLMs 在训练的早期阶段基本无法成功完成任务,难以获得正向奖励信号,从而导致 agentic LLM 训练过程崩溃。
  • 路径稀缺:数据科学的解决过程通常依赖长链推理,求解轨迹的稀缺使得 LLMs 缺少足够的指导,导致其在庞大的搜索空间中进行低效且盲目的试错式探索。

针对这两个问题,DeepAnalyze 引入了:

  • Curriculum-based Agentic Training:在真实环境中从单一任务到符合任务渐进式训练 LLM,让大模型逐步提升能力,避免在复杂任务上奖励信号为 0 导致的强化学习失效
  • Data-grounded Trajectory Synthesis:自动化合成 500K 数据科学的推理、环境交互数据,在庞大的搜索空间中提供正确路径的指导

通过在真实环境中的 agentic 训练,DeepAnalyze 具备了自动编排和自适应优化操作的能力,能端到端地完成数据科学全流程,包括具体的数据任务和开放式的数据研究。

DeepAnalyze 在数据科学 Benchmarks 上表现优异

1. DeepAnalyze-8B 在 DataSciBench(端到端数据科学 Benchmark)优于所有开源模型,和 GPT-4o 相媲美

2. DeepAnalyze 在 DSBench 数据分析和数据建模任务上由于基于 workflow 的智能体

3. DeepAnalyze 在面向数据的深度研究中取得最佳表现,能生成分析师级别的分析报告

例如:

更多实验结果请参见 DeepAnalyze 论文。

总结

  • DeepAnalyze 是首个面向自主数据科学的 agentic LLM,具备两项关键能力:自主编排(autonomous orchestration)和自适应优化(adaptive optimization)。
  • DeepAnalyze 作为一个基础模型,可以直接应用,或通过提示(prompting)或监督微调(supervised fine-tuning)进一步定制以适应特定场景。
  • 提出的Curriculum-based Agentic Training 训练范式和 data-grounded trajectory synthesis 数据合成方法,解决了复杂场景下的奖励稀疏(reward sparsity)和轨迹稀缺(trajectory scarcity)问题,实现对需要多种能力的高复杂度任务的有效学习。

附 DeepAnalyze 交流讨论群:https://mmbiz.qpic.cn/sz_mmbiz_jpg/KmXPKA19gWic6zf3dIibVR9xawZv04VjicAI9yx40Al0AcA4sv5MDErrLrloTbEKUDiah5vc0K5jpgKibrfJwrXT6hg/640?wx_fmt=jpeg&from=appmsg&tp=wxpic&wxfrom=5&wx_lazy=1#imgIndex=7

作者介绍:

张绍磊,中国人民大学信息学院助理教授,位于中国人民大学讲席教授范举教授团队。他博士毕业于中国科学院计算技术研究所,导师为冯洋研究员。他的研究方向涵盖大语言模型、多模态大模型、AI for Data Science。相关研究成果在 NeurIPS、ACL、ICLR 等国际人工智能与自然语言处理会议发表论文 30 余篇,开源的多语言大模型、多模态大模型、数据科学大模型在 GitHub 社区累计获得 5000 + 星标。他长期担任 CCF-A 类国际会议 ACL ARR 的领域主席和责任编辑。个人主页:zhangshaolei1998@github.io。

范举,中国人民大学教授、博士生导师,国家级青年人才,中国计算机学会数据库专委会、大数据专委会执行委员。研究方向包括:数据治理技术与系统、智能数据库系统等。相关研究成果在计算机领域国际顶级期刊 / 会议发表论文 60 余篇。作为负责人先后主持国家自然科学基金优秀青年基金项目、重点项目、面上项目,以及多项产学研合作项目。先后获得 ICDE 2025 Best Paper Runner-Up、ACM SIGMOD Research Highlight Award、ACM China Rising Award、宝钢优秀教师等奖励。

RUC-DataLab是中国人民大学信息学院、数据工程与知识工程教育部重点实验室设立的科研团队,负责人是范举教授,团队专注于数据系统+人工智能 (Data+AI)交叉领域,致力于将数据技术与人工智能技术深度融合,从而打造更加智能、高效的新型数据系统。主要研究方向包括:(1)数据库系统智能化(AI4DB):利用人工智能技术提升数据库系统的查询性能、自治能力等;(2)数据库技术赋能AI系统(DB4AI):利用数据管理技术支撑大模型训练的数据准备、大模型推理的低延迟、高吞吐优化;(3)数智融合的新型数据科学系统(AI4DS):利用推理大模型、多模态语义理解与智能体等技术,提升数据科学系统的智能化水平与执行性能,有效释放数据价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
第一时间回应!库尔图瓦ins连续转发扑出巴洛贡打门瞬间图

第一时间回应!库尔图瓦ins连续转发扑出巴洛贡打门瞬间图

云隐南山
2026-07-07 10:54:03
“牡丹花下死,做鬼也风流”!这一次,75岁的张纪中彻底成了笑话

“牡丹花下死,做鬼也风流”!这一次,75岁的张纪中彻底成了笑话

潋滟晴方DAY
2026-07-05 17:13:11
他从朝鲜回来无职务,授衔时得知自己是海南军区司令,怀疑听错了

他从朝鲜回来无职务,授衔时得知自己是海南军区司令,怀疑听错了

史之韵
2026-06-14 00:48:49
周立伟任四川省委常委,此前任山东省委常委、组织部部长

周立伟任四川省委常委,此前任山东省委常委、组织部部长

澎湃新闻
2026-07-07 17:02:30
哈兰德女友晒“全家福”,2岁儿子罕见曝光,24岁宝妈美腿惹眼

哈兰德女友晒“全家福”,2岁儿子罕见曝光,24岁宝妈美腿惹眼

译言
2026-07-07 07:14:25
挪威晋级之后,三文鱼不够卖了

挪威晋级之后,三文鱼不够卖了

体育产业生态圈
2026-07-06 12:38:51
伊朗密件曝光:送葬高温拥挤致3000死

伊朗密件曝光:送葬高温拥挤致3000死

冷眼看尽世间繁华
2026-07-06 21:37:40
日本永住、入籍门槛再提高:不仅要会日语,还要学会“怎么做个日本人”?

日本永住、入籍门槛再提高:不仅要会日语,还要学会“怎么做个日本人”?

东京在线
2026-07-06 23:11:15
1966年,毛泽东在滴水洞隐居11天,张耀祠率领8341部队,一路随行

1966年,毛泽东在滴水洞隐居11天,张耀祠率领8341部队,一路随行

搜史君
2026-06-26 13:00:12
成都一女子不洗手抱孙子,儿媳怒斥不卫生,儿子一拳打面中,母亲扬言要儿子坐牢,儿子却说:她活该!6年后现状曝光...

成都一女子不洗手抱孙子,儿媳怒斥不卫生,儿子一拳打面中,母亲扬言要儿子坐牢,儿子却说:她活该!6年后现状曝光...

背包旅行
2026-07-02 14:33:11
中超第18轮大胆预测:大连双杀海港,泰山大胜云南!申花战平国安

中超第18轮大胆预测:大连双杀海港,泰山大胜云南!申花战平国安

刀锋体育
2026-07-07 13:38:03
湖北省委书记关志鸥第一时间作出批示,省长李殿勋连夜赶赴黄冈、鄂州,实地察看灾情

湖北省委书记关志鸥第一时间作出批示,省长李殿勋连夜赶赴黄冈、鄂州,实地察看灾情

政知新媒体
2026-07-07 14:03:09
日本挖到1600万吨稀土,够用800年?日媒:中国稀土“卡脖”失败

日本挖到1600万吨稀土,够用800年?日媒:中国稀土“卡脖”失败

大卫聊科技
2026-07-06 12:36:08
贝克汉姆14岁的女儿小七怎么如此成熟了,好像少妇

贝克汉姆14岁的女儿小七怎么如此成熟了,好像少妇

西楼知趣杂谈
2026-06-13 19:52:21
福建5位县(市、区)委书记履新

福建5位县(市、区)委书记履新

黄河新闻网吕梁
2026-07-07 14:56:45
两岸一同发声,台“陆委会”引火烧身,郑丽文:台湾的根快烂掉了

两岸一同发声,台“陆委会”引火烧身,郑丽文:台湾的根快烂掉了

梦想的现实
2026-07-06 16:31:01
突发!伊朗向通过霍尔木兹海峡的商船发射导弹,多艘商船被击中受损!一油轮、一液化天然气船遭袭起火,国际油价上涨

突发!伊朗向通过霍尔木兹海峡的商船发射导弹,多艘商船被击中受损!一油轮、一液化天然气船遭袭起火,国际油价上涨

每日经济新闻
2026-07-07 09:57:05
3.8亿投资就这?周星驰《功夫女足》预告口碑崩了,14亿才能回本

3.8亿投资就这?周星驰《功夫女足》预告口碑崩了,14亿才能回本

情感大头说说
2026-07-07 07:41:27
中国走则万物落!面对印尼的镍矿收割,中企用21天拆除生产线回国

中国走则万物落!面对印尼的镍矿收割,中企用21天拆除生产线回国

老谢谈史
2026-07-04 12:49:39
菲律宾变天倒计时,中方出面,杜特尔特远程布局?10万人冲上街头

菲律宾变天倒计时,中方出面,杜特尔特远程布局?10万人冲上街头

通鉴史智
2026-07-07 09:33:05
2026-07-07 17:43:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13454文章数 142689关注度
往期回顾 全部

科技要闻

Claude说话前 脑子里可能先亮起了这些概念

头条要闻

多国“批评”中方导弹试射活动 外交部再回应

头条要闻

多国“批评”中方导弹试射活动 外交部再回应

体育要闻

比利时干掉美国:正义必胜大喜剧!

娱乐要闻

私密照流出!曝关晓彤曾两次原谅鹿晗

财经要闻

百万粉丝主播的减肥“生意”

汽车要闻

试驾全新坦克300 Hi4-Z/激光雷达/全场景NOA

态度原创

本地
亲子
健康
家居
公开课

本地新闻

国内足球之旅?这座小城给你高分答案

亲子要闻

健身房编外学员,里面专业骑单车,外面迷你跟练,主打一个免费蹭动感单车课

突发中风 脑梗和脑出血怎么判断?

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版