网易首页 > 网易号 > 正文 申请入驻

人大、清华DeepAnalyze,让LLM化身数据科学家

0
分享至



来自人大和清华的研究团队发布了DeepAnalyze,首个面向自主数据科学的 agentic LLM。DeepAnalyze引起了社区内广泛讨论,一周内收获1000多个GitHub星标、20w余次社交媒体浏览量。

DeepAnalyze正在不断完善中,诚邀大家交流合作!欢迎研究者和从业者在GitHub提交pull request,成为contributor,共建DeepAnalyze!

DeepAnalyze-8B 能够模拟数据科学家的行为,在真实环境中主动编排、优化操作,最终完成复杂的数据科学任务。支持各种以数据为核心的任务:

  • 数据任务:自动化数据准备、数据分析、数据建模、数据可视化、数据洞察、报告生成;
  • 数据研究:可在任意数量的结构化数据(数据库、CSV、Excel)、半结构化数据(JSON、XML、YAML)、非结构化数据(TXT、Markdown)中进行开放式深度研究,生成分析师级别的研究报告;



DeepAnalyze 是一个 agentic LLM,无需任何启发式 workflow,即可自主完成复杂数据科学任务

  • 论文链接:https://arxiv.org/pdf/2510.16872
  • 代码、Demo链接:https://github.com/ruc-datalab/DeepAnalyze
  • 模型链接:https://huggingface.co/RUC-DataLab/DeepAnalyze-8B
  • 数据链接:https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K

DeepAnalyze 的论文、代码、模型、数据均已开源,欢迎大家体验!

DeepAnalyze: 自主完成数据科学全流程

DeepAnalyze 可本地部署,作为您的私有数据科学助手!

DeepAnalyze 是什么?

现有将 LLMs 应用于自主数据科学的方法,可以分为两类:

  • 领域特定的 LLM:面向数据科学的代码生成 LLM、结构化数据理解 LLM...
  • 基于 workflow 的智能体:人为设计 workflow,通过 prompt 调用闭源 LLM 完成任务

现有工作面临两方面局限性:

  • 仅支持单点任务(例如数据分析、数据建模),无法端到端完成数据科学全流程。
  • 闭源模型未在真实环境中的数据科学任务上训练过,难以编排和优化各种复杂操作。

DeepAnalyze 希望推动基于 LLM 的数据科学系统从 workflow-based agent 范式转变到可训练的 agentic LLM 范式。

数据科学的复杂性为训练 agentic LLM 提出了新的挑战,包括:

  • 奖励稀疏:数据科学的复杂性使得 LLMs 在训练的早期阶段基本无法成功完成任务,难以获得正向奖励信号,从而导致 agentic LLM 训练过程崩溃。
  • 路径稀缺:数据科学的解决过程通常依赖长链推理,求解轨迹的稀缺使得 LLMs 缺少足够的指导,导致其在庞大的搜索空间中进行低效且盲目的试错式探索。



针对这两个问题,DeepAnalyze 引入了:

  • Curriculum-based Agentic Training:在真实环境中从单一任务到符合任务渐进式训练 LLM,让大模型逐步提升能力,避免在复杂任务上奖励信号为 0 导致的强化学习失效
  • Data-grounded Trajectory Synthesis:自动化合成 500K 数据科学的推理、环境交互数据,在庞大的搜索空间中提供正确路径的指导

通过在真实环境中的 agentic 训练,DeepAnalyze 具备了自动编排和自适应优化操作的能力,能端到端地完成数据科学全流程,包括具体的数据任务和开放式的数据研究。

DeepAnalyze 在数据科学 Benchmarks 上表现优异

1. DeepAnalyze-8B 在 DataSciBench(端到端数据科学 Benchmark)优于所有开源模型,和 GPT-4o 相媲美



2. DeepAnalyze 在 DSBench 数据分析和数据建模任务上由于基于 workflow 的智能体



3. DeepAnalyze 在面向数据的深度研究中取得最佳表现,能生成分析师级别的分析报告



例如:



更多实验结果请参见 DeepAnalyze 论文。

总结

  • DeepAnalyze 是首个面向自主数据科学的 agentic LLM,具备两项关键能力:自主编排(autonomous orchestration)和自适应优化(adaptive optimization)。
  • DeepAnalyze 作为一个基础模型,可以直接应用,或通过提示(prompting)或监督微调(supervised fine-tuning)进一步定制以适应特定场景。
  • 提出的Curriculum-based Agentic Training 训练范式和 data-grounded trajectory synthesis 数据合成方法,解决了复杂场景下的奖励稀疏(reward sparsity)和轨迹稀缺(trajectory scarcity)问题,实现对需要多种能力的高复杂度任务的有效学习。

附 DeepAnalyze 交流讨论群:https://mmbiz.qpic.cn/sz_mmbiz_jpg/KmXPKA19gWic6zf3dIibVR9xawZv04VjicAI9yx40Al0AcA4sv5MDErrLrloTbEKUDiah5vc0K5jpgKibrfJwrXT6hg/640?wx_fmt=jpeg&from=appmsg&tp=wxpic&wxfrom=5&wx_lazy=1#imgIndex=7

作者介绍:



张绍磊,中国人民大学信息学院助理教授,位于中国人民大学讲席教授范举教授团队。他博士毕业于中国科学院计算技术研究所,导师为冯洋研究员。他的研究方向涵盖大语言模型、多模态大模型、AI for Data Science。相关研究成果在 NeurIPS、ACL、ICLR 等国际人工智能与自然语言处理会议发表论文 30 余篇,开源的多语言大模型、多模态大模型、数据科学大模型在 GitHub 社区累计获得 5000 + 星标。他长期担任 CCF-A 类国际会议 ACL ARR 的领域主席和责任编辑。个人主页:zhangshaolei1998@github.io。



范举,中国人民大学教授、博士生导师,国家级青年人才,中国计算机学会数据库专委会、大数据专委会执行委员。研究方向包括:数据治理技术与系统、智能数据库系统等。相关研究成果在计算机领域国际顶级期刊 / 会议发表论文 60 余篇。作为负责人先后主持国家自然科学基金优秀青年基金项目、重点项目、面上项目,以及多项产学研合作项目。先后获得 ICDE 2025 Best Paper Runner-Up、ACM SIGMOD Research Highlight Award、ACM China Rising Award、宝钢优秀教师等奖励。

RUC-DataLab是中国人民大学信息学院、数据工程与知识工程教育部重点实验室设立的科研团队,负责人是范举教授,团队专注于数据系统+人工智能 (Data+AI)交叉领域,致力于将数据技术与人工智能技术深度融合,从而打造更加智能、高效的新型数据系统。主要研究方向包括:(1)数据库系统智能化(AI4DB):利用人工智能技术提升数据库系统的查询性能、自治能力等;(2)数据库技术赋能AI系统(DB4AI):利用数据管理技术支撑大模型训练的数据准备、大模型推理的低延迟、高吞吐优化;(3)数智融合的新型数据科学系统(AI4DS):利用推理大模型、多模态语义理解与智能体等技术,提升数据科学系统的智能化水平与执行性能,有效释放数据价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陈熠不敌申裕斌,没想到赛后她会这样说,已尽力

陈熠不敌申裕斌,没想到赛后她会这样说,已尽力

范櫳舍长
2025-11-02 06:22:07
连输残阵雄鹿步行者,暴露库里2大致命弊端,勇士的3个不争事实

连输残阵雄鹿步行者,暴露库里2大致命弊端,勇士的3个不争事实

后仰大风车
2025-11-02 12:23:52
疑似小米已暂停轻薄Air项目新机,因iPhone Air销量太差

疑似小米已暂停轻薄Air项目新机,因iPhone Air销量太差

热点科技
2025-10-31 18:35:50
美军上将大胆预言:解放军的统一之战,会以这个名义打响第一枪?

美军上将大胆预言:解放军的统一之战,会以这个名义打响第一枪?

朔方瞭望
2025-11-02 10:04:34
陈涛:很遗憾没从自己手中保级,但结局还好不辱使命

陈涛:很遗憾没从自己手中保级,但结局还好不辱使命

懂球帝
2025-11-01 22:25:12
A股:证监会重磅发声,这个板块提前透露大利好,下周稳了!

A股:证监会重磅发声,这个板块提前透露大利好,下周稳了!

夜深爱杂谈
2025-11-02 08:18:31
湖北小伙骑车接新娘回家,半路遇车祸当场身亡,真相出人意料

湖北小伙骑车接新娘回家,半路遇车祸当场身亡,真相出人意料

碎碎纪实
2025-11-01 18:44:38
明天早高峰通行压力大,记得错峰出行

明天早高峰通行压力大,记得错峰出行

大象新闻
2025-11-02 11:10:09
一个糊弄的世界——特朗普全世界水来的四万亿订单,大概率都会黄

一个糊弄的世界——特朗普全世界水来的四万亿订单,大概率都会黄

超级学爸蛋总
2025-11-01 23:12:55
4-3!4-2!女单4强全部诞生!陈熠被淘汰,王艺迪送张本美和出局

4-3!4-2!女单4强全部诞生!陈熠被淘汰,王艺迪送张本美和出局

侃球熊弟
2025-11-02 05:10:24
台湾回归还有一种新方案,国民党若同意,解放军或无需动武

台湾回归还有一种新方案,国民党若同意,解放军或无需动武

瞻史
2025-10-31 02:20:52
都别做梦了!哪怕两岸和平统一,台湾也不可能让解放军在台驻军

都别做梦了!哪怕两岸和平统一,台湾也不可能让解放军在台驻军

王楔晓
2025-11-01 20:02:28
王家卫录音意外替刘诗诗“伸冤”,连卓伟都说她娱乐圈最干净

王家卫录音意外替刘诗诗“伸冤”,连卓伟都说她娱乐圈最干净

书咚咚
2025-11-01 19:24:55
日本一女子在家中遇害,丈夫为破案租住其遇害公寓26年;26年后凶手自首,竟是死者丈夫的同学

日本一女子在家中遇害,丈夫为破案租住其遇害公寓26年;26年后凶手自首,竟是死者丈夫的同学

极目新闻
2025-11-01 21:44:00
厦门男女干部的“出轨门”,荒唐又离谱!

厦门男女干部的“出轨门”,荒唐又离谱!

房产老司机
2025-11-01 11:33:21
5胜0负!成东部唯一不败队伍!又一个哈登诞生?这笔交易真的双赢

5胜0负!成东部唯一不败队伍!又一个哈登诞生?这笔交易真的双赢

篮球扫地僧
2025-11-02 11:55:38
试播6集被叫停,30年前这部神剧,说透了中国三代人的命运

试播6集被叫停,30年前这部神剧,说透了中国三代人的命运

手工制作阿歼
2025-10-30 11:33:32
开拓者下放杨瀚森引热议:下一个姚明暂时搁置 他一定会强势回归

开拓者下放杨瀚森引热议:下一个姚明暂时搁置 他一定会强势回归

罗说NBA
2025-11-02 06:27:28
注意!上海冷空气马上到!街头这一幕市民直呼惊奇↗

注意!上海冷空气马上到!街头这一幕市民直呼惊奇↗

极目新闻
2025-11-02 09:59:12
赵鸿刚出战“世界耳光大赛”惨遭KO,本人最新回应:眉骨处伤口已缝5针,摘墨镜眼睛肿得睁不开

赵鸿刚出战“世界耳光大赛”惨遭KO,本人最新回应:眉骨处伤口已缝5针,摘墨镜眼睛肿得睁不开

极目新闻
2025-11-02 08:11:51
2025-11-02 12:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
11617文章数 142497关注度
往期回顾 全部

科技要闻

10月零跑突破7万辆,小鹏、蔚来超4万辆

头条要闻

万斯一句话让印度裔美国人炸锅 遭铺天盖地批评后回应

头条要闻

万斯一句话让印度裔美国人炸锅 遭铺天盖地批评后回应

体育要闻

李大林获2025北马国内男子组冠军

娱乐要闻

离世的他曾是刘德华张学友御用班底

财经要闻

段永平捐了1500万元茅台股票!本人回应

汽车要闻

神龙汽车推出“发动机终身质保”政策

态度原创

数码
本地
时尚
亲子
公开课

数码要闻

樱桃推出 CHERRY STREAM ULTIMATE 外设,含可自定义电磁滚轮鼠标

本地新闻

全网围观,到底多少人被这个野人大学生笑疯了

松弛感穿搭太适合秋冬了,减龄又好看

亲子要闻

孕期低糖控糖指南:科学饮食守护母婴健康的甜蜜平衡

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版