网易首页 > 网易号 > 正文 申请入驻

人大、清华DeepAnalyze,让LLM化身数据科学家

0
分享至



来自人大和清华的研究团队发布了DeepAnalyze,首个面向自主数据科学的 agentic LLM。DeepAnalyze引起了社区内广泛讨论,一周内收获1000多个GitHub星标、20w余次社交媒体浏览量。

DeepAnalyze正在不断完善中,诚邀大家交流合作!欢迎研究者和从业者在GitHub提交pull request,成为contributor,共建DeepAnalyze!

DeepAnalyze-8B 能够模拟数据科学家的行为,在真实环境中主动编排、优化操作,最终完成复杂的数据科学任务。支持各种以数据为核心的任务:

  • 数据任务:自动化数据准备、数据分析、数据建模、数据可视化、数据洞察、报告生成;
  • 数据研究:可在任意数量的结构化数据(数据库、CSV、Excel)、半结构化数据(JSON、XML、YAML)、非结构化数据(TXT、Markdown)中进行开放式深度研究,生成分析师级别的研究报告;



DeepAnalyze 是一个 agentic LLM,无需任何启发式 workflow,即可自主完成复杂数据科学任务

  • 论文链接:https://arxiv.org/pdf/2510.16872
  • 代码、Demo链接:https://github.com/ruc-datalab/DeepAnalyze
  • 模型链接:https://huggingface.co/RUC-DataLab/DeepAnalyze-8B
  • 数据链接:https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K

DeepAnalyze 的论文、代码、模型、数据均已开源,欢迎大家体验!

DeepAnalyze: 自主完成数据科学全流程

DeepAnalyze 可本地部署,作为您的私有数据科学助手!

DeepAnalyze 是什么?

现有将 LLMs 应用于自主数据科学的方法,可以分为两类:

  • 领域特定的 LLM:面向数据科学的代码生成 LLM、结构化数据理解 LLM...
  • 基于 workflow 的智能体:人为设计 workflow,通过 prompt 调用闭源 LLM 完成任务

现有工作面临两方面局限性:

  • 仅支持单点任务(例如数据分析、数据建模),无法端到端完成数据科学全流程。
  • 闭源模型未在真实环境中的数据科学任务上训练过,难以编排和优化各种复杂操作。

DeepAnalyze 希望推动基于 LLM 的数据科学系统从 workflow-based agent 范式转变到可训练的 agentic LLM 范式。

数据科学的复杂性为训练 agentic LLM 提出了新的挑战,包括:

  • 奖励稀疏:数据科学的复杂性使得 LLMs 在训练的早期阶段基本无法成功完成任务,难以获得正向奖励信号,从而导致 agentic LLM 训练过程崩溃。
  • 路径稀缺:数据科学的解决过程通常依赖长链推理,求解轨迹的稀缺使得 LLMs 缺少足够的指导,导致其在庞大的搜索空间中进行低效且盲目的试错式探索。



针对这两个问题,DeepAnalyze 引入了:

  • Curriculum-based Agentic Training:在真实环境中从单一任务到符合任务渐进式训练 LLM,让大模型逐步提升能力,避免在复杂任务上奖励信号为 0 导致的强化学习失效
  • Data-grounded Trajectory Synthesis:自动化合成 500K 数据科学的推理、环境交互数据,在庞大的搜索空间中提供正确路径的指导

通过在真实环境中的 agentic 训练,DeepAnalyze 具备了自动编排和自适应优化操作的能力,能端到端地完成数据科学全流程,包括具体的数据任务和开放式的数据研究。

DeepAnalyze 在数据科学 Benchmarks 上表现优异

1. DeepAnalyze-8B 在 DataSciBench(端到端数据科学 Benchmark)优于所有开源模型,和 GPT-4o 相媲美



2. DeepAnalyze 在 DSBench 数据分析和数据建模任务上由于基于 workflow 的智能体



3. DeepAnalyze 在面向数据的深度研究中取得最佳表现,能生成分析师级别的分析报告



例如:



更多实验结果请参见 DeepAnalyze 论文。

总结

  • DeepAnalyze 是首个面向自主数据科学的 agentic LLM,具备两项关键能力:自主编排(autonomous orchestration)和自适应优化(adaptive optimization)。
  • DeepAnalyze 作为一个基础模型,可以直接应用,或通过提示(prompting)或监督微调(supervised fine-tuning)进一步定制以适应特定场景。
  • 提出的Curriculum-based Agentic Training 训练范式和 data-grounded trajectory synthesis 数据合成方法,解决了复杂场景下的奖励稀疏(reward sparsity)和轨迹稀缺(trajectory scarcity)问题,实现对需要多种能力的高复杂度任务的有效学习。

附 DeepAnalyze 交流讨论群:https://mmbiz.qpic.cn/sz_mmbiz_jpg/KmXPKA19gWic6zf3dIibVR9xawZv04VjicAI9yx40Al0AcA4sv5MDErrLrloTbEKUDiah5vc0K5jpgKibrfJwrXT6hg/640?wx_fmt=jpeg&from=appmsg&tp=wxpic&wxfrom=5&wx_lazy=1#imgIndex=7

作者介绍:



张绍磊,中国人民大学信息学院助理教授,位于中国人民大学讲席教授范举教授团队。他博士毕业于中国科学院计算技术研究所,导师为冯洋研究员。他的研究方向涵盖大语言模型、多模态大模型、AI for Data Science。相关研究成果在 NeurIPS、ACL、ICLR 等国际人工智能与自然语言处理会议发表论文 30 余篇,开源的多语言大模型、多模态大模型、数据科学大模型在 GitHub 社区累计获得 5000 + 星标。他长期担任 CCF-A 类国际会议 ACL ARR 的领域主席和责任编辑。个人主页:zhangshaolei1998@github.io。



范举,中国人民大学教授、博士生导师,国家级青年人才,中国计算机学会数据库专委会、大数据专委会执行委员。研究方向包括:数据治理技术与系统、智能数据库系统等。相关研究成果在计算机领域国际顶级期刊 / 会议发表论文 60 余篇。作为负责人先后主持国家自然科学基金优秀青年基金项目、重点项目、面上项目,以及多项产学研合作项目。先后获得 ICDE 2025 Best Paper Runner-Up、ACM SIGMOD Research Highlight Award、ACM China Rising Award、宝钢优秀教师等奖励。

RUC-DataLab是中国人民大学信息学院、数据工程与知识工程教育部重点实验室设立的科研团队,负责人是范举教授,团队专注于数据系统+人工智能 (Data+AI)交叉领域,致力于将数据技术与人工智能技术深度融合,从而打造更加智能、高效的新型数据系统。主要研究方向包括:(1)数据库系统智能化(AI4DB):利用人工智能技术提升数据库系统的查询性能、自治能力等;(2)数据库技术赋能AI系统(DB4AI):利用数据管理技术支撑大模型训练的数据准备、大模型推理的低延迟、高吞吐优化;(3)数智融合的新型数据科学系统(AI4DS):利用推理大模型、多模态语义理解与智能体等技术,提升数据科学系统的智能化水平与执行性能,有效释放数据价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
捐款修路的“广州樊先生”是樊振东 五年捐款近280万

捐款修路的“广州樊先生”是樊振东 五年捐款近280万

大象新闻
2026-01-15 07:49:03
征战23载NBA!詹姆斯退役后退休金曝光,数额让网友直呼意外

征战23载NBA!詹姆斯退役后退休金曝光,数额让网友直呼意外

篮球看比赛
2026-01-15 11:22:21
太美了!陈梦庆祝32岁生日曝光:穿纱裙变花仙子,完成最后一舞?

太美了!陈梦庆祝32岁生日曝光:穿纱裙变花仙子,完成最后一舞?

李喜林篮球绝杀
2026-01-15 14:40:10
57岁江珊现状让人心酸,脸垮嘴斜,满头白发,一代女神像老太太

57岁江珊现状让人心酸,脸垮嘴斜,满头白发,一代女神像老太太

一娱三分地
2025-11-29 22:10:18
网友们把当下国企的内幕说得明明白白

网友们把当下国企的内幕说得明明白白

清晖有墨
2025-11-21 19:56:40
重回巅峰!中国汽车第一城,易主了

重回巅峰!中国汽车第一城,易主了

西部城市
2026-01-14 20:21:23
炸了!2026 网约车行业第一雷引爆,广州租赁巨头破产,行业拐点已到

炸了!2026 网约车行业第一雷引爆,广州租赁巨头破产,行业拐点已到

网约车观察室
2026-01-15 09:53:33
中戏院长落马,牵出明星暗线!寒门艺考生的前路究竟在哪里?

中戏院长落马,牵出明星暗线!寒门艺考生的前路究竟在哪里?

垛垛糖
2026-01-14 20:33:18
35岁美国女星穿透视装走红毯惹争议,被抨击:你已经不是小姑娘了

35岁美国女星穿透视装走红毯惹争议,被抨击:你已经不是小姑娘了

译言
2026-01-13 23:04:52
周杰伦澳网首赛!戴假发上场、5秒出局球都没碰到,昆凌憋不住笑

周杰伦澳网首赛!戴假发上场、5秒出局球都没碰到,昆凌憋不住笑

人间无味啊
2026-01-15 00:45:38
南博风波后续:全网追查“借画不还”的神秘老同志,揭开历史迷雾

南博风波后续:全网追查“借画不还”的神秘老同志,揭开历史迷雾

公子麦少
2025-12-21 14:54:43
痛心!女孩撕心裂肺追妈妈晕倒身亡

痛心!女孩撕心裂肺追妈妈晕倒身亡

极目新闻
2026-01-14 23:46:15
贾国龙确认西贝将关闭102家门店,网友:都怪罗永浩

贾国龙确认西贝将关闭102家门店,网友:都怪罗永浩

三言科技
2026-01-15 15:47:08
官媒发文,官宣与辉同行传来“噩耗”,网友:董宇辉该何去何从

官媒发文,官宣与辉同行传来“噩耗”,网友:董宇辉该何去何从

阿纂看事
2026-01-14 14:24:33
陪睡陪玩只是冰山一角!万达蒸发800亿后,王思聪再次传出大丑闻

陪睡陪玩只是冰山一角!万达蒸发800亿后,王思聪再次传出大丑闻

阿器谈史
2025-12-26 15:26:05
40岁邓莎宣布离婚!直言无法改变路行,将告别过去追求新的人生

40岁邓莎宣布离婚!直言无法改变路行,将告别过去追求新的人生

萌神木木
2026-01-15 17:06:33
从高处跌落的硅胶脸夫人:被拘4个月瘦到80斤,头发花白眼神惊恐

从高处跌落的硅胶脸夫人:被拘4个月瘦到80斤,头发花白眼神惊恐

照见古今
2025-12-12 18:19:05
Netflix出品的成人动漫,太过瘾了

Netflix出品的成人动漫,太过瘾了

来看美剧
2026-01-15 20:32:01
回应特朗普三点:台海、伊朗与所谓道德!

回应特朗普三点:台海、伊朗与所谓道德!

新民周刊
2026-01-15 09:13:58
中国有源相控阵雷达真实水平:并非世界第一,和美差距有多大

中国有源相控阵雷达真实水平:并非世界第一,和美差距有多大

黑翼天使
2026-01-10 03:28:16
2026-01-15 21:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12126文章数 142536关注度
往期回顾 全部

科技要闻

阿里最狠的一次“自我革命”

头条要闻

中央纪委全会公报发布 首现着重查处"关键少数"等表述

头条要闻

中央纪委全会公报发布 首现着重查处"关键少数"等表述

体育要闻

聂卫平:黑白棋盘上的凡人棋圣

娱乐要闻

传奇棋圣聂卫平离世,网友集体悼念

财经要闻

央行再次结构性降息0.25个百分点

汽车要闻

吉利帝豪/缤越推冠军一口价 起售价4.88万

态度原创

手机
旅游
亲子
本地
公开课

手机要闻

华为nova 16系列再次被确认:Deco大变样,或6月份左右发布!

旅游要闻

入境要“晒存款”?行程还要报备?巴厘岛“高标准”新规引热议

亲子要闻

既在意料之中,又在意料之外

本地新闻

云游内蒙|黄沙与碧波撞色,乌海天生会“混搭”

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版