首页
AI
LLM能否替代数据科学家?DeepAnalyze告别低效数据分析

LLM能否替代数据科学家?DeepAnalyze告别低效数据分析

热心网友
转载
2025-11-03

来自中国人民大学与清华大学的研究团队推出DeepAnalyze——你的专属"数据科学家"。只需一个简单指令,它就能帮你自动化分析各类数据集,并独立完成各类数据科学任务。

你是否还在为繁杂的数据文件和海量信息而苦恼?是否希望能够自动从数据中挖掘出真正有价值的商业洞察?

最近,由人大与清华联合研发的DeepAnalyze——这款专为数据科学打造的智能助手,让你只需简单描述需求,它就能自主分析数据、完成建模、生成可视化报告等多项复杂任务:

支持自动化数据准备、数据分析、数据建模、数据可视化、数据洞察

数据研究:可在非结构化数据、半结构化数据、结构化数据中进行开放式深度研究,生成研究报告

DeepAnalyze是全球首个面向数据科学的自主智能体,无需预设工作流程,仅凭单一语言模型即可像专业数据科学家那样,自主完成多种复杂的数据任务。

DeepAnalyze的论文、代码、模型、数据均已开源,已在GitHub收获1.1K+星标,欢迎大家亲身体验!

DeepAnalyze——你的专属"数据科学家"

DeepAnalyze能够在真实环境中自主编排和优化各类操作流程,从容应对复杂的数据科学挑战。

DeepAnalyze在真实环境中学习复杂任务

数据无处不在,而数据科学一直被视作人类智能的重要体现。从Kaggle竞赛到日常的数据分析实践,众多评测都在考察数据科学家在数据准备、分析、建模、可视化与洞察等方面的综合能力。

当前的数据智能体通常依赖人工设计的工作流程,来驱动大模型完成特定的数据分析与可视化任务。尽管在各类单点任务上已取得了令人瞩目的成果,但由于LLM的自主性仍然有限,它们距离理想的"全能自主数据科学家"依然存在明显差距。

随着大型语言模型智能水平的持续提升,一个关键问题也愈发突出:如何让LLM真正具备自主完成复杂数据科学任务的能力?

DeepAnalyze通过在真实环境中的训练,学会自主编排、自适应优化操作步骤,最终实现复杂数据科学任务的完整解决。

为达成这一目标,DeepAnalyze提出课程学习式自主训练范式(Curriculum-based Agentic Training ofDeepAnalyze)和面向数据的轨迹合成框架(Data-grounded Trajectory Synthesis)。

课程学习式Agentic训练

数据科学任务本身具有高度复杂性,这使得基础LLM在早期训练阶段往往难以顺利完成任务。任务复杂性导致模型几乎得不到正向奖励信号(即"奖励稀疏"问题),强化学习过程容易停滞,甚至出现训练崩溃的情况。

为了解决这一难题,DeepAnalyze提出了"课程学习式 Agentic 训练"。其模拟人类数据科学家的学习路径,让LLM在真实环境中从简单到复杂、从单一任务到综合任务逐步进阶。通过这种渐进式训练,模型的能力得以稳步提升,避免在复杂任务中因为"奖励信号为零"而导致学习失败。

训练过程包括两大阶段:

单能力微调:训练LLM在代码生成、结构化数据理解、逻辑推理等方面的基础能力;多能力Agentic训练:在真实任务环境中,让LLM学会运用多种能力,像数据科学家一样自主完成复杂任务。

面向数据的轨迹合成

在数据科学领域,缺乏完整的长链问题求解轨迹,这让LLM在探索解题空间时缺乏有效指引,只能进行低效、盲目的"试错式"探索,难以获得有意义的中间监督信号。

为了解决这一难题,DeepAnalyze提出了"面向数据的轨迹合成"方法。其能够自动合成50万条数据科学推理与环境交互数据,为模型在庞大的搜索空间中提供正确路径的示范和引导。

数据合成包含两个关键部分:

推理轨迹合成:基于现有的TableQA、结构化知识理解、数据科学代码生成任务,构建带有完整推理路径的训练数据;交互轨迹合成:构建多智能体系统,从结构化数据源(如Spider和BIRD)中自动合成数据科学交互轨迹,提供真实环境的交互轨迹。

DeepAnalyze支持面向数据的深度研究

DeepAnalyze支持面向数据的深度探索,能够自动生成具备专业分析师水准的研究报告。在数据研究报告生成任务中,无论是内容深度还是报告结构,DeepAnalyze的表现都显著优于现有的闭源LLM。

分析报告:

作者介绍

张绍磊,中国人民大学信息学院助理教授,隶属于中国人民大学讲席教授范举教授团队。

他博士毕业于中国科学院计算技术研究所,导师为冯洋研究员。他的研究方向涵盖大语言模型、多模态大模型、AI for Data Science。

相关研究成果在NeurIPS、ACL、ICLR等国际人工智能与自然语言处理会议发表论文30余篇,开源的多语言大模型、多模态大模型、数据科学大模型在GitHub社区累计获得5000+星标。

他长期担任CCF-A类国际会议ACL ARR的领域主席和责任编辑。个人主页:zhangshaolei1998@github.io。

范举,中国人民大学教授、博士生导师,国家级青年人才,中国计算机学会数据库专业委员会、大数据专业委员会委员。

研究方向包括:数据治理技术与系统、智能数据库系统等。

相关研究成果在计算机领域国际顶级期刊/会议发表论文60余篇。作为负责人先后主持国家自然科学基金优秀青年基金项目、重点项目、面上项目,以及多项产学研合作项目。

先后获得ICDE 2025 Best Paper Runner-Up、ACM SIGMOD Research Highlight Award、ACM China Rising Award、宝钢优秀教师等奖项。

团队介绍:

RUC-DataLab是中国人民大学信息学院、数据工程与知识工程教育部重点实验室设立的科研团队,负责人是范举教授,团队专注于数据系统+人工智能(Data+AI)交叉领域,致力于将数据技术与人工智能技术深度融合,从而打造更加智能、高效的新型数据系统。

实验室的研究方向包括:(1)数据库系统智能化(AI4DB):利用人工智能技术提升数据库系统的查询性能、自治能力等;(2)数据库技术赋能AI系统(DB4AI):利用数据管理技术支撑大模型训练的高效处理、大模型推理的低延迟、高吞吐优化;(3)数智融合的新型数据科学系统(AI4DS):利用推理大模型、多模态语义理解等技术,提升数据科学系统的智能化水平与执行性能,有效释放数据价值。

论文:https://arxiv.org/pdf/2510.16872
代码:https://github.com/ruc-datalab/DeepAnalyze
模型:https://huggingface.co/RUC-DataLab/DeepAnalyze-8B
数据:https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K
更多示例:https://ruc-deepanalyze.github.io/

来源:https://www.51cto.com/article/828636.html

免责声明

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章

谷歌2025年推Gemini 3,皮查伊:缩短与GPT-5差距需时

谷歌首席执行官桑达尔·皮查伊在近期财报电话会议中透露,公司计划于2025年正式推出新一代人工智能模型Gemini 3。这款模型被定位为谷歌AI战略的核心产品,旨在缩小与竞争对手OpenAI GPT-

2025-11-03.

AI驱动产业互联网变革:数实融合与商业创新路径解析

随着人工智能技术的深度渗透,产业互联网正从概念走向现实。无论是传统制造业还是新兴数字服务领域,一场以技术驱动为核心的产业变革正在重塑经济格局。这种变革的本质,在于实体经济与数字经济的深度融合,而人工

2025-11-03.

AI赋能IP开发新机遇:漫画市场爆发在即与产业链升级

近日,申万宏源发布的一份行业研究报告引发市场关注。报告显示,基于巨量引擎最新披露的数据,过去半年漫剧市场流水规模激增12倍,相关企业数量呈现指数级增长态势,预计未来将突破数十万家规模,市场规模有望突

2025-11-03.

声网分钟数破万亿:对话AI如何驱动RTE行业新变革

第十一届实时互联网大会Convo AI & RRTE 2025近日在北京落下帷幕,这场由声网与RTE开发者社区联合主办的活动以“AI有声”为核心主题,深入探讨了实时互动(RTE)与对话式人工智能(C

2025-11-03.

华为哈勃投资极佳视界,布局视频生成与3D建模技术

北京极佳视界科技有限公司近日完成工商信息更新,新增华为旗下投资机构及深圳华控前沿科技私募创业投资基金作为股东。此次变更后,公司注册资本由约199 3万元增至约211 7万元,股权结构进一步优化。公开

2025-11-03.

热门教程

更多
  • 游戏攻略
  • 安卓教程
  • 苹果教程
  • 电脑教程

最新下载

更多
贪吃蛇大作战体验服
贪吃蛇大作战体验服 休闲益智 2025-11-03更新
查看
贪吃蛇大作战3D
贪吃蛇大作战3D 休闲益智 2025-11-03更新
查看
小小炼金术师
小小炼金术师 休闲益智 2025-11-03更新
查看
掘地求财MOD作弊菜单
掘地求财MOD作弊菜单 休闲益智 2025-11-03更新
查看
太古仙尊vivo
太古仙尊vivo 角色扮演 2025-11-03更新
查看
梦魇
梦魇 动作冒险 2025-11-03更新
查看
群雄时代
群雄时代 棋牌策略 2025-11-03更新
查看
贪吃蛇大作战2025
贪吃蛇大作战2025 休闲益智 2025-11-03更新
查看
贪吃蛇大作战腾讯
贪吃蛇大作战腾讯 休闲益智 2025-11-03更新
查看
贪吃蛇大作战九游
贪吃蛇大作战九游 休闲益智 2025-11-03更新
查看