网易首页 > 网易号 > 正文 申请入驻

表格建模也能Scaling?树模型的时代要改变了

0
分享至



一张 H100 相当于多少个 Hadoop 实例?

让我们先从一个有趣的问题开始:站在 2026 年的当下,一张 H100 GPU 的单卡算力(FP16)大约相当于多少个 Hadoop 实例?

答案是:约 200 个( 单卡 H100 vs 一台 96 核 CPU 实例)。

这个数字背后隐藏着一个值得深思的现象:过去几年中,AI 的快速发展极大推动了算力的指数级增长。然而在结构化数据建模这一领域,行业主流方法仍然是以树模型为核心的垂直场景化解决方案。

这就形成了一个有趣的 "反差":一边是各大科技公司和大量初创企业正通过不断升级的大语言模型推动 AI 生产力的跃迁,另一边是在金融、医疗、电商、物流、工业制造等高价值行业中,真正承载智能化任务的,仍主要是以 XGBoost、随机森林为代表的树模型。这种反差让我们不得不开始思考:当算力革命发生时,结构化数据建模的 "平衡点" 是否也该被重新定义?

"苦涩的教训" 与结构化数据的困境

从更宏观的角度看,大模型研发所遵循的核心思想,可以追溯到 Richard Sutton 提出的 “苦涩的教训”(The Bitter Lesson):在 AI 的长期发展中,那些能够随着计算规模持续扩展的通用学习方法,往往最终会超越依赖人类直觉与领域知识精心设计的系统。

大语言模型的成功正是这一规律的典型体现 —— 通过统一架构与大规模数据训练,LLM 在 NLP 领域实现了跨任务、跨场景的能力迁移。然而,当企业在实际业务中解决监督学习问题时,情况却呈现出明显反差。即使在尝试引入深度学习时,也往往需要依赖复杂的数据流水线、特定架构设计以及大量领域知识的引入。这相当于用 "手工作坊" 的方式,去应对 "工业化生产" 的需求。于是出现了一个颇为有趣的现象:一方面,各大科技公司和大量初创企业正通过不断扩大的大语言模型推动 AI 生产力的跃迁;另一方面,在金融、医疗、电商、物流、工业制造、农业等高价值行业的重要社会经济领域中,真正承载智能化场景任务的,仍主要是以 XGBoost、随机森林为代表的基于树的表格分类模型或垂域深度学习分类模型,这进一步激发了我们探索结构化数据模型 scaling 上限的兴趣。

回顾历史,XGBoost 在 2014 年被广泛视为机器学习领域中算力、算法与数据三要素之间的一个 “平衡点”。但十二年后的今天,随着 GPU 算力的快速迭代并带来数量级提升,这一平衡点是否已经发生改变?结构化数据建模是否也可能像 NLP 和 CV 一样,通过新的计算范式实现突破?回到开篇的问题:当单张 H100 与一台 96 核 CPU 服务器之间已经存在约 200 倍的 FP16 算力差距时,一个自然的想法是 —— 是否可以将 GPU 的大规模并行算力真正引入结构化数据建模,并通过预训练范式重新平衡算力、数据与算法这三大核心要素。

千亿级样本预训练实践

本文将重点介绍浙大 X 蚂蚁 AIforData 团队的探索:基于蚂蚁集团海量的异构结构化数据以及丰富的下游业务场景,实现了千卡 GPU 集群下百亿级样本规模的结构化数据预训练,并系统评估了预训练模型在下游任务中的表现,实验结果表明:

1. 在工业级表格数据集上,预训练模型的性能可以稳定且显著地超越传统树模型

2. 表格数据预训练模型呈现出明显的 scaling law

3. 行为序列预训练模型同样表现出良好的 scaling law

工作 1: 表格数据预训练与 Scaling Law

https://arxiv.org/abs/2602.22777

KMLP(Kolmogorov-Arnold Network with gated MLP)是面向互联网超大规模表格数据的混合深度学习架构(中稿 The Web Conference 2026)。面对工业场景中数十亿样本、数千异构特征的建模挑战,KMLP 创新性地将浅层 KAN 作为前端特征工程构造器,结合 gMLP 主干网络捕获高阶交互,实现了端到端的自动化特征表示学习。



在包含 20 亿样本的真实信贷评分数据集上,KMLP 展现出显著的规模优势:随着数据量级提升,其相对于传统 GBDT 模型的性能优势持续扩大。这一发现验证了 KMLP 作为可扩展深度学习范式的潜力,为大规模动态互联网表格数据建模提供了新路径。



KMLP 的核心价值在于解决了传统方法的双重瓶颈:一方面克服了 GBDT 在超大规模数据集上分布式计算效率问题,另一方面通过可学习激活函数摆脱了对人工特征工程的依赖,实现了特征异构性与交互建模的统一。其相对于传统 GBDT 模型的性能优势持续扩大;解决了 GBDT 分布式计算效率问题和人工特征工程依赖。

工作 2: 行为序列预训练与 Scaling Law

https://arxiv.org/abs/2412.12468

用户行为时序数据,作为刻画用户的关键结构化数据之一,对于用户理解与建模起着重要作用。在用户建模时如何利用以及如何利用好更多的用户行为序列数据,是一个重要的研究课题。

FOUND:时序数据的语义级应用

FOUND(Transferable and Forecastable User Targeting Foundation Model)是 AIforData 团队发布在 The Web Conference 2025(WebConf 25)中的工作,面向互联网平台中多种来源的序列数据和结构化数据,构建了工业级、具有预测性的用户表征框架。

当前许多用户理解方法面临两大显著挑战:(i) 跨领域和跨场景的可迁移性及泛化能力较弱 (ii) 在实际应用中的预测能力不足。为了增强跨领域迁移能力,FOUND 框架整合了多场景用户数据,并在用户建模时创新性地通过对比学习预训练将其与根据序列语义整理得到的文本进行对齐。为了提高预测性,每个用户的文本描述基于用户未来的行为推导得出,而用户表征则由历史信息构建而成,使用过去 - 未来语义对齐的方式构造训练样本对。

由该框架产出的用户表征在真实场景 benchmark 和业务上均获得了增益。同时引入自然语言监督的方式也使得模型天然支持人群圈选这一用户理解任务,该预训练框架支持的圈人能力在下游取得了大量收益,支持超过 50 个业务场景。



序列数据的 Scaling Law

在有了上述预训练框架后,我们思考如何将综合互联网平台中更多更长的用户行为序列引入到模型中来。针对多种来源的序列数据,各自设计编码器会存在训练成本过高、表达空间不统一等缺陷,同时如何发挥更多输入序列数据的最大性能也是一个问题,即需要探索输入序列本身存在的 Scaling Law 以及如何突破可能存在的 Scaling 瓶颈。

在实验探索过程中我们发现,输入序列长度 / 用户数目在数量级较少时,性能随着天数 / 用户数目(指数)近似线性提升,Scaling 现象明显;但在输入序列增长、用户数目增加时增长缓慢,出现 Scaling 瓶颈。为解决该问题,除了增加参数这种模型层面的 Scaling,提升输入用户数据的信息密度,即对用户信息进行压缩,不失为一种节约成本且轻量的方案。在使用 RQ-VAE 方案进行用户序列数据压缩后,我们观测到出现数据增长瓶颈得到延缓,说明了压缩带来突破瓶颈的 Densing Law 现象。

核心结论:在输入序列长度 / 用户数目在数量较少时性能随着天数指数的 Scaling 现象明显,输入序列长度和用户数目增加至较大量级时出现 Scaling 瓶颈,而压缩数据可以通过提升信息密度带来突破瓶颈的 Densing Law 现象。





基于以上原始和压缩输入的 Scaling Law,我们设计了基于统一用户量化压缩的用户理解方案,将用户的多源序列等数据使用设计的 MRQ-VAE 方案压缩成语义 token ID 提升信息密度,并在此基础之上 Scaling 得到了更佳性能的用户模型。产出的通用用户表征在 80% 以上真实场景 benchmark 中相比之前原始数据输入版本均有提升,并在数字金融、支付安全、营销推荐、广告等业务中全面应用。

总结与展望

回到开篇的问题:当算力已经发生数量级变化时,结构化数据建模的范式是否也该随之改变?

蚂蚁 x 浙大 AIforData 团队的探索给出了肯定的答案。Scaling Law 正在从 NLP、CV 延伸到结构化数据领域—— 这或许意味着,那个依赖人工特征工程和场景化调参的时代,真的要过去了。

"当算力天平已经倾斜,平衡点也该重新定义。"

未来,随着算力的持续增长和预训练范式的成熟,我们有理由相信:结构化数据建模将迎来属于自己的 "大模型时刻"。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贝林厄姆赛后击打阿根廷球员,纽约时报广场球迷爆发冲突,现场一度陷入混乱

贝林厄姆赛后击打阿根廷球员,纽约时报广场球迷爆发冲突,现场一度陷入混乱

上观新闻
2026-07-16 12:34:52
真狠!连跌5年又横盘2年从96跌到9.6,社保基金却重仓第一大股东

真狠!连跌5年又横盘2年从96跌到9.6,社保基金却重仓第一大股东

长风价值掘金
2026-07-16 17:10:12
40天狂赚1.7亿!贝克汉姆捞金速度震惊世界,冉莹颖狂言复制“贝嫂”成笑话

40天狂赚1.7亿!贝克汉姆捞金速度震惊世界,冉莹颖狂言复制“贝嫂”成笑话

火山詩话
2026-07-16 10:22:41
汉武帝查出太子刘据是被冤死后,直接灭了刘屈氂李广利等全族!

汉武帝查出太子刘据是被冤死后,直接灭了刘屈氂李广利等全族!

老达子
2026-07-16 06:00:08
张兰说她的姥姥是慈禧太后的侄女!查查清朝史料,看看是哪位福晋

张兰说她的姥姥是慈禧太后的侄女!查查清朝史料,看看是哪位福晋

浩渺青史
2026-07-15 17:47:19
细糠!人生回报率最高的技能!网友:要早看到就好了,早练早提升

细糠!人生回报率最高的技能!网友:要早看到就好了,早练早提升

夜深爱杂谈
2026-07-15 20:57:28
泽连斯基在欧洲完全拧开瓶盖引争议,疑违反欧盟连体瓶盖的环保规定,网友调侃:这在欧盟相当于“严重犯罪”;乌克兰和泽连斯基暂未回应

泽连斯基在欧洲完全拧开瓶盖引争议,疑违反欧盟连体瓶盖的环保规定,网友调侃:这在欧盟相当于“严重犯罪”;乌克兰和泽连斯基暂未回应

三湘都市报
2026-07-16 08:54:57
两场半决赛,曼城双后腰的对比,罗德里顶级、安德森不值1亿英镑

两场半决赛,曼城双后腰的对比,罗德里顶级、安德森不值1亿英镑

大嘴说台球
2026-07-16 11:44:25
租住了18年的房子,退租被要求“恢复如新”!房东索赔24万,上海法院这样判

租住了18年的房子,退租被要求“恢复如新”!房东索赔24万,上海法院这样判

听心堂
2026-07-15 20:14:09
一边加入国际反华组织,一边组团登陆交流,台湾民众党究竟要走哪条路

一边加入国际反华组织,一边组团登陆交流,台湾民众党究竟要走哪条路

海峡导报社
2026-07-15 16:34:12
联合国曾警告称:中国一旦人口迅速萎缩,或将成全球“最大挑战”

联合国曾警告称:中国一旦人口迅速萎缩,或将成全球“最大挑战”

史之铭
2026-07-16 01:15:57
保密期限终到期,中央首长透露:毛岸英真相,可以向外界公开!

保密期限终到期,中央首长透露:毛岸英真相,可以向外界公开!

铜臭的历史味
2026-06-30 03:23:17
贾浅浅被处分不到24小时,吹捧她的人全被挖出,文坛风气被破坏

贾浅浅被处分不到24小时,吹捧她的人全被挖出,文坛风气被破坏

许三岁
2026-07-16 02:40:06
姆巴佩、凯恩相继退出,金球奖失去悬念,99%在以下三人之间产生

姆巴佩、凯恩相继退出,金球奖失去悬念,99%在以下三人之间产生

行舟问茶
2026-07-16 15:39:23
这22座城市,凭什么入选国家顶层规划

这22座城市,凭什么入选国家顶层规划

21世纪经济报道
2026-07-15 21:56:08
名导诺兰新片口碑爆了!烂番茄98%创生涯最高

名导诺兰新片口碑爆了!烂番茄98%创生涯最高

自愈小日子
2026-07-16 01:06:15
暴跌预告!这些985、211大学,可能会跌停!

暴跌预告!这些985、211大学,可能会跌停!

勋哥教你填志愿
2026-07-13 12:09:09
欧文:看看人家西班牙领先什么样?英格兰的差距真是一目了然

欧文:看看人家西班牙领先什么样?英格兰的差距真是一目了然

懂球帝
2026-07-16 06:34:05
梅西第九座金球奖要来了?其获奖概率41%居首,亚马尔30%,凯恩16%

梅西第九座金球奖要来了?其获奖概率41%居首,亚马尔30%,凯恩16%

红星新闻
2026-07-16 09:25:08
亚马尔终极梦想:世界杯决赛战阿根廷 赛后换梅西球衣

亚马尔终极梦想:世界杯决赛战阿根廷 赛后换梅西球衣

绿茵狂热者
2026-07-16 00:28:17
2026-07-16 19:16:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13528文章数 142693关注度
往期回顾 全部

科技要闻

苹果AI终于要来了:还能追上华为豆包们吗

头条要闻

女童溺水6分5秒后死亡:叔叔玩手机 无证救生员未发现

头条要闻

女童溺水6分5秒后死亡:叔叔玩手机 无证救生员未发现

体育要闻

逆天6后卫神阵,图赫尔活活坑死英格兰

娱乐要闻

天下无不散宴席!白鹿官宣告别欢娱

财经要闻

韩国股市暴涨暴跌 借钱炒股的散户快疯了

汽车要闻

ADS 4全系无缝升级5.0 华为乾崑发布乾崑智驾ADS 5与鸿蒙座舱OTA计划

态度原创

房产
艺术
亲子
本地
公开课

房产要闻

洞察新局 | 2026年海珠置业红盘图鉴

艺术要闻

章草入门“保姆级”教程!字字藏有正统古法

亲子要闻

✨闪闪小葵花 成长正当时✨ 「寻找闪亮小主播」才艺展示活动株洲神农万达站开启,歌唱舞蹈轮番登台,亲子互动欢乐不停,尽显小朋友灵动可爱的童真风采~

本地新闻

人生必去清单:那达慕大会开嗨!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版