网易首页 > 网易号 > 正文 申请入驻

仅2M参数!清华LimiX攻克表格数据难题,超越XGBoost

0
分享至

始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在,欢迎加入共同成长。wisemodel推出邀请注册奖励活动,最高可得算力券+token包380元奖励,欢迎参与和支持!

提到 AI 的突破,人们首先想到的往往是大语言模型(LLM):写代码、生成文本、甚至推理多模态内容,几乎重塑了通用智能的边界。但在一个看似 “简单” 的领域 —— 结构化表格数据上,这些强大的模型却频频失手。电网调度、用户建模、通信日志…… 现实世界中大量关键系统的核心数据都以表格形式存在。然而,无论是直接微调 LLM,还是采用专门为表格设计的深度架构(如 TabNet、SAINT、FT-Transformer),其性能在多数真实场景下仍难以超越 XGBoost、CatBoost 等传统梯度提升方法。

这引出一个尖锐的问题:为什么在非结构化数据上所向披靡的现代深度学习,在结构化数据建模中却长期陷入瓶颈?

直指这个核心问题,清华大学崔鹏团队做出了他们的回应 ——LimiX。不同于其他模型只能进行一种下游任务,LimiX-2M 在同时支持分类、回归、缺失值插补等任务的前提下,以仅有 2M 的模型参数超越了包括 XGBoost、CatBoost 在内的经典模型,并在与 AutoGluon 和 TabPFN 的对比中展示出显著优势,仅次于 LimiX 前期发布的 LimiX-16M。

LimiX 的开源使中国在表格建模领域的研究真正站到了世界的最前沿,力压 Amazon AWS,Inria 等一系列顶尖机构在诸多性能测试上登顶!仅仅 2M 的模型体量使得快速微调和工程适配成为可能,为各领域研究和工业应用提供了无限可能。LimiX-2M已上线始智AI-wisemodel开源社区,欢迎大家前去体验。

模型地址

https://www.wisemodel.cn/models/stable-ai/LimiX-2M

01.

2M参数量,LimiX有多强?

11 个权威评测基准上的平均性能表现,LimiX-2M 仅次于 LimiX-16M,位列第二

如图所示,在 11 个权威综合性能评测中,LimiX 凭借强大的 zero-shot 能力强势领跑:其 LimiX-16M 与 LimiX-2M 版本包揽分类任务冠亚军,一举超越业界标杆 AutoGluon,并大幅甩开其他基于上下文学习的基础模型与传统树模型。

在基准数据集 BCCO-CLS 上的分类性能对比,只展示了部分最优模型

在基准数据集 CTR23 上的回归性能对比,只展示了部分最优模型

上图展示了 LimiX-2M 在 BCCO 和 CTR23 上的测试结果:在分类任务中,LimiX-16M 和 LimiX-2M 包揽前二。在回归任务中,LimiX-16M 依旧稳居榜首;LimiX-2M 紧随 LimiX-16M 和 AutoGluon,力压众多模型,位列第三。值得注意的是 —— 这一切成绩均在无任何任务特定微调的前提下达成!

除了 “开箱即用” 模式之外,LimiX 还可以通过微调进一步提高模型表现。作为对比,我们把 LimiX-2M 和最新的 PFN-V2.5 都在 analcatdata_apnea2 数据集上进行微调,并统计微调前后的 AUC 和消耗的时间。微调后,模型的 AUC 相较于微调之前提升 11.4%,同时所需要的时间只相当于 PFN-V2.5 的 60%。

值得一提的是,尽管本对比实验在 H20 上完成,但 LimiX-2M 可以在消费级显卡 RTX4090 上进行微调,而 PFN-V2.5 需要更大显存的显卡,LimiX 作为基础模型显然更加科研友好。

02.

让科研回归创造,让技术成为助力

LimiX-2M 作为一个高效、灵活、可靠的算法架构,让研究人员不再受困于算力与工程难题,而是专注于科学问题本身。其轻量、易用、可落地的特点,使最前沿的 AI 技术触手可及,大大降低了使用门槛,加速了想法的验证与共享:

开箱即用,告别适配:LimiX 基于上下文学习,无需训练或调参,自动完成数据预处理,让非专业人士也能立刻上手;

一模多能,科研的 “瑞士军刀”:单模型通吃分类、回归、插补等多任务,跨学科研究无缝切换,告别繁琐的模型管理;

小样本友好,挖掘珍贵数据价值:在医学、生物等小样本场景下高效泛化,从有限数据中榨取最大的分析价值;

可解释可追溯,打开模型 “黑盒”:通过检索机制揭示预测依据,提升透明度,助力理论验证与可信分析;

低算力运行,资源友好的科研工具:轻量设计支持普通电脑流畅运行,让小型团队也能低成本开展前沿 AI 实验;

本地可部署,隐私与合规双保险:完全离线运行,保障敏感数据安全,满足医疗、国防等高合规场景需求。

03.

轻模型的“屠龙术”

1.LimiX模型是怎么练成的?

LimiX 的模型结构:LimiX 的设计基于 Transformer 架构,并针对结构化数据建模进行了优化。模型首先对特征与目标分别进行 embedding,在主模块中通过样本维度与特征维度的双重注意力机制,聚焦关键样本与关键特征。提取的高维表示随后分别输入回归头和分类头,从而同时支持回归与分类任务。

LimiX 的训练数据:LimiX 在预训练中完全依赖生成数据,而非真实世界数据。为确保生成过程的高效与可控,模型采用基于结构因果图(SCG)的数据生成方式:初始样本在有向无环图上传播,通过边映射与节点交互模拟真实因果依赖关系,再从因果图中采样得到训练数据。该方法既保证了数据的因果多样性,又提升了可控性与泛化能力。

掩码重构机制:LimiX 对数据的联合分布进行建模,以提高模型的通用性、增强对特征交互模式的建模能力。具体地,LimiX 模型在模型优化目标设计中加入了掩码重构机制:在训练过程中,通过对数据进行随机掩码操作,模型将根据特征间的因果依赖关系,使用观测到的数据来重构缺失数据。

2.核心更新:RBF嵌入层(RaBEL)

LimiX-2M 仅有 1.94M 参数量,是 LimiX-16M 的八分之一,却在多个数据集基准上取得强劲、接近 LimiX-16M 的性能表现。

它的核心革新不是 “剪枝” 或 “蒸馏”,而是一次从嵌入层重新出发的结构性更新:引入 RBF(Radial Basis Function)数值嵌入机制。

瓶颈诊断-线性嵌入的 “低秩塌陷”:在 TabPFN-v2、LimiX-16M 乃至早期 FT-Transformer、TabTransformer 等架构中,数值输入通常采用 “线性映射 + 列 ID” 方案:

这种设计虽然简单高效,但存在一个系统性的问题 —— 我们称之为 “低秩塌陷”。具体来说就是:

  • 模型浅层激活高度相关,特征矩阵在奇异值分解后仅保留个位数有效秩(能提取的有效特征种类非常有限);

  • 网络早期几乎处于 “线性近似” 状态,很难分辨出数据中更复杂的局部变化、分段趋势或者特殊分布;

  • 梯度利用率极低,使得后续层在优化中浪费大量表达能力。

如下图所示,基于 RBF 嵌入的 LimiX-2M 有效秩很高,而 TabPFN-v2 在前几层的秩明显偏低,并且有很大差距。这说明在模型规模相当的情况下,RBF 嵌入能够为网络提供更丰富、更多样的表示基础。

为了解决嵌入矩阵秩受限这一问题,我们引入了 RaBEL(Radial Basis Embedding Layer),其核心思想是:在嵌入阶段就引入非线性表达能力,而非依赖后续层 “补救”。

用 “局部感知” 取代 “线性投影”:RBF(Radial Basis Function,径向基函数)是一种经典的局部核函数。通俗易懂地说,RBF 就像一个 “感应器” 或 “测量点”,它只对周围特定区域内的东西有反应,离得越近,反应越强烈。它的核心价值在于局部感知和非线性转换。

由于每个 RBF 只关心自己那一亩三分地,模型通过组合这些局部信息,可以非常灵活地拟合出任何弯曲、复杂的数据规律(比如波浪形的曲线),而不用像线性模型那样只能画出一条死板的直线。具体地,对于单个数值,RaBEL 将其映射为一组局部响应:

其中 为每列自适应的中心与带宽。

这一步相当于在数轴上布置多个 “感受野”,让模型在不同取值区间形成独立激活。

随后,通过一个共享线性层 将这些局部特征投影到模型维度 d。

结果是非线性特征在嵌入阶段提前形成,浅层即可识别非平滑关系,从根本上解决低秩问题。

04.

结语

轻量化、开箱即用的LimiX-2M,在科研探索和实际落地场景均有巨大潜力。它保持前代 LimiX-16M 支持分类、回归、缺失值插补等多样化能力,性能远超现有其它表格模型,同时大幅度降低了显存占用和时间消耗。

LimiX-2M支持快速高效微调和适配,成本远低于现有模型,科研友好。并且可以轻松部署到端侧设备,具有巨大应用价值。

编辑:成蕴年

----- END -----

wisemodel相关:

系列模型:

关于wisemodel更多

1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护,欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到 wisemodel.cn 社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来,逐渐成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,可以通过添加wisemodel微信,或者将简历投递到邮箱:liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn,也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。

向上滑动查看

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国媒体说黄仁勋疯了...

美国媒体说黄仁勋疯了...

新动察
2026-11-16 16:09:57
倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

红星新闻
2026-11-16 20:35:09
终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

另子维爱读史
2026-11-16 21:52:15
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
免费时代全民听歌,收费时代众人弃歌:中国音乐究竟输在哪儿?

免费时代全民听歌,收费时代众人弃歌:中国音乐究竟输在哪儿?

浩渺青史
2026-11-16 02:34:06
“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

红星新闻
2026-11-16 18:07:10
中国近六成家庭只剩2个人了...

中国近六成家庭只剩2个人了...

毒哥的毒鸡汤
2026-11-16 12:22:29
日本参议员硬刚防卫相:你敢说这句话吗?

日本参议员硬刚防卫相:你敢说这句话吗?

环球网资讯
2026-11-16 06:55:05
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

今天说故事
2025-08-04 18:39:27
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

何家劲痛骂移民老友!卖光香港家产去往加拿大,如今哭着说回不来

人文思辨社
2026-11-16 18:52:29
上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上观新闻
2026-11-16 18:43:28
特朗普:不介意黄仁勋重掌英伟达

特朗普:不介意黄仁勋重掌英伟达

界面新闻
2026-11-16 23:00:15
连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

中场阴谋家
2026-11-16 22:25:56
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
2026-11-17 04:03:00
wisemodel开源社区 incentive-icons
wisemodel开源社区
始智AI wisemodel.cn开源社区,打造中国版“huggingface”
531文章数 20关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

健康
房产
教育
公开课
军事航空

情绪真能让健康人"伤心至死"?

房产要闻

6.6亿!海口卖地!

教育要闻

“老师一定要生孩子吗?”

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版