网易首页 > 网易号 > 正文 申请入驻

小米推结构化数据大模型Xiaomi-TabLDM:开启表格数据Scaling Law

0
分享至

IT之家 9 月 5 日消息,小米今日正式发布通用表格数据基础大模型 Xiaomi-TabLDM。

据介绍,该模型以单一预训练模型、统一默认配置直接适配不同表格数据集,无需针对每个任务重新训练、调参或后置集成,即可完成分类与回归预测。


长期以来,金融、医疗、制造、物流等领域大量核心数据以表格形式存在,但传统表格机器学习通常需要针对每一个新数据集重新训练、调参甚至集成模型,存在多次训练及版本管理等繁重的部署代价。Xiaomi-TabLDM 旨在将“一次预训练、跨任务使用”的基础模型范式带入结构化数据领域。


该模型从三个方向推进表格基础模型能力。预训练方面,Xiaomi-TabLDM 完全基于结构因果模型(SCM)生成的大规模合成数据进行预训练,覆盖不同数据规模、变量类型、依赖关系和函数关系,扩大预训练任务分布。模型架构方面,引入双流特征分组(dual-stream feature grouping)、轻量级注意力残差(lightweight Attention Residual)和稀疏混合专家(sparse Mixture-of-Experts),从不同粒度建模特征关系,通过稀疏专家扩大模型容量。推理方面,该模型进一步探索了 Test-Time Scaling,在保持预训练模型参数不变的情况下,通过增加推理阶段计算量持续提升预测性能。

在四大公开基准评测中,Xiaomi-TabLDM 均跻身第一梯队。回归能力表现突出:在 OpenML-CTR23 回归榜排名第一;在 TALENT、TabArena 和 BCCO 的回归任务中均排名第二;在 TALENT 二分类任务中同样排名第一。在性能与效率的平衡上,以 TabArena 回归任务为例,Xiaomi-TabLDM 取得第二高 Elo 评分的同时,训练时间比排名第一的 TabFM 减少 82%,预测时间减少 68%(Elo 评分原为国际象棋等级分制度,此处用于衡量模型在基准测试中的相对性能排名)。


在真实工业场景验证中,Xiaomi-TabLDM 相比传统机器学习展现出更高的预测精度和跨工况适应能力。材料性能预测场景下,该模型无需微调即可将预测精度提升 130%,减少约 90% 的无效试模与装机测试。零件重量预测场景中,相比 XGBoost,失误样本比例降低约 31%。生产组分预测场景中,平均误差相比 XGBoost 降低约 54%;当生产工况发生变化时,仅补充约 30 条新工况样本作为上下文,即可将平均误差降低约 62%。


该模型提供 scikit-learn 兼容接口,可通过 pip 安装使用。



目前,Xiaomi-TabLDM 相关模型权重与代码已正式开源,IT之家附相关代码及模型权重:

  • 代码:https://github.com/ xiaomi-research / xiaomi-tabldm
  • 权重:https://huggingface.co/ occams / Xiaomi-TabLDM
  • 技术报告:https://arxiv.org/ abs/2609.03880

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
越南与云南谁更强?越南超1亿人创造4763亿美元GDP,云南有多少?

越南与云南谁更强?越南超1亿人创造4763亿美元GDP,云南有多少?

铭记历史呀
2026-11-21 03:22:42
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
小叔子婚宴,丈夫没和我商量随礼52万,我果断离婚,开庭那天他愣了

小叔子婚宴,丈夫没和我商量随礼52万,我果断离婚,开庭那天他愣了

云端小院
2026-10-31 08:52:38
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

青科新闻
2026-11-20 14:08:31
红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

幻梦人生
2024-12-08 04:05:03
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
日本称高市早苗在深圳,受到“惯常接待”,日本是在打什么主意?

日本称高市早苗在深圳,受到“惯常接待”,日本是在打什么主意?

蓝星杂谈
2026-11-20 20:27:03
克里姆林宫的麻烦不过才刚刚开始...

克里姆林宫的麻烦不过才刚刚开始...

魔幻故事
2026-11-21 00:33:02
14人缺席投票,约翰逊喊话同僚回来上班

14人缺席投票,约翰逊喊话同僚回来上班

我是一个粉刷匠2
2026-11-21 02:32:34
陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

商业周刊中文版
2026-11-20 00:53:10
我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

千秋文化
2026-11-18 20:57:40
美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

壹知眠羊
2026-10-09 07:09:42
VIX恐慌指数日内大涨逾10% 突破31点

VIX恐慌指数日内大涨逾10% 突破31点

每日经济新闻
2026-11-20 21:44:46
男子破产养家跑外卖8年,这天收到1800万汇款,查到汇款方:怎么是你

男子破产养家跑外卖8年,这天收到1800万汇款,查到汇款方:怎么是你

古怪奇谈录
2025-07-19 10:06:36
你所不知道的蔡元培:是蒋介石发动“四一二”政变的马前卒

你所不知道的蔡元培:是蒋介石发动“四一二”政变的马前卒

阿胡
2025-09-28 16:53:12
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
女模特被新加坡富商以80万邀请去度假,归来后抱头痛哭:我被当玩具

女模特被新加坡富商以80万邀请去度假,归来后抱头痛哭:我被当玩具

罪案洞察者
2025-08-22 15:07:45
二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

云景侃记
2026-11-19 10:07:21
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-19 16:08:33
2026-11-21 04:08:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380557文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
健康
游戏
教育
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

医生眼里"很伤腰"的椅子,很多人天天坐

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版