无需再训练：TabFM实现表格零样本预测

传统机器学习的挑战TabFM是什么？TabFM的实际应用起步、权衡与云端未来

商业领域中的绝大多数数据都以表格形式存在，存储在数据仓库、客户关系管理系统和财务账本中。然而，从这些数据构建可靠模型的传统方法仍然意味着为每个数据集从头开始训练新模型，同时还要维护超参数调优循环、特征工程以及应对数据漂移的再训练流水线。Google研究团队提出了一种创新解决方案：TabFM基础模型，它将表格预测重新定义为上下文学习问题。

该模型仅需一次前向传播，就能对全新的、未见过的表格生成预测。对于企业开发人员和AI工程师而言，这将生产时间从数周的水线工程缩短至一次API调用。

要从梯度提升树中提取可靠预测，数据科学家必须构建并维护复杂的数据管道。他们需要清理混乱的输入数据，填补缺失值，将分类变量编码为数值格式，并设计自定义特征交叉。

数据准备就绪后，他们必须运行重复的超参数优化循环，遍历学习率、树深度、子采样比例和正则化网格，以寻找最佳配置。

部署后，这些传统模型”通过数据漂移监控和再训练流水线持续产生运营成本，以保持准确性，”Google研究科学家Weihao Kong在接受VentureBeat采访时表示。

与此同时，AI行业的其他领域已经向前发展。文本和计算机视觉的生成式AI模型已无缝转向零样本推理，即模型仅通过提示上下文就能执行全新任务。

大型语言模型(LLM)已在上下文学习方面表现出色，那么我们为何不能直接将表格输入现成的LLM呢？

由于LLM训练于自然语言而非结构化数据，它们直接处理表格的能力有限。首先，仅包含几千行和几百列的中型表格就会迅速耗尽其上下文限制。其次，LLM面临标记化效率问题， awkwardly分割数值并破坏数学精确性。最后，它们存在结构盲区——当二维表格被序列化为一维文本字符串时，随着表格增大，LLM难以追踪哪个值属于哪一行和哪一列。

“这就是为什么如今使用LLM编写处理特征工程和调用XGBoost的代码，比直接让LLM读取表格本身更有效，”Kong说道。

使用TabFM进行推理时，无需更新任何模型权重。相反，您可以将历史示例（带有已知标签的训练行）和目标行（您想要预测的新数据）作为单个统一提示传递给模型。模型在运行时直接从上下文中学习解释行和列之间的关系。

例如，考虑一位试图预测客户流失的企业分析师。他们无需构建定制的数据管道和训练XGBoost模型，只需将历史用户会话数据的样本 alongside 一个新的活跃会话传递给TabFM。模型在一次前向传播中即可返回即时的流失概率。

TabFM通过将数据视为网格来克服LLM的局限性，保留了其结构完整性，而不必将其强制转换为单维文本字符串。

为了有效处理多样化的表格结构并实现可扩展的零样本预测，TabFM融合了早期实验架构TabPFN和TabICL的优势。TabPFN由Prior Labs开发，首次证明了Transformer架构可以对小型表格进行零样本分类，但在计算上难以扩展到更大的数据集。

后来，TabICL由法国国家数字科学与技术研究所开发，通过引入行压缩解决了这一瓶颈，使上下文学习能够高效处理更大的表格。

TabFM将TabPFN的深度特征上下文化与TabICL的高效压缩相结合，形成了一种基于三种关键机制的新型混合设计：

• 交替行和列注意力：原始表格首先通过多层注意力模块进行处理，该模块交替关注列（特征）和行（示例）。通过持续关注这两个维度，模型能够自然捕捉复杂特征交互。这种深度上下文化完成了通常需要数据科学家进行繁琐手动特征构建的工作。
• 行压缩：在此上下文化之后，每一行的交叉注意信息被压缩为单个密集向量表示。TabICL首次使用CLS令牌将一行丰富信息压缩为一个向量，”与TabPFN v2、v2.5和v2.6在整个网络中关注完整单元格网格形成对比，”Kong解释道。这显著缩小了计算足迹。
• 上下文学习(ICL)：因果Transformer随后在此压缩嵌入序列上运行。该Transformer模型使用TabICL的注意力机制关注这些密集行向量，大幅降低计算成本，使模型能够高效处理大型数据集。

TabFM的一个主要卖点是其预训练方法。该模型完全在数亿个合成数据集上训练。这些数据集使用结构因果模型(SCM)动态生成，结合了各种随机函数。通过仅在合成SCM上训练，TabFM学习了表格特征交互的基本数学先验，无需摄入真实世界的机密CSV文件。

为了测试模型能力，Google研究人员在TabArena上对TabFM进行了基准测试，该评估套件涵盖51个多样化的表格数据集，包括38个分类任务和13个回归任务。

在这些公开基准测试中，TabFM的零样本预测已经匹配或超越了精心调整的监督基线。然而，Google谨慎指出，这并不意味着TabFM将自动在每一个企业工作负载上取代定制化、高度优化的生产模型。

“TabFM不会取代高度优化的生产模型，它为精简工程团队真正释放的实际商业价值在于速度，”Kong表示。”它使数据分析师和后端工程师能够即时构建高质量基线模型，而无需专门的数据科学团队管理复杂生命周期。”

对于寻求最大精度的资深实践者，研究团队还引入了”TabFM-Ensemble”配置。通过运行模型的32种不同变化并混合结果，TabFM进一步提升了性能。

向表格上下文学习的转变引入了工程团队必须考虑的新经济权衡。

使用传统算法，训练缓慢且昂贵，但推理快速且廉价。TabFM颠倒了这一动态。虽然训练时间降至零，但推理变得显著加重。因为模型必须将整个历史数据集作为提示的一部分处理，这可能导致更高的计算成本，尤其是在处理大规模数据集时。