Xingxuan Zhang Gang Ren Han Yu Hao Yuan Hui Wang et al

摘要

我们认为，迈向通用智能的进程需要依托语言、物理世界和结构化数据三方面互补的基础模型。本报告介绍了我们的大规模结构化数据模型（Large Structured-data Models, LDMs）的首个版本——LimiX。LimiX将结构化数据建模为变量与缺失性之间的联合分布，从而通过单一模型、基于查询的条件预测，有效应对多种表格数据任务。LimiX采用掩码联合分布建模进行预训练，其目标函数具有 episodic（阶段性）和上下文条件性特征：模型根据特定数据集的上下文信息，对查询子集进行预测，从而在推理阶段实现无需重新训练的快速适应。我们在10个大规模结构化数据基准上对LimiX进行了评估，涵盖样本量、特征维度、类别数量、类别型与数值型特征比例、缺失率以及样本与特征比等广泛的数据分布情形。凭借单一模型与统一接口，LimiX在各类任务中持续超越多种强基准方法，包括梯度提升树、深度表格网络、近期的表格基础模型以及自动化集成方法，如图1和图2所示。其性能优势在分类、回归、缺失值填补和数据生成等多种任务中均显著体现，且无需为每项任务设计专用架构或进行定制化训练。所有LimiX模型均以 Apache 2.0 许可协议公开发布。