一句话总结

Google Cloud AI 的研究人员提出了 TabNet，一种高性能、可解释的深度表格学习架构，它使用序列注意力在每个决策步骤选择推理所依据的特征，实现了可解释的特征归因和对全局行为的洞察，同时在各种非性能饱和的表格数据集上优于其他变体，并在未标记数据丰富时支持自监督学习，显著提升性能。

核心贡献

• TabNet 是一种深度表格学习架构，它使用序列注意力在每个决策步骤选择最显著的特征，通过实例级特征选择掩码实现高效容量利用和可解释性。
• 实验表明，TabNet 在各种非性能饱和的表格数据集上优于先前模型，并产生可解释的特征归因，揭示了全局决策行为。
• 在未标记表格数据上进行自监督预训练显著提升了 TabNet 的性能，并允许快速适应，尤其是在未标记数据丰富时。

引言

深度神经网络在图像和文本等领域取得了显著成功，但表格数据仍然是一个具有挑战性的前沿，其中梯度提升树通常仍占主导地位。先前的表格数据深度学习方法通常一次性处理所有特征，难以隔离最显著的输入，并限制了模型的可解释性。作者引入了 TabNet，这是一种新颖的架构，它使用序列注意力机制来执行实例级特征选择：在每个决策步骤，模型选择一组语义上有意义的特征来关注，仅将容量分配给最相关的信息。这种设计提高了效率，并允许直接可视化特征选择掩码，从而产生更可解释的决策，同时在各种表格基准上优于早期方法。

实验

该表格展示了一个现实世界的表格数据集，其中特征列相互依赖，因此一列中的缺失值通常可以从其他列推断出来。这一特性促使了掩码自监督学习，它利用这些相关性来为下游监督任务生成更强的编码器。缺失的教育程度与 exec-managerial 或 farming-fishing 等职业角色相伴，暗示了可能的教育水平。缺失的性别与 wife 或 husband 等关系标签相符，使得性别容易推断。掩码自监督学习利用这些相互依赖关系来改进编码器，用于监督微调。

INVASE 在所有六个合成数据集上始终取得了最高的测试 AUC，通常大幅领先。全局特征选择是表现第二强的方法，紧跟 INVASE，并在 Syn5 上持平。树集成方法在某些数据集上取得了有竞争力的分数，但稳定性较差，而 Lasso 正则化和 L2X 模型常常表现不如使用所有特征而不进行选择的基线。INVASE 在每个数据集上都获得了最佳 AUC，尤其是在 Syn1、Syn4 和 Syn6 上比其他方法有显著提升。全局特征选择的表现几乎与 INVASE 相当，在 Syn5 上持平，在其余数据集上仅落后几分。Lasso 正则化和 L2X 模型的分数往往低于不进行选择的基线，尤其是在 Syn1 和 Syn2 上，表明它们丢弃了有用的特征。

在 Forest Cover Type 数据集上，梯度提升方法 XGBoost 和 LightGBM 取得了相似的准确率，而 CatBoost 的得分低了好几个百分点。AutoML Tables 和 TabNet 大幅优于提升模型，其中 TabNet 达到了最高准确率。XGBoost 和 LightGBM 的表现几乎相同，测试准确率仅有微小差异。CatBoost 落后于其他提升方法，低了几个百分点。AutoML Tables 相比传统提升方法有所改进，而 TabNet 取得了最佳整体准确率，超越了所有其他模型。

在 Poker Hand 归纳数据集上，TabNet 达到了接近完美的 99.2% 准确率，大幅超越所有其他模型。基于树的集成方法（XGBoost、LightGBM、CatBoost）的准确率在 70% 左右，而深度神经决策树相比简单决策树和 MLP 略有提升，后者仍停留在 50% 的基线水平。TabNet 取得了 99.2% 的测试准确率，将其他模型远远甩在身后。XGBoost、LightGBM 和 CatBoost 集中在 70% 左右，XGBoost 以 71.1% 略微领先。深度神经决策树达到 65.1%，优于标准决策树和 MLP，后者保持在 50% 的随机基线。

在 Sarcos 数据集上，TabNet-M 模型取得了 0.28 的测试 MSE，大幅优于所有其他方法，而紧凑的 TabNet-S 仅使用 6.3K 参数就达到了 1.25 的测试 MSE。这使得 TabNet-S 与自适应神经树（MSE 1.23）相比，参数减少了 95%，但性能相当。TabNet-M 将测试 MSE 降至 0.28，远低于次优模型（自适应神经树为 1.23）。TabNet-S 仅用 6.3K 参数就达到了与自适应神经树相当的性能，模型大小减少了 95%，同时仍优于梯度提升树和随机森林。

实验评估了用于利用表格数据中特征相互依赖的掩码自监督学习，在合成数据集上使用 INVASE 进行实例级特征选择，以及在多个监督任务上使用 TabNet 模型。掩码学习设置表明，利用缺失值之间的相关性可以改进下游使用的编码器，而 INVASE 始终选择比全局选择方法更好的特征。TabNet 在各种基准测试中取得了卓越的准确率，大幅优于提升和基于树的模型，其紧凑变体以极少参数匹配了更大模型。