Xingxuan Zhang Gang Ren Han Yu Hao Yuan Hui Wang et al

要約

汎用知能の実現には、言語、物理世界、構造化データの3つの側面に根ざした補完的な基盤モデルの進展が不可欠であると考えます。本報告では、構造化データの大規模モデル（LDMs）の最初の成果として、LimiXを紹介します。LimiXは構造化データを変数と欠損の同時分布として扱うことで、一貫したモデル構造とクエリベースの条件付き予測により、多様なテーブルデータ処理タスクを統一的に処理可能です。LimiXは、エピソード的かつ文脈依存的な目的関数に基づくマスク付き同時分布モデリングにより事前学習が行われており、特定のデータセットの文脈を条件として、クエリサブセットの予測を実行します。この仕組みにより、推論時に訓練なしで迅速な適応が可能になります。本研究では、サンプル数、特徴次元、クラス数、カテゴリ変数と数値変数の比率、欠損度、サンプル対特徴数の比率など、広範な設定をカバーする10の大きな構造化データベンチマークにおいて、LimiXの性能を評価しました。単一のモデルと統一されたインターフェースを用いることで、勾配ブースティング木、深層テーブルネットワーク、最近のテーブル基盤モデル、自動アンサンブルなど、強力なベースラインを一貫して上回ることが確認され、図1および図2に示す通り、分類、回帰、欠損値補完、データ生成など多様なタスクにおいて、しばしば顕著な性能向上が達成されています。また、タスクごとの専用アーキテクチャや個別タスク向けの特別な訓練を必要とせず、汎用性を維持しています。LimiXの全モデルは、Apache 2.0ライセンスのもとで公開されています。