NVIDIA Kumo Tabular、表データ予測で精度効率を刷新

NVIDIAは、表形式データ用のオープンファウンデーションモデルKumo Tabularを正式に発表した。同モデルはHugging FaceおよびGitHubを通じて公開され、商用利用が許可されているOpenMDW-1.1ライセンスで提供される。2800万から2億1500万パラメータの3サイズが用意されており、教師付きコンテキスト行と予測対象クエリ行を単一フォワードパスで処理する。学習や微調整、特徴量エンジニアリングを一切不要とし、分類および回帰タスクに対応する。 アーキテクチャはテーブル構造に特化したトランスフォーマーを採用。列内注意機構で各値の文脈を理解し、行内注意機構で特徴間の相互作用を抽出、文脈内注意機構でコンテキストとクエリの関連付けを行う。推論時にテーブルの規模に応じて注意の鋭さを維持するLength-aware Attention Temperatureを独自実装し、大規模データでの計算効率と精度の両立を図った。学習は実データの欠損や外れ値を模擬した構造的因果モデル由来の人工データのみで実施。三段階の学習パイプラインにより、現実的なデータ品質への堅牢性を獲得している。 性能検証では、従来の勾配ブースティング木や既存のファウンデーションモデルを含む複数ベンチマークで首位を記録。TabArena、BeyondArena、TALENT、ScoringBenchの各リーダーボードにおいて総合一位を達成し、精度と推論速度のパレート最適を確立した。単一GPU環境での評価では同等モデルより17倍の高速性を示している。 実装にはNVIDIAが同時公開したGPUネイティブの構造化データライブラリsdmが必要となる。現在対応しているのは数値およびカテゴリカル列のみであり、テキストや画像は事前処理により変換する必要がある。学習分布から外れるデータや極端に大規模なテーブルでは精度が低下する可能性があるため、本番導入前の検証が推奨される。トレーニング手法およびデータ生成器の詳細は近々公開される予定である。