AutoFIS：クリック率予測における因子分解モデルにおける自動特徴相互作用選択

クリック率（CTR）予測において、特徴量間の相互作用を学習することは極めて重要である。既存の多数の深層学習モデルでは、特徴量間の相互作用が手動で設計されるか、あるいは単純に全組み合わせを列挙する手法が採用されている。しかし、すべての特徴量相互作用を列挙することは、大きなメモリと計算コストを伴う。さらに深刻な問題として、無意味な相互作用がノイズを引き起こし、学習プロセスを複雑化する可能性がある。本研究では、計算コストがターゲットモデルの収束までに必要な学習と同等となる、二段階型のアルゴリズムである「自動特徴量相互作用選択（AutoFIS）」を提案する。第1段階（探索段階）では、候補となる特徴量相互作用の離散的な探索空間を扱うのではなく、アーキテクチャパラメータを導入することで選択を連続的なものに緩和する。このアーキテクチャパラメータに対して正則化された最適化手法を適用することで、学習過程において冗長な特徴量相互作用を自動的に識別・削除することが可能となる。第2段階（再学習段階）では、アーキテクチャパラメータを注目度（attention）ユニットとして保持し、モデル性能をさらに向上させる。3つの大規模データセット（2つの公開ベンチマークおよび1つの社内データ）を用いたオフライン実験の結果、AutoFISはさまざまなFMベースのモデルにおいて顕著な性能向上を実現した。本手法は、華為（Huawei）アプリストアのレコメンデーションサービスの学習プラットフォームに導入され、10日間のオンラインA/Bテストにおいて、DeepFMモデルのCTRとCVRがそれぞれ20.3%および20.1%向上した。