FLEN：スケーラブルなCTR予測におけるフィールドの活用

クリック率（CTR）予測は、レコメンデーションシステムやオンライン広告など、多くの産業応用において不可欠な要素である。CTR予測システムは一般的に、複数のフィールドに分類されたカテゴリカル特徴に基づいている。すなわち、各特徴はカテゴリカルであり、一つのフィールドにのみ属する。特徴の結合（feature conjunctions）を適切にモデル化することは、CTR予測の精度を高める上で極めて重要である。しかし、すべての特徴結合を明示的にモデル化するには膨大なパラメータ数が必要となり、実世界のプロダクションシステムにおいてはスケーラビリティに課題が生じる。本論文では、美图（Meitu）の商用レコメンデーションシステムに導入され、主要トラフィックを処理している新しいフィールド駆動型埋め込みネットワーク（Field-Leveraged Embedding Network: FLEN）を提案する。FLENは、フィールドごとのバイインタラクションプーリング（field-wise bi-interaction pooling）という技術を考案した。この技術は、フィールド情報を適切に活用することで、少数のモデルパラメータと産業応用において許容可能な計算時間で、フィールド間およびフィールド内における特徴結合を同時に捉えることが可能となる。本研究では、多数の最先端CTRモデルがこの技術によって統一的に表現できることを示す。さらに、独立した潜在特徴が相互に過剰適応（co-adaptation）するのを防ぐためのドロップアウト手法であるDicefactorを開発した。実際のプロダクションシステム上での広範な実験、すなわちオフライン評価およびオンラインA/Bテストの結果から、FLENが最先端手法に対して優れた効果と効率を発揮することが実証された。特に、前バージョン（NFM）と比較して、CTRは5.19%向上し、メモリ使用量と計算時間はそれぞれ1/6に削減された。