
多くのウェブアプリケーションの予測タスクでは、ユーザーIDや性別、職業などのカテゴリ変数をモデル化する必要があります。標準的な機械学習手法を適用するためには、これらのカテゴリ予測子は常にワンホットエンコーディングによって一連のバイナリ特徴に変換され、その結果得られる特徴ベクトルは非常にスパース(疎)になります。このようなスパースデータから効果的に学習するためには、特徴間の相互作用を考慮することが重要です。ファクタライゼーションマシン(FMs)は、二次特徴相互作用を効率的に利用するための人気のある解決策です。しかし、FMは線形的な方法で特徴相互作用をモデル化しますが、これは現実世界のデータに内在する非線形的かつ複雑な構造を捉えるのに十分ではありません。最近では、GoogleのWide&DeepやMicrosoftのDeepCrossなど、深層ニューラルネットワークが産業界で非線形的な特徴相互作用を学習するために使用されていますが、深層構造はそれらの訓練を難しくしています。本論文では、スパース設定下での予測のために新しいモデルであるニューラルファクタライゼーションマシン(NFM)を提案します。NFMは、二次特徴相互作用のモデリングにおいてFMの線形性と高次特徴相互作用のモデリングにおいてニューラルネットワークの非線形性をシームレスに組み合わせています。概念的には、FMは隠れ層がない特殊な場合として見ることができるため、NFMはFMよりも表現力が高いです。2つの回帰タスクに対する経験的結果では、1つの隠れ層のみを使用した場合でも、NFMは相対的に7.3%改善し、FMに対して大幅に優れた性能を示しました。最近の深層学習手法であるWide&DeepやDeepCrossと比較して、私たちのNFMは浅い構造を使用していますが、より良い性能を提供し、実際には訓練と調整がずっと簡単です。