製品ベースのニューラルネットワークによるユーザ反応予測

ユーザーの反応（クリックやコンバージョンなど）を予測することは非常に重要であり、レコメンデーションシステム、ウェブ検索、オンライン広告などの多くのウェブアプリケーションで活用されています。これらのアプリケーションのデータは主にカテゴリカルデータであり、複数のフィールドを含んでいます。一般的な表現方法は、ワンホットエンコーディングを通じて高次元疎なバイナリ特徴表現に変換することです。極端な疎さに対処する際、伝統的なモデルはデータから浅いパターン（低次の特徴組み合わせ）を抽出する能力が制限される可能性があります。一方、ディープニューラルネットワークなどの深層モデルは、巨大な特徴空間のために直接高次元入力に適用することはできません。本論文では、埋め込み層を持つプロダクトベースのニューラルネットワーク（PNN）を提案します。このネットワークはカテゴリカルデータの分散表現を学習し、フィールド間のカテゴリ間での相互作用パターンを捉えるための積層（product layer）と、さらに高次の特徴相互作用を探求する完全接続層を備えています。我々の実験結果は、2つの大規模な実世界広告クリックデータセットにおいて、PNNが様々な指標で最先端のモデルを一貫して上回ることを示しています。