3ヶ月前

MaskNet:インスタンスガイドドマスクによりCTRランキングモデルに特徴ごとの乗算を導入する

Zhiqiang Wang, Qingyun She, Junlin Zhang
MaskNet:インスタンスガイドドマスクによりCTRランキングモデルに特徴ごとの乗算を導入する
要約

クリックスルー率(CTR)推定は、多くの実世界応用において最も基盤的なタスクの一つとなっており、ランキングモデルが複雑な高次元特徴を効果的に捉えることが重要である。浅層の順伝播ネットワークは、FNN、DeepFM、xDeepFMなどの最先端DNNモデルにおいて広く用いられており、高次元特徴相互作用を間接的に捉える役割を果たしている。しかし、いくつかの研究により、特に順伝播ニューラルネットワークによる加算型特徴相互作用は、一般的な特徴相互作用の捕捉において効率が低いことが示されている。この問題を解決するために、本研究では入力インスタンスに従って特徴埋め込み層および順伝播層において要素ごとの積演算を実行する「インスタンス誘導型マスク(instance-guided mask)」を提案し、DNNランキングシステムに特定の乗算演算を導入する。さらに、本論文では「MaskBlock」という構造を提案することで、DNNモデル内の順伝播層を加算型と乗算型の特徴相互作用の混合構造に変換する。MaskBlockは、レイヤー正規化、インスタンス誘導型マスク、順伝播層を統合した基本構成要素であり、さまざまな設定下で新たなランキングモデルを設計するための基本ブロックとして機能する。本研究で提案するMaskBlockを組み合わせたモデルは「MaskNet」として名称付けられ、その有効性を検証するため、2つの新しいMaskNetモデルが提案されている。3つの実世界データセットにおける実験結果から、DeepFMやxDeepFMといった最先端モデルを大きく上回る性能が確認された。これは、MaskBlockが新たな高性能ランキングシステムを構成するための有効な基本構成要素であることを示している。

MaskNet:インスタンスガイドドマスクによりCTRランキングモデルに特徴ごとの乗算を導入する | 論文 | HyperAI超神経