11日前

FiBiNet++:CTR予測における低ランク特徴相互作用層によるモデルサイズの低減

Pengtao Zhang, Zheng Zheng, Junlin Zhang
FiBiNet++:CTR予測における低ランク特徴相互作用層によるモデルサイズの低減
要約

クリックスルー率(CTR)推定は、多くの現実世界の応用において最も基盤的なタスクの一つとなっており、さまざまな深層学習モデルが提案されてきた。一部の研究では、FiBiNetが最も優れた性能を発揮するモデルの一つであり、Avazuデータセットにおいて他のすべてのモデルを上回ることを示している。しかし、FiBiNetの大きなモデルサイズは、その広範な応用を阻害する要因となっている。本論文では、FiBiNetのモデル構造を再設計する新しいモデル「FiBiNet++」を提案する。本モデルは、モデルサイズを大幅に削減しつつ、さらに性能を向上させることに成功した。その主要技術の一つとして、特徴間の相互作用に焦点を当てた「低ランク層(Low Rank Layer)」を導入しており、これがモデルの優れた圧縮比を実現する鍵となる。3つの公開データセットを用いた広範な実験の結果、FiBiNet++はFiBiNetの非埋め込みパラメータ数を、3つのデータセットでそれぞれ12倍から16倍まで削減することに成功した。一方で、最先端のCTR推定手法、特にFiBiNetと比較しても、FiBiNet++は顕著な性能向上を達成している。

FiBiNet++:CTR予測における低ランク特徴相互作用層によるモデルサイズの低減 | 最新論文 | HyperAI超神経