11日前

適応型因数分解ネットワーク:適応型順序特徴相互作用の学習

Weiyu Cheng, Yanyan Shen, Linpeng Huang
適応型因数分解ネットワーク:適応型順序特徴相互作用の学習
要約

2次以上の高次相互作用特徴(cross features)を活用して予測モデルの性能を向上させるため、さまざまな因子分解に基づく手法が提案されてきた。これらの手法は、事前に定義された最大次数以下のすべての相互作用特徴を列挙し、モデル学習を通じて有用な特徴相互作用を同定するというアプローチを取るが、2つの課題を抱えている。第一に、高次相互作用特徴の表現力と計算コストの間で妥協を余儀なくされ、最適な予測が得られないことがある。第二に、関連のない特徴組み合わせも含めてすべての相互作用特徴を列挙するため、ノイズを含む不適切な特徴組み合わせがモデル性能を低下させるリスクがある。本研究では、データから任意次数の相互作用特徴を適応的に学習する新しいモデルである適応的因子分解ネットワーク(Adaptive Factorization Network, AFN)を提案する。AFNの核となるのは、特徴組み合わせにおける各特徴の累乗を、学習可能な係数に変換する対数変換層である。4つの実データセットを用いた実験結果から、AFNが最先端手法と比較して優れた予測性能を示すことが確認された。

適応型因数分解ネットワーク:適応型順序特徴相互作用の学習 | 最新論文 | HyperAI超神経