協調フィルタリングにおけるアモルティゼーションランキングクリティカルトレーニングに向けて

協調フィルタリングは現代の推薦システムで広く使用されています。最近の研究では、変分オートエンコーダ（VAE）が深層ニューラルネットワークからの柔軟な表現を潜在変数モデルに統合することで最先端の性能を達成し、従来の線形因子モデルの制限を緩和することが示されています。VAEは通常、ユーザーが真実データアイテムと相互作用する尤度（最大尤度推定：MLE）を最大化することにより訓練されます。単純でしばしば効果的であるものの、MLEに基づく訓練は直接的にトップ-Nランキングなどの一般的に関心のある推薦品質指標を最大化しません。本論文では、アクター-クリティック強化学習に基づく新しい協調フィルタリングモデルの訓練方法について検討します。目的は非微分可能な関心のある品質指標を直接最適化することです。具体的には、ランキングベースの指標を近似するクリティックネットワークを訓練し、その後、学習された指標に対して直接最適化されるようにアクターネットワーク（ここではVAEで表される）を更新します。従来の学習順位付け手法とは異なり、当該クリティックベース手法はニューラルネットワークを使用してスコアリングプロセスを平均化し、新しいリストに対して直接（近似的な）ランキングスコアを提供できます。経験的な結果として、提案手法が最近提唱された深層学習アプローチも含むいくつかの最先端基準を超えることを3つの大規模実世界データセット上で示しています。実験結果および図表作成に使用したコードはGitHub上に公開されています：https://github.com/samlobel/RaCT_CF