大規模なアイテムカタログを用いた順序推薦におけるスケーラブルなクロスエントロピー損失

スケーラビリティの課題は、現代の推薦システムを実用化する上で重要な役割を果たしている。たとえ軽量なアーキテクチャであっても、中間計算による高い計算負荷が生じるため、実世界の応用において実用性が制限されることがある。特に、フルクロスエントロピー（CE）損失関数を適用することで、推薦品質において最先端の性能が得られることが多くあるが、アイテムカタログが大規模な場合、GPUメモリの過剰な消費を引き起こすという問題がある。本論文では、順序学習の設定において、大規模なアイテムカタログを対象とした新たなスケーラブルクロスエントロピー（SCE）損失関数を提案する。この手法は、大規模なデータセットにおいてCE損失を効率的に近似することで、推薦品質を損なうことなく、計算時間とメモリ使用量の両面で著しい改善を実現する。従来のネガティブサンプリング手法とは異なり、本手法は選択的かつGPUに効率的な計算戦略を採用し、特に誤検出（ファルスポジティブ）になりやすいアイテムに注目する。これは、モデル出力のサブセット上で最大内積検索（Maximum Inner Product Search, MIPS）を用いてソフトマックス分布を近似することで実現される。複数のデータセットにおける実験結果から、SCEは他の手法と比較してピークメモリ使用量を最大で100倍まで削減しつつ、性能指標を維持または上回ることが明らかになった。本手法は、大規模言語モデルを含むさまざまな分野における大規模なシステム開発に新たな可能性を切り開くものである。