YandexのRecSys研究開発チームを率いるキリル・クルチェンコ氏は、推薦システムにTransformerを大規模化して10億パラメータ級にまで拡張した成果を発表した。同社は5年間にわたり、Transformerを推薦技術に応用する研究を進めており、2024年2月に新たな段階に到達した。この新アーキテクチャ「ARGUS（AutoRegressive Generative User Sequential modeling）」は、ユーザーの行動履歴（文脈、アイテム、フィードバックの三つ組み）を一連のトークンとして扱い、次に何を操作するか（次アイテム予測）と、その反応（フィードバック予測）を同時学習する。従来の「次アイテム予測」（SASRecなど）とは異なり、ARGUSはポジティブな反応だけでなく、スキップやリスニング時間など、多様なフィードバックも学習対象に含む。これにより、過去の推薦ログの挙動を再現し、ユーザーの本質的な好みを理解する能力が向上する。 ARGUSは、ユーザーの履歴を10000件以上にまで拡張し、エンコーダーのサイズを1.007億パラメータまで拡大。これにより、前例のない長期間の行動履歴を一括処理可能になり、学習速度が数十～数百倍に加速。また、モデルの初期学習段階で「自己回帰的」な学習を採用し、ユーザーの全履歴を一度のTransformer処理でエンコードする仕組みを実現。これにより、従来の印象単位での繰り返し処理から脱却し、リソース効率を大幅に改善した。 実装では、音楽ストリーミングサービスを対象に3000億件以上のリスニングデータを用いた大規模な訓練データセットを構築。A/Bテストでは、ARGUS導入により、ユーザーの総リスニング時間は平均0.75％増加し、特に「未知の音楽を探索したい」という設定（Unfamiliar）では12％のリスニング時間増加と10％の「いいね」率向上を達成。また、最終ランクスコアにARGUSの特徴を追加した結果、前モデルの合計改善効果と同等の向上が確認された。 さらに、ARGUSは候補生成段階にも適用可能で、既存の二塔型モデルと組み合わせることで、複数のステージで品質向上を実現。この成果は、推薦システムにおけるTransformerのスケーラビリティに新たな可能性を示し、AIが「人間の好みを深く理解する」ための基盤を築いた。今後は、より複雑なシナリオやリアルタイム処理への応用が進むと予想される。