Vers une formation amortie critique au classement pour le filtrage collaboratif

Le filtrage collaboratif est largement utilisé dans les systèmes de recommandation modernes. Des recherches récentes montrent que les autoencodeurs variationnels (VAEs) offrent des performances de pointe en intégrant des représentations flexibles provenant des réseaux neuronaux profonds dans les modèles à variables latentes, atténuant ainsi les limitations des modèles linéaires traditionnels à facteurs. Les VAEs sont généralement formés en maximisant la vraisemblance (MLE) des interactions des utilisateurs avec les éléments de référence. Bien que simple et souvent efficace, la formation basée sur le MLE ne maximise pas directement les métriques de qualité de recommandation qui nous intéressent généralement, telles que le classement top-N. Dans cet article, nous explorons de nouvelles méthodes pour former des modèles de filtrage collaboratif basées sur l'apprentissage par renforcement à acteur-critique, afin d'optimiser directement les métriques de qualité non dérivables d'intérêt. Plus précisément, nous formons un réseau critique pour approximer les métriques basées sur le classement, puis nous mettons à jour le réseau acteur (représenté ici par un VAE) pour optimiser directement ces métriques apprises. Contrairement aux méthodes traditionnelles d'apprentissage du classement qui nécessitent de relancer la procédure d'optimisation pour chaque nouvelle liste, notre méthode basée sur le critique amortit le processus d'évaluation avec un réseau neuronal et peut fournir directement les scores de classement (approximatifs) pour de nouvelles listes. Expérimentalement, nous montrons que les méthodes proposées surpassent plusieurs méthodes de référence de pointe, y compris des approches récentes basées sur l'apprentissage profond, sur trois jeux de données réels et à grande échelle. Le code permettant de reproduire les résultats expérimentaux et les tracés des figures est disponible sur Github : https://github.com/samlobel/RaCT_CF