Perte par entropie croisée évolutif pour les recommandations séquentielles avec de grands catalogues d'articles

Le problème d’évolutivité joue un rôle crucial dans la mise en production des systèmes de recommandation modernes. Même les architectures légères peuvent souffrir d’une surcharge computationnelle importante en raison de calculs intermédiaires, ce qui limite leur faisabilité dans les applications du monde réel. En particulier, l’utilisation de la perte entropie croisée (Cross-Entropy, CE) complète permet généralement d’atteindre des performances de recommandation de pointe. Toutefois, cette approche entraîne une utilisation excessive de la mémoire GPU lorsqu’elle est appliquée à des catalogues d’éléments de grande taille. Ce papier présente une nouvelle fonction de perte, appelée entropie croisée évolutible (Scalable Cross-Entropy, SCE), dans un cadre d’apprentissage séquentiel. Elle approxime la perte CE pour des jeux de données comportant des catalogues volumineux, améliorant à la fois l’efficacité temporelle et l’utilisation mémoire, sans compromettre la qualité des recommandations. Contrairement aux méthodes classiques d’échantillonnage négatif, notre approche repose sur une stratégie de calcul sélective et efficace en GPU, qui se concentre sur les éléments les plus informatifs du catalogue, notamment ceux susceptibles d’être des faux positifs. Cette sélection est réalisée en approximant la distribution softmax sur un sous-ensemble des sorties du modèle à l’aide d’une recherche par produit scalaire maximal (maximum inner product search). Les résultats expérimentaux sur plusieurs jeux de données démontrent l’efficacité de SCE, qui réduit la consommation mémoire maximale jusqu’à un facteur 100 par rapport aux alternatives, tout en conservant ou même dépassant leurs performances. Cette approche ouvre également de nouvelles perspectives pour le développement à grande échelle dans divers domaines, tels que les modèles de langage à grande échelle.