MemoNet : Memoriser efficacement toutes les représentations des caractéristiques croisées via un réseau à codebook multi-hachage pour la prédiction du taux de clic (CTR)

De nouvelles avancées en traitement du langage naturel (NLP) démontrent que la puissante capacité de mémoire des grands modèles linguistiques (LLM) joue un rôle essentiel dans leur succès. Cela nous inspire à intégrer explicitement un mécanisme de mémoire indépendant dans les modèles de classement CTR afin d’apprendre et de mémoriser efficacement les représentations des caractéristiques croisées. Dans cet article, nous proposons le Multi-Hash Codebook NETwork (HCNet), un mécanisme de mémoire conçu pour apprendre et mémoriser de manière efficace les représentations des caractéristiques croisées dans les tâches CTR. HCNet utilise un codebook multi-hachage comme espace principal de mémoire, et l’ensemble du processus de mémoire se déroule en trois phases : adressage multi-hachage, restauration de la mémoire et réduction des caractéristiques. Nous introduisons également un nouveau modèle CTR, nommé MemoNet, qui combine HCNet avec un noyau DNN. Des expérimentations étendues sur trois jeux de données publics ainsi qu’un test en ligne montrent que MemoNet atteint des performances supérieures par rapport aux approches les plus avancées. En outre, MemoNet présente une loi d’échelle similaire à celle des grands modèles linguistiques en NLP, ce qui signifie que l’agrandissement de la taille du codebook dans HCNet permet d’obtenir de manière continue des améliorations de performance. Notre travail met en évidence l’importance et la faisabilité de l’apprentissage et de la mémoire des représentations des caractéristiques croisées, ouvrant ainsi une nouvelle voie prometteuse de recherche.