HyperAIHyperAI

Command Palette

Search for a command to run...

MemoNet : Memoriser efficacement toutes les représentations des caractéristiques croisées via un réseau à codebook multi-hachage pour la prédiction du taux de clic (CTR)

Pengtao Zhang Junlin Zhang

Résumé

De nouvelles avancées en traitement du langage naturel (NLP) démontrent que la puissante capacité de mémoire des grands modèles linguistiques (LLM) joue un rôle essentiel dans leur succès. Cela nous inspire à intégrer explicitement un mécanisme de mémoire indépendant dans les modèles de classement CTR afin d’apprendre et de mémoriser efficacement les représentations des caractéristiques croisées. Dans cet article, nous proposons le Multi-Hash Codebook NETwork (HCNet), un mécanisme de mémoire conçu pour apprendre et mémoriser de manière efficace les représentations des caractéristiques croisées dans les tâches CTR. HCNet utilise un codebook multi-hachage comme espace principal de mémoire, et l’ensemble du processus de mémoire se déroule en trois phases : adressage multi-hachage, restauration de la mémoire et réduction des caractéristiques. Nous introduisons également un nouveau modèle CTR, nommé MemoNet, qui combine HCNet avec un noyau DNN. Des expérimentations étendues sur trois jeux de données publics ainsi qu’un test en ligne montrent que MemoNet atteint des performances supérieures par rapport aux approches les plus avancées. En outre, MemoNet présente une loi d’échelle similaire à celle des grands modèles linguistiques en NLP, ce qui signifie que l’agrandissement de la taille du codebook dans HCNet permet d’obtenir de manière continue des améliorations de performance. Notre travail met en évidence l’importance et la faisabilité de l’apprentissage et de la mémoire des représentations des caractéristiques croisées, ouvrant ainsi une nouvelle voie prometteuse de recherche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MemoNet : Memoriser efficacement toutes les représentations des caractéristiques croisées via un réseau à codebook multi-hachage pour la prédiction du taux de clic (CTR) | Articles | HyperAI