HyperAIHyperAI

Command Palette

Search for a command to run...

FAT-DeepFFM : Machine à factorisation attentive aux champs et profonde

Junlin Zhang Tongwen Huang Zhiqi Zhang

Résumé

L'estimation du taux de clics (CTR) est une tâche fondamentale dans la publicité personnalisée et les systèmes de recommandation. Ces dernières années ont vu le succès des modèles basés sur l'apprentissage profond et des mécanismes d'attention dans diverses tâches en vision par ordinateur (CV) et traitement du langage naturel (NLP). La combinaison du mécanisme d'attention avec un modèle CTR profond est une direction prometteuse car elle pourrait associer les avantages des deux approches. Bien que certains modèles CTR, comme la Machine de Factorisation Attentive (AFM), aient été proposés pour modéliser le poids des caractéristiques d'interaction de deuxième ordre, nous soutenons que l'évaluation de l'importance des caractéristiques avant la procédure explicite d'interaction des caractéristiques est également cruciale pour les tâches d'estimation du CTR. En effet, si la tâche comporte de nombreuses caractéristiques d'entrée, le modèle peut apprendre à mettre en évidence sélectivement les caractéristiques informatives et à atténuer celles moins utiles.Dans cet article, nous proposons un nouveau modèle neuronal CTR appelé Field Attentive Deep Field-aware Factorization Machine (FAT-DeepFFM) en combinant la Deep Field-aware Factorization Machine (DeepFFM) avec le mécanisme d'attention par champ du réseau Compose-Excitation (CENet), une version améliorée du réseau Squeeze-Excitation (SENet) que nous avons développée pour souligner l'importance des caractéristiques. Nous menons des expériences approfondies sur deux jeux de données réels, et les résultats montrent que FAT-DeepFFM atteint les meilleures performances et obtient des améliorations significatives par rapport aux méthodes les plus avancées actuellement disponibles. Nous comparons également deux types de mécanismes d'attention (l'attention avant l'interaction explicite des caractéristiques contre l'attention après l'interaction explicite des caractéristiques) et démontrons que le premier surpasser largement le second.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp