HyperAIHyperAI

Command Palette

Search for a command to run...

OptEmbed : Apprentissage d’un tableau d’embedding optimal pour la prédiction du taux de clic

Fuyuan Lyu Xing Tang Hong Zhu Huifeng Guo Yingxue Zhang Ruiming Tang Xue Liu

Résumé

L’apprentissage du tableau d’embeddings joue un rôle fondamental dans la prédiction du taux de clic (CTR) du point de vue de la performance du modèle et de l’utilisation mémoire. Le tableau d’embeddings est un tenseur à deux dimensions, dont les axes représentent respectivement le nombre de valeurs de caractéristiques et la dimension d’embedding. Afin d’apprendre un tableau d’embeddings efficace et performant, les travaux récents adoptent soit des dimensions d’embedding variées pour les différents champs de caractéristiques tout en réduisant le nombre d’embeddings correspondants, soit une masquage des paramètres du tableau d’embeddings. Toutefois, tous ces approches existantes ne parviennent pas à obtenir un tableau d’embeddings optimal. D’une part, l’attribution de dimensions d’embedding différentes reste coûteuse en mémoire en raison du grand nombre de caractéristiques présentes dans les jeux de données. D’autre part, la réduction du nombre d’embeddings entraîne généralement une dégradation des performances, ce qui est inacceptable dans le contexte de la prédiction du CTR. Enfin, la suppression de paramètres d’embedding conduit à un tableau d’embeddings creux, difficile à déployer en production. A cet effet, nous proposons un cadre d’apprentissage optimal du tableau d’embeddings, appelé OptEmbed, offrant une méthode pratique et générale pour découvrir un tableau d’embeddings optimal applicable à divers modèles de base de prédiction du CTR. Plus précisément, nous proposons de supprimer les embeddings redondants en fonction de l’importance des caractéristiques correspondantes, en utilisant des seuils d’appris pour la suppression. Par ailleurs, nous considérons l’attribution de dimensions d’embedding variées comme une seule architecture candidate. Pour rechercher efficacement les dimensions d’embedding optimales, nous avons conçu un schéma d’échantillonnage uniforme des dimensions d’embedding, permettant une formation équilibrée de toutes les architectures candidates. Cela signifie que les paramètres propres aux architectures et les seuils d’appris sont entraînés simultanément au sein d’un seul super-réseau. Nous proposons ensuite une méthode de recherche évolutionnaire basée sur ce super-réseau afin d’identifier les dimensions d’embedding optimales pour chaque champ. Des expériences menées sur des jeux de données publics montrent que OptEmbed permet d’apprendre un tableau d’embeddings compact, capable d’améliorer davantage la performance du modèle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp