OptEmbed : Apprentissage d’un tableau d’embedding optimal pour la prédiction du taux de clic

L’apprentissage du tableau d’embeddings joue un rôle fondamental dans la prédiction du taux de clic (CTR) du point de vue de la performance du modèle et de l’utilisation mémoire. Le tableau d’embeddings est un tenseur à deux dimensions, dont les axes représentent respectivement le nombre de valeurs de caractéristiques et la dimension d’embedding. Afin d’apprendre un tableau d’embeddings efficace et performant, les travaux récents adoptent soit des dimensions d’embedding variées pour les différents champs de caractéristiques tout en réduisant le nombre d’embeddings correspondants, soit une masquage des paramètres du tableau d’embeddings. Toutefois, tous ces approches existantes ne parviennent pas à obtenir un tableau d’embeddings optimal. D’une part, l’attribution de dimensions d’embedding différentes reste coûteuse en mémoire en raison du grand nombre de caractéristiques présentes dans les jeux de données. D’autre part, la réduction du nombre d’embeddings entraîne généralement une dégradation des performances, ce qui est inacceptable dans le contexte de la prédiction du CTR. Enfin, la suppression de paramètres d’embedding conduit à un tableau d’embeddings creux, difficile à déployer en production. A cet effet, nous proposons un cadre d’apprentissage optimal du tableau d’embeddings, appelé OptEmbed, offrant une méthode pratique et générale pour découvrir un tableau d’embeddings optimal applicable à divers modèles de base de prédiction du CTR. Plus précisément, nous proposons de supprimer les embeddings redondants en fonction de l’importance des caractéristiques correspondantes, en utilisant des seuils d’appris pour la suppression. Par ailleurs, nous considérons l’attribution de dimensions d’embedding variées comme une seule architecture candidate. Pour rechercher efficacement les dimensions d’embedding optimales, nous avons conçu un schéma d’échantillonnage uniforme des dimensions d’embedding, permettant une formation équilibrée de toutes les architectures candidates. Cela signifie que les paramètres propres aux architectures et les seuils d’appris sont entraînés simultanément au sein d’un seul super-réseau. Nous proposons ensuite une méthode de recherche évolutionnaire basée sur ce super-réseau afin d’identifier les dimensions d’embedding optimales pour chaque champ. Des expériences menées sur des jeux de données publics montrent que OptEmbed permet d’apprendre un tableau d’embeddings compact, capable d’améliorer davantage la performance du modèle.