Transformation des Systèmes de Classement Publicitaire : DNNs versus Modèles Traditionnels Basés sur les Arbres Contexte Ayant passé presque une décennie à construire et optimiser les systèmes publicitaires chez Meta, j'ai pu observer de près comment l'écosystème de la publicité en ligne a évolué. Depuis des stratégies basiques axées sur les impressions jusqu'à des plateformes complexes et optimisées sur les conversions, chaque étape a apporté de nouvelles avancées technologiques. Aujourd'hui, nous détaillons comment les plateformes de publicité e-commerce comme DoorDash et Airbnb ont adopté des modèles de Deep Neural Networks (DNNs) pour améliorer leurs performances et pourquoi cette transition est cruciale. Objectifs des Plateformes Publicitaires Les plateformes publicitaires en ligne répondent à plusieurs objectifs, notamment la notoriété de marque, les promotions, les conversions et le remarketing. La réussite d'une campagne publicitaire est mesurée selon différents critères, comme le nombre d'impressions, de clics et de conversions. Selon le but de la campagne, la hiérarchie est généralement : impressions, clics, puis conversions. Pour les plateformes e-commerce, la Conversion Rate (CVR) est primordiale, car elle mesure directement la capacité de générer des actions souhaitées, comme un achat ou une inscription. Modèles Traditionnels Basés sur les Arbres Au fil des années, les modèles basés sur les arbres, en particulier les Gradient-Boosted Decision Trees (GBDT), ont été largement adoptés pour leur efficacité dans le traitement de données volumineuses, à haute dimension et hétérogènes. Ces modèles ont permis des gains significatifs en performance, représentant l'une des avancées majeures dans le classement des publicités. Cependant, leur efficacité a fini par stagner, révélant des limitations inhérentes dans la capture de la complexité et de la diversité des interactions des consommateurs. Pour continuer à améliorer les performances, les entreprises ont dû envisager une refonte complète de leurs systèmes de classement, explorant ainsi les réseaux neuronaux. De nombreux essais et recherches ont confirmé l'efficacité supérieure des Deep Neural Networks (DNNs). Grâce à leurs capacités avancées d'apprentissage representatif, les DNNs gèrent efficacement des données temporales, contextuelles et multimodales. Ils permettent également le partage de connaissances entre domaines et modélisent de manière holistique le comportement des utilisateurs. Transition vers les DNNs : Exécution et Défis Étape 1 : Définir la Ligne de Base La base de toute plateforme de publicité en ligne repose sur deux composantes critiques : 1. Service de Formation des Modèles — Un processus hors ligne qui utilise les logs historiques de prédictions et d'engagement pour former les artefacts des modèles. 2. Service d'Exchange Publicitaire — Un système en ligne qui exploite les métadonnées des requêtes et les artefacts formés pour classer les publicités en temps réel. Des mécanismes de logging rigoureux sont essentiels pour capturer des données de qualité pour une formation continue. Avant de passer à un nouveau système, il est crucial de définir une ligne de base solide pour minimiser les risques et maximiser la valeur commerciale. Étape 2 : Formation et Évaluation des Modèles En raison de la dissymétrie dans les distributions des caractéristiques d'entrée, les couche de normalisation jouent un rôle crucial comme étape de prétraitement avant l'alimentation des données dans le réseau neuronal principal. Pour optimiser l'utilisation des ressources, ces tâches de prétraitement sont déchargées sur des pools de CPU plus économiques, tandis que les GPU sont réservés pour des opérations plus intensives, comme les multiplications matricielles. Une gestion stratégique de la charge de travail entre CPU et GPU, ainsi qu'une conception bien pensée du flux de données et de l'allocation des ressources, aide à minimiser les goulots d'étranglement, maximise l'efficacité du matériel et accélère la formation des modèles. Ce processus structurel a amélioré considérablement la performance de la formation, réduisant le temps inactif des GPU et maximisant l'efficacité matérielle. De plus, des optimisations supplémentaires ont été mises en place, comprenant : - Utilisation de l'Area Under the Curve (AUC) et de la Normalized Binary Cross Entropy (BCE) comme principaux indicateurs de performance. Étape 3 : Étapes de l'Évolution des Modèles 3.1 Adoption des Modèles de Recommandation Basés sur l'Apprentissage Profond Les expérimentations A/B en ligne comparant les modèles basés sur les arbres aux modèles basés sur les réseaux neuronaux ont montré des résultats positifs, établissant une base solide pour le plan de migration. La prochaine étape était d'explorer des architectures de DNN spécifiques et des opportunités de génie des caractéristiques en utilisant les logs de formation de DoorDash Ads. Bien que l'ajout de caractéristiques creuses ait initialement affiché des gains marginaux, l'élargissement de l'ensemble de caractéristiques a introduit des défis, notamment des problèmes graves d'overfitting, qui ont élargi l'écart entre les performances hors ligne et en ligne. Cela a soulevé le besoin d'une analyse plus approfondie et d'un débogage systématique pour obtenir des améliorations supplémentaires. 3.2 Personnalisation Approfondie Deux comportements clés des utilisateurs se sont dégagés chez DoorDash : (a) une forte tendance aux achats répétés et (b) une réticence à explorer de nouvelles options. De plus, des facteurs externes comme l'heure de la commande ont joué un rôle critique dans la décision d'achat. Pour aborder ces insights, des caractéristiques nouvelles ont été élaborées pour capturer des signaux comme la période de la journée, les préférences des utilisateurs pour les magasins et les plats, ainsi que leur sensibilité au prix. Des embeddings pré-entraînés ont aussi été introduits pour atténuer les défis liés aux nouveaux utilisateurs et à la rareté des données. Ces améliorations ont contribué à une amélioration d'environ 2.8% du taux de conversion (CVR). 3.3 Fermeture de la Boucle : Réduction de l'écart AUC entre la formation hors ligne et la mise en œuvre en ligne Malgré toutes les améliorations, un écart de 4.3% reste entre l'évaluation des modèles hors ligne et les performances en ligne. L'hypothèse initiale attribuait cet écart à l'âge des données de formation, mais une analyse plus profonde a démontré que la distribution des données avait été stable au fil du temps. Des investigations plus poussées ont révélé que les disparités entre les caractéristiques enregistrées en ligne et celles jointes hors ligne étaient responsables de pratiquement tout l'écart AUC (mesuré à 4.25%). Ces disparités provenaient généralement des retards dans les données de caractéristiques ou des valeurs obsolètes en cache ("cached residuals"). Pour traiter les caractéristiques manquantes, DoorDash a mis en place des fenêtres de jointure spécifiques aux caractéristiques afin de mieux accommoder les retards connus. Bien que cette solution ait partiellement atténué le problème des valeurs en cache, elle n'a pas suffi à une pleine harmonisation. Pour résoudre définitivement le problème des données en cache, l'équipe a activé l'enregistrement en ligne pour les caractéristiques les plus vulnérables aux incohérences. Cela a introduit de nouveaux compromis, notamment une augmentation de la demande de ressources importantes pour le système. Des planifications soigneuses et des optimisations ciblées, comme des améliorations infrastructurales et le parallélisme des processus clés comme l'offre d'enchères et la prédiction de CVR, ont aidé à minimiser les coûts supplémentaires. Même avec ces efforts, il y a eu une augmentation de 10% de la charge sur le service de prédiction. Néanmoins, les gains commerciaux issus d'une meilleure qualité de classement et d'une réduction de la latence moyenne ont justifié ce surcoût. Conclusion Les Deep Neural Networks (DNNs) se présentent comme une alternative supérieure aux modèles traditionnels basés sur les arbres dans le domaine du classement publicitaire e-commerce. Le cas d'étude de DoorDash Ads montre comment les DNNs ont permis une représentation de caractéristiques plus riche, une personnalisation plus profonde et des architectures de formation scalables. Non seulement cette transition a amélioré la précision des modèles et le taux de conversion, mais elle a aussi révélé que, avec l'infrastructure appropriée et l'optimisation, les DNNs peuvent apporter une valeur commerciale tangible. Ainsi, ils se distinguent comme une fondation robuste pour les prochaines générations de systèmes de classement publicitaire. Évaluation de l'Industrie et Profil de l'Entreprise Les experts de l'industrie reconnaissent que l'adoption des DNNs pour le classement publicitaire est une tendance majeure qui permet d'améliorer l'efficacité des campagnes et l'expérience utilisateur. DoorDash, une entreprise de livraison de repas en ligne, s'est imposée comme pionnière dans ce domaine grâce à son approche méthodique et ses innovations technologiques. En investissant dans des technologies de pointe et en adaptant ses systèmes pour accueillir des DNNs, DoorDash a non seulement optimisé ses performances publicitaires mais a aussi renforcé sa position leader sur le marché. Cette transition reflète la volonté de l'entreprise de rester à l'avant-garde de la technologie publicitaire, tout en veillant à ce que ces avancées soient soutenues par une infrastructure solide et une gestion des ressources efficace. Le cas de DoorDash offre un exemple concret de la manière dont les DNNs peuvent transformer positivement le classement publicitaire, profitant à la fois aux annonceurs et aux consommateurs.