Machine à Interaction Approfondie : un modèle simple mais efficace pour les interactions de caractéristiques d'ordre élevé

La prédiction du taux de clic (CTR) constitue une tâche essentielle pour de nombreuses applications en ligne, telles que les systèmes de recommandation et la publicité en ligne. L’objectif de la prédiction du CTR est de modéliser la probabilité qu’un utilisateur clique sur un élément, en s’appuyant sur des caractéristiques d’entrée à haute dimension. Afin d’éviter une ingénierie manuelle lourde des caractéristiques, le cœur de la prédiction du CTR réside dans la modélisation automatique des interactions entre les caractéristiques d’entrée. La Machine à facteurs (Factorization Machine, FM) constitue une approche efficace pour modéliser les interactions de second ordre entre caractéristiques. Récemment, la FM a été étendue pour capturer des interactions d’ordre supérieur, comme dans les modèles xDeepFM et la Machine à facteurs d’ordre supérieur (Higher-Order Factorization Machine, HOFM). Toutefois, ces approches souffrent soit d’une complexité élevée, soit d’un calcul itératif coûteux en temps et en mémoire. Pour surmonter ces limitations, nous exprimons la FM d’ordre arbitraire sous forme de sommes de puissances, conformément aux identités de Newton. À partir de cette formulation, nous proposons un nouveau modèle appelé Interaction Machine (IM). L’IM est une implémentation efficace et exacte de la FM d’ordre élevé, dont la complexité temporelle croît linéairement en fonction de l’ordre des interactions et du nombre de champs de caractéristiques. Grâce à IM, il devient possible de réaliser des interactions de tout ordre de manière extrêmement simple. En outre, nous combinons IM avec des réseaux de neurones profonds, aboutissant à un modèle appelé DeepIM, qui s’avère plus efficace que xDeepFM tout en offrant des performances comparables, voire supérieures. Des expériences menées sur deux jeux de données réels démontrent de manière convaincante l’efficacité et l’efficience des modèles IM et DeepIM.