Modèles profonds d'interactions entre ensembles

Nous utilisons l'apprentissage profond pour modéliser les interactions entre deux ensembles d'objets ou plus, tels que les évaluations utilisateur-film, les liaisons protéine-médicament, ou les interactions ternaires utilisateur-élément-étiquette. La représentation canonique de ces interactions est une matrice (ou un tenseur de dimension supérieure) possédant une propriété d'échangeabilité : le sens du codage n'est pas modifié par la permutation des lignes ou des colonnes. Nous soutenons que les modèles devraient donc être Équivariants aux Permutations (EP) : contraints à faire les mêmes prédictions à travers ces permutations. Nous présentons un schéma de partage de paramètres et démontrons qu'il ne pourrait pas être rendu plus expressif sans violer l'EP. Ce schéma offre trois avantages. Premièrement, nous montrons des performances de pointe sur plusieurs benchmarks de complétion de matrices. Deuxièmement, nos modèles nécessitent un nombre de paramètres indépendant du nombre d'objets, ce qui leur permet de bien s'adapter à de grands ensembles de données. Troisièmement, les modèles peuvent être interrogés sur de nouveaux objets qui n'étaient pas disponibles au moment de l'entraînement, mais dont les interactions ont depuis été observées. Dans nos expériences, nos modèles ont obtenu des performances généralisatrices surprenantes dans cette tâche d'extrapolation matricielle, tant au sein des domaines (par exemple, nouveaux utilisateurs et nouveaux films tirés de la même distribution utilisée pour l'entraînement) qu'à travers différents domaines (par exemple, prédire des évaluations musicales après avoir été entraînés sur des films).