Représentation de l'Ensemble : Réseaux Neuronaux pour l'Apprentissage des Représentations d'Ensembles

Dans plusieurs domaines, les objets de données peuvent être décomposés en ensembles d'objets plus simples. Il est alors naturel de représenter chaque objet comme l'ensemble de ses composants ou parties. De nombreux algorithmes traditionnels d'apprentissage automatique ne sont pas capables de traiter ce type de représentations, car les ensembles peuvent varier en cardinalité et leurs éléments manquent d'un ordre significatif. Dans cet article, nous présentons une nouvelle architecture de réseau neuronal appelée RepSet, capable de gérer des exemples représentés par des ensembles de vecteurs. Le modèle proposé calcule les correspondances entre un ensemble d'entrée et des ensembles cachés en résolvant une série de problèmes de flot dans le réseau. Cette représentation est ensuite alimentée à une architecture de réseau neuronal standard pour produire la sortie. L'architecture permet un apprentissage basé sur les gradients, de bout en bout. Nous démontrons RepSet sur des tâches de classification, notamment la catégorisation de texte et la classification de graphes, et nous montrons que le réseau neuronal proposé atteint des performances supérieures ou comparables aux algorithmes les plus avancés actuellement disponibles.