PyTorch-BigGraph : Un Système d'Embedding de Graphe à Grande Échelle

Les méthodes d'embedding de graphes produisent des caractéristiques de nœuds non supervisées à partir de graphes, qui peuvent ensuite être utilisées pour diverses tâches d'apprentissage automatique. Les graphes modernes, en particulier dans les applications industrielles, contiennent des milliards de nœuds et des billions d'arêtes, ce qui dépasse les capacités des systèmes d'embedding existants. Nous présentons PyTorch-BigGraph (PBG), un système d'embedding qui intègre plusieurs modifications aux systèmes traditionnels d'embedding multi-relationnels, permettant ainsi de traiter des graphes comportant des milliards de nœuds et des billions d'arêtes. PBG utilise la partition de graphe pour former des embeddings arbitrairement grands sur une seule machine ou dans un environnement distribué. Nous démontrons une performance comparable à celle des systèmes d'embedding existants sur des benchmarks courants, tout en permettant l'évolutivité vers des graphes arbitrairement grands et la parallélisation sur plusieurs machines. Nous formons et évaluons des embeddings sur plusieurs grands graphes de réseaux sociaux ainsi que sur l'ensemble du jeu de données Freebase, qui contient plus de 100 millions de nœuds et 2 milliards d'arêtes.