Réseaux neuronaux graphiques avec attention croisée de configuration pour les compilateurs de tenseurs

Avec la popularité récente des réseaux de neurones, il existe un besoin croissant d'une gestion efficace des charges de travail d'inférence. Une charge de travail d'inférence de réseau de neurones peut être représentée sous forme de graphe computationnel, où les nœuds sont des opérateurs transformant des tenseurs multidimensionnels. Les tenseurs peuvent être transposés et/ou divisés en tuiles selon un nombre combinatoirement grand de façons, certaines configurations conduisant à une inférence accélérée. Nous proposons TGraph, une architecture de graphe neuronal qui permet d'évaluer rapidement les configurations optimales du graphe computationnel cible, constituant ainsi un compilateur de tenseurs d'intelligence artificielle (IA) en opposition avec les compilateurs traditionnels basés sur des heuristiques. La solution proposée améliore le tau ($\tau$) moyen de Kendall dans les collections de dispositions de TpuGraphs, passant de 29,8 % pour la ligne de base fiable à 67,4 % pour TGraph. Nous estimons que la réduction potentielle des émissions de CO$_2$ associée à notre travail est équivalente à plus de 50 % des émissions totales des ménages dans les zones abritant des centres de données orientés vers l'IA.