Grapheneurale Netze mit Konfigurations-Kreuzaufmerksamkeit für Tensor-Compiler

Mit der jüngsten Popularität von neuronalen Netzen entsteht das Bedürfnis, Inferenzworkloads effizient bereitzustellen. Ein Inferenzworkload eines neuronalen Netzes kann als ein Berechnungsgraph dargestellt werden, bei dem die Knoten als Operatoren dienen, um mehrdimensionale Tensoren zu transformieren. Die Tensoren können auf kombinatorisch große Weise transponiert und/oder geteilt werden, wobei einige Konfigurationen zu beschleunigter Inferenz führen. Wir schlagen TGraph vor, eine neuronale Graph-Architektur, die es ermöglicht, schnell laufende Konfigurationen des Ziel-Berechnungsgraphen zu überprüfen. Dies stellt einen künstlichen Intelligenz (KI)-Tensor-Compiler dar im Gegensatz zu traditionellen heuristikbasierten Compilern. Die vorgeschlagene Lösung verbessert den mittleren Kendall’s $\tau$ über Layout-Sammlungen von TpuGraphs von 29,8 % der verlässlichen Baseline auf 67,4 % bei TGraph. Wir schätzen, dass die potentielle CO$_2$-Emissionsreduktion, die mit unserer Arbeit verbunden ist, mehr als 50 % der gesamten Haushalts-Emissionen in den Regionen entspricht, in denen KI-orientierte Rechenzentren betrieben werden.