HyperAIHyperAI

Command Palette

Search for a command to run...

Grapheneurale Netze mit Konfigurations-Kreuzaufmerksamkeit für Tensor-Compiler

Dmitrii Khizbulin Eduardo Rocha de Andrade Thanh Hau Nguyen Matheus Pedroza Ferreira David R. Pugh

Zusammenfassung

Mit der jüngsten Popularität von neuronalen Netzen entsteht das Bedürfnis, Inferenzworkloads effizient bereitzustellen. Ein Inferenzworkload eines neuronalen Netzes kann als ein Berechnungsgraph dargestellt werden, bei dem die Knoten als Operatoren dienen, um mehrdimensionale Tensoren zu transformieren. Die Tensoren können auf kombinatorisch große Weise transponiert und/oder geteilt werden, wobei einige Konfigurationen zu beschleunigter Inferenz führen. Wir schlagen TGraph vor, eine neuronale Graph-Architektur, die es ermöglicht, schnell laufende Konfigurationen des Ziel-Berechnungsgraphen zu überprüfen. Dies stellt einen künstlichen Intelligenz (KI)-Tensor-Compiler dar im Gegensatz zu traditionellen heuristikbasierten Compilern. Die vorgeschlagene Lösung verbessert den mittleren Kendall’s τ\tauτ über Layout-Sammlungen von TpuGraphs von 29,8 % der verlässlichen Baseline auf 67,4 % bei TGraph. Wir schätzen, dass die potentielle CO2_22-Emissionsreduktion, die mit unserer Arbeit verbunden ist, mehr als 50 % der gesamten Haushalts-Emissionen in den Regionen entspricht, in denen KI-orientierte Rechenzentren betrieben werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp