Yujun Lin Zhekai Zhang Song Han

Abstract

Moderne Tensor-Anwendungen, insbesondere Grundlagenmodelle und generative KI-Anwendungen, erfordern mehrere Eingabemodalitäten (sowohl visuelle als auch sprachliche Daten), was die Nachfrage nach flexiblen Beschleunigerarchitekturen erhöht. Bestehende Frameworks leiden unter dem Kompromiss zwischen Architekturflexibilität und Produktivität bei der Erzeugung von RTL-Code: Entweder sind sie auf sehr wenige handgeschriebene Template beschränkt, oder sie können den RTL-Code nicht automatisch generieren. Um diese Herausforderung zu bewältigen, stellen wir das LEGO-Framework vor, das speziell für Tensor-Anwendungen entwickelt wurde und automatisch räumliche Architekturdesigns generiert und synthesierbaren RTL-Code ausgibt, ohne dass handgeschriebene RTL-Template erforderlich sind. Durch die Nutzung einer affin-transformationsbasierten Architekturdarstellung identifiziert die LEGO-Vorderseite die Verbindungen zwischen Funktionsbausteinen, synthetisiert das Speichersystem und kombiniert verschiedene räumliche Datenfluss-Designs auf Basis einer Analyse der Datenwiederverwendung. Der LEGO-Hintergrund übersetzt dann die Hardware in einem primitiven Graphen, um niedrigstufige Optimierungen durchzuführen, und wendet eine Reihe von linearen Programmieralgorithmen an, um Pipelining-Register optimal einzufügen und die Overhead-Kosten für nicht genutzte Logik bei Wechseln zwischen räumlichen Datenfluss-Designs zu minimieren. Unsere Evaluation zeigt, dass LEGO gegenüber der vorherigen Arbeit Gemmini eine Geschwindigkeitssteigerung um den Faktor 3,2 und eine Energieeffizienzsteigerung um den Faktor 2,4 erreicht und in der Lage ist, eine einzige Architektur für eine Vielzahl moderner Grundlagenmodelle in generativen KI-Anwendungen zu generieren.