Star Attention Block Sparse Attention Mechanism

Star Attention ist ein von NVIDIA im Jahr 2024 vorgeschlagener Block-Sparse-Attention-Mechanismus, der die Inferenzeffizienz von Transformer-basierten großen Sprachmodellen (LLMs) bei langen Sequenzen verbessern soll. Dieser Mechanismus verbessert die Inferenzgeschwindigkeit durch einen zweistufigen Verarbeitungsfluss erheblich und optimiert die Nutzung der Rechenressourcen bei gleichzeitiger Beibehaltung einer hohen Genauigkeit.

Die relevanten Papierergebnisse sindStar Attention: Effiziente LLM-Inferenz über lange Sequenzen", das Dokument beschreibt detailliert das Funktionsprinzip und die Vorteile von Star Attention, einschließlich seines zweistufigen Betriebs: Die erste Stufe ist die Kontextkodierung und die zweite Stufe ist die Abfrageverarbeitung und Token-Generierung. Star Attention kann die Inferenzzeit erheblich verkürzen, den Speicherbedarf und die Inferenzzeit um das bis zu 11-fache reduzieren und gleichzeitig eine Genauigkeit von 95-100% beibehalten.