HyperAIHyperAI

Command Palette

Search for a command to run...

Star-Transformer

Author Name

Zusammenfassung

Obwohl der Transformer in vielen NLP-Aufgaben große Erfolge erzielt hat, führt seine komplexe Struktur mit vollständig verbundenen Aufmerksamkeitsverbindungen zu einer Abhängigkeit von großen Trainingsdatensätzen. In dieser Arbeit stellen wir den Star-Transformer vor, eine leichtgewichtige Alternative durch sorgfältige Verdünnung. Um die Modellkomplexität zu reduzieren, ersetzen wir die vollständig verbundene Struktur durch eine sternförmige Topologie, bei der jede zwei nicht benachbarte Knoten über einen gemeinsamen Relaisknoten verbunden sind. Dadurch wird die Komplexität von quadratisch auf linear reduziert, wobei gleichzeitig die Fähigkeit zur Erfassung sowohl lokaler Kompositionen als auch langer Abhängigkeiten erhalten bleibt. Die Experimente an vier Aufgaben (22 Datensätze) zeigen, dass der Star-Transformer bei mittelgroßen Datensätzen signifikante Verbesserungen gegenüber dem Standard-Transformer erzielt hat.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp