HyperAIHyperAI

Command Palette

Search for a command to run...

Faktorisierungs-Tricks für LSTM-Netze

Oleksii Kuchaiev; Boris Ginsburg

Zusammenfassung

Wir stellen zwei einfache Methoden vor, um die Anzahl der Parameter zu reduzieren und das Training großer Long Short-Term Memory (LSTM)-Netze zu beschleunigen: Die erste Methode ist die „designbasierte Matrixfaktorisierung“ der LSTM-Matrix in das Produkt von zwei kleineren Matrizen, und die zweite Methode ist die Partitionierung der LSTM-Matrix, ihrer Eingaben und Zustände in unabhängige Gruppen. Beide Ansätze ermöglichen es uns, große LSTM-Netze erheblich schneller bis nahe an den Stand der Technik zu trainieren, während gleichzeitig deutlich weniger RNN-Parameter verwendet werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp