HyperAIHyperAI

Command Palette

Search for a command to run...

Geschnittene Rekurrente Neuronale Netze

Zeping Yu; Gongshen Liu

Zusammenfassung

Rekurrente Neuronale Netze haben in vielen NLP-Aufgaben großartige Erfolge erzielt. Aufgrund ihrer rekurrenten Struktur haben sie jedoch Schwierigkeiten bei der Parallelisierung, wodurch das Training von RNNs viel Zeit in Anspruch nimmt. In dieser Arbeit stellen wir geschnittene rekurrente neuronale Netze (SRNNs) vor, die durch das Zerschneiden von Sequenzen in viele Teilsequenzen parallelisiert werden können. SRNNs verfügen über die Fähigkeit, hochwertige Informationen durch mehrere Schichten mit wenigen zusätzlichen Parametern zu extrahieren. Wir zeigen, dass die Standard-RNN ein Spezialfall der SRNN ist, wenn wir lineare Aktivierungsfunktionen verwenden. Ohne die rekurrenten Einheiten zu ändern, sind SRNNs 136-mal schneller als Standard-RNNs und könnten noch schneller sein, wenn wir längere Sequenzen trainieren. Experimente an sechs großen Sentiment-Analyse-Datensätzen zeigen, dass SRNNs eine bessere Leistung als Standard-RNNs erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Geschnittene Rekurrente Neuronale Netze | Paper | HyperAI