HyperAIHyperAI

Command Palette

Search for a command to run...

Rotationseinheit des Gedächtnisses

["name": "Rumen Dangovski*" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]" "name": "Li Jing*" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]" "name": "Marin Solja\u010di\u0107" "affiliation": "Massachusetts Institute of Technology" "email": "[email protected]"]

Zusammenfassung

Die Konzepte der unitären Evolutionsmatrizen und des assoziativen Gedächtnisses haben das Feld der rekurrenten Neuronalen Netze (RNN) zu Spitzenleistungen in verschiedenen sequentiellen Aufgaben befördert. Dennoch haben RNN eine begrenzte Kapazität, um langfristiges Gedächtnis zu manipulieren. Um diese Schwäche zu umgehen, verwenden die erfolgreichsten Anwendungen von RNN externe Techniken wie Aufmerksamkeitsmechanismen. In dieser Arbeit schlagen wir ein neues RNN-Modell vor, das die Standesfortschritt-Methoden vereint: Rotational Unit of Memory (RUM). Der Kern von RUM ist seine rotationsbasierte Operation, die natürlich eine unitäre Matrix ist. Dies bietet Architekturen die Fähigkeit, langfristige Abhängigkeiten durch das Überwinden des Problems verschwindender und explodierender Gradienten zu lernen. Darüber hinaus dient die rotationsbasierte Einheit auch als assoziatives Gedächtnis. Wir evaluieren unser Modell anhand synthetischer Merktaufgaben, Frage-Antwort-Aufgaben und Sprachmodellierungsaufgaben. RUM lernt die Kopiervorgangsaufgabe vollständig und verbessert das bisher beste Ergebnis in der Erinnerungsaufgabe. Die Leistung von RUM bei der bAbI-Frage-Antwort-Aufgabe ist vergleichbar mit jener von Modellen mit Aufmerksamkeitsmechanismus. Zudem verbessern wir das bisher beste Ergebnis auf einen Verlust von 1,189 Bits pro Zeichen (BPC) in der Charakter-Level-Penn-Treebank-(PTB)-Aufgabe, was die Anwendung von RUM auf reale sequentielle Daten unterstreicht. Die Universalität unserer Konstruktion im Kern der RNN etabliert RUM als vielversprechenden Ansatz für Sprachmodellierung, Spracherkennung und maschinelle Übersetzung.请注意,"standesfortschritt-methoden" 是 "state-of-the-art methods" 的直译,但通常在德语中会使用 "Standesfortschritt-Methoden" 或者更常见的 "aktuelle fortschrittliche Methoden". 在这里我选择了后者以提高流畅度。此外,“rotationsbasierte” 是 “rotational” 的德语翻译,用于保持专业术语的一致性和准确性。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp