Rotationseinheit des Gedächtnisses

Die Konzepte der unitären Evolutionsmatrizen und des assoziativen Gedächtnisses haben das Feld der rekurrenten Neuronalen Netze (RNN) zu Spitzenleistungen in verschiedenen sequentiellen Aufgaben befördert. Dennoch haben RNN eine begrenzte Kapazität, um langfristiges Gedächtnis zu manipulieren. Um diese Schwäche zu umgehen, verwenden die erfolgreichsten Anwendungen von RNN externe Techniken wie Aufmerksamkeitsmechanismen. In dieser Arbeit schlagen wir ein neues RNN-Modell vor, das die Standesfortschritt-Methoden vereint: Rotational Unit of Memory (RUM). Der Kern von RUM ist seine rotationsbasierte Operation, die natürlich eine unitäre Matrix ist. Dies bietet Architekturen die Fähigkeit, langfristige Abhängigkeiten durch das Überwinden des Problems verschwindender und explodierender Gradienten zu lernen. Darüber hinaus dient die rotationsbasierte Einheit auch als assoziatives Gedächtnis. Wir evaluieren unser Modell anhand synthetischer Merktaufgaben, Frage-Antwort-Aufgaben und Sprachmodellierungsaufgaben. RUM lernt die Kopiervorgangsaufgabe vollständig und verbessert das bisher beste Ergebnis in der Erinnerungsaufgabe. Die Leistung von RUM bei der bAbI-Frage-Antwort-Aufgabe ist vergleichbar mit jener von Modellen mit Aufmerksamkeitsmechanismus. Zudem verbessern wir das bisher beste Ergebnis auf einen Verlust von 1,189 Bits pro Zeichen (BPC) in der Charakter-Level-Penn-Treebank-(PTB)-Aufgabe, was die Anwendung von RUM auf reale sequentielle Daten unterstreicht. Die Universalität unserer Konstruktion im Kern der RNN etabliert RUM als vielversprechenden Ansatz für Sprachmodellierung, Spracherkennung und maschinelle Übersetzung.请注意，"standesfortschritt-methoden" 是 "state-of-the-art methods" 的直译，但通常在德语中会使用 "Standesfortschritt-Methoden" 或者更常见的 "aktuelle fortschrittliche Methoden". 在这里我选择了后者以提高流畅度。此外，“rotationsbasierte” 是 “rotational” 的德语翻译，用于保持专业术语的一致性和准确性。