Gated Orthogonal Recurrent Units: Über das Lernen, zu vergessen

Wir präsentieren ein neues Modell auf Basis von rekurrenten neuronalen Netzen (RNN), das die Merkfähigkeit von unitären RNNs mit der Fähigkeit von geregten RNNs kombiniert, redundante oder irrelevante Informationen in ihrem Gedächtnis effektiv zu vergessen. Dies erreichen wir, indem wir unitäre RNNs mit einem Gating-Mechanismus erweitern. Unser Modell ist in der Lage, LSTMs, GRUs und unitäre RNNs bei mehreren Benchmark-Aufgaben mit langfristigen Abhängigkeiten zu übertreffen. In empirischen Studien zeigen wir sowohl, dass orthogonale/unitäre RNNs die Fähigkeit zum Vergessen fehlen, als auch, dass GORU in der Lage ist, langfristige Abhängigkeiten zu speichern, während es gleichzeitig irrelevante Informationen vergisst. Dies spielt eine wichtige Rolle in rekurrenten neuronalen Netzen. Wir liefern wettbewerbsfähige Ergebnisse zusammen mit einer Analyse unseres Modells für viele natürliche sequentielle Aufgaben, darunter bAbI-Fragebeantwortung, Vorhersage des Sprachspektrums von TIMIT, Penn TreeBank und synthetische Aufgaben, die langfristige Abhängigkeiten beinhalten wie algorithmische Aufgaben, Klammerprobleme, Entrauschung und Kopieraufgaben.