Adaptive-saturated RNN: Mehr Speicher mit geringerer Instabilität

Orthogonale Parametrisierung stellt eine überzeugende Lösung für das Verschwinden des Gradientenproblems (VGP) in rekurrenten neuronalen Netzen (RNNs) dar. Durch orthogonale Parameter und nicht gesättigte Aktivierungsfunktionen werden die Gradienten in solchen Modellen auf Einheitsnormen beschränkt. Andererseits leiden klassische Vanilla-RNNs trotz ihrer höheren Speicherkapazität unter dem VGP und erzielen in vielen Anwendungen schlechte Leistungen. In dieser Arbeit wird Adaptive-Saturated RNN (asRNN) vorgestellt, eine Variante, die dynamisch ihren Sättigungsgrad zwischen den beiden genannten Ansätzen anpasst. Dadurch verbindet asRNN sowohl die Kapazität eines Vanilla-RNNs als auch die Trainingsstabilität orthogonaler RNNs. Unsere Experimente zeigen vielversprechende Ergebnisse von asRNN auf anspruchsvollen Benchmarks für Sequenzlernaufgaben im Vergleich zu mehreren starken Konkurrenten. Der Forschungscode ist unter https://github.com/ndminhkhoi46/asRNN/ verfügbar.