Astuces de factorisation pour les réseaux LSTM

Nous présentons deux méthodes simples pour réduire le nombre de paramètres et accélérer l'entraînement des grands réseaux de mémoire à court et long terme (LSTM) : la première consiste en une « factorisation matricielle par conception » de la matrice LSTM en un produit de deux matrices plus petites, et la seconde en un partitionnement de la matrice LSTM, de ses entrées et états en groupes indépendants. Ces deux approches nous permettent d'entraîner des grands réseaux LSTM considérablement plus rapidement jusqu'à une perplexité proche de l'état de l'art tout en utilisant significativement moins de paramètres RNN.