Empirische Bewertung von Gated Recurrent Neural Networks im sequenziellen Modellieren

In dieser Arbeit vergleichen wir verschiedene Arten von rekurrenten Einheiten in rekurrenten neuronalen Netzen (RNNs). Insbesondere konzentrieren wir uns auf fortschrittlichere Einheiten, die ein Gating-Mechanismus implementieren, wie z.B. Long Short-Term Memory (LSTM)-Einheiten und die kürzlich vorgeschlagenen Gated Recurrent Units (GRUs). Wir bewerten diese rekurrenten Einheiten anhand der Aufgaben des polyphonen Musikmodellierens und des Sprachsignalmodellierens. Unsere Experimente zeigten, dass diese fortschrittlichen rekurrenten Einheiten tatsächlich besser sind als traditionellere rekurrente Einheiten wie tanh-Einheiten. Zudem stellten wir fest, dass GRUs sich den LSTMs vergleichbar erweisen.