Hierarchische Multiskalen-Rekurrente Neuronale Netze

Das Erlernen sowohl hierarchischer als auch zeitlicher Darstellungen ist seit jeher eine der größten Herausforderungen für rekurrente Neuronale Netze. Mehrskalige rekurrente Neuronale Netze gelten als vielversprechender Ansatz, um dieses Problem zu lösen, es fehlen jedoch empirische Beweise, die zeigen, dass diese Modelltypen tatsächlich die zeitlichen Abhängigkeiten durch das Entdecken der latenten hierarchischen Struktur der Sequenz erfassen können. In dieser Arbeit schlagen wir einen neuen mehrskaligen Ansatz vor, die hierarchischen mehrskaligen rekurrenten Neuronalen Netze (Hierarchical Multiscale Recurrent Neural Networks), die in der Lage sind, die latente hierarchische Struktur in der Sequenz durch Codierung der zeitlichen Abhängigkeiten mit unterschiedlichen Zeitskalen mittels eines neuartigen Aktualisierungsmechanismus zu erfassen. Wir präsentieren einige Beweise dafür, dass unsere vorgeschlagene mehrskalige Architektur die zugrunde liegende hierarchische Struktur in den Sequenzen ohne explizite Randinformationen entdecken kann. Wir evaluieren unser vorgeschlagenes Modell anhand von charakterbasiertem Sprachmodellierung und Handschriftensequenzmodellierung.