要約
階層的および時間的な表現を学習することは、再帰型ニューラルネットワーク（RNN）の長年の課題の一つとなっています。マルチスケール再帰型ニューラルネットワークは、この問題を解決する有望なアプローチとして注目されてきましたが、この種のモデルが実際にシーケンスの潜在的な階層構造を発見することで時間的依存関係を捉えることができるという実証的な証拠が不足していました。本論文では、異なる時間尺度で時間的依存関係を符号化する新しい更新メカニズムを使用して、シーケンス内の潜在的な階層構造を捉えることができる革新的なマルチスケールアプローチである「階層的マルチスケール再帰型ニューラルネットワーク」を提案します。我々は提案したマルチスケールアーキテクチャが明示的な境界情報を使わずにシーケンス内の潜在的な階層構造を見つけることができるという証拠を提示します。また、提案モデルの性能評価として文字レベル言語モデリングと筆跡シーケンスモデリングに適用しました。