要約
私たちは新しいシーケンスモデリングのアーキテクチャであるトレリスネットワークを提案します。一方で、トレリスネットワークは重みが深さにわたって共有され、入力が直接深い層に注入されるという特徴を持つ時系列畳み込みネットワークです。他方で、切断された再帰型ネットワークは、重み行列に特殊な疎構造を持つトレリスネットワークと等価であることを示しています。したがって、一般的な重み行列を持つトレリスネットワークは、切断された再帰型ネットワークを一般化します。これらの関連性を利用して、再帰型モデルと畳み込みモデルの両方から構造的およびアルゴリズミック要素を取り入れた高性能なトレリスネットワークを設計しました。実験結果では、単語レベルの言語モデルや文字レベルの言語モデルなどの課題的なベンチマークにおいて、現行の最先端手法を上回ることが示されています。また、長期記憶保持能力を評価するストレステストでも優れた性能を発揮しました。コードは https://github.com/locuslab/trellisnet で公開されています。