HyperAIHyperAI

Command Palette

Search for a command to run...

トレリスネットワークによるシーケンスモデリング

Shaojie Bai J. Zico Kolter Vladlen Koltun

概要

私たちは新しいシーケンスモデリングのアーキテクチャであるトレリスネットワークを提案します。一方で、トレリスネットワークは重みが深さにわたって共有され、入力が直接深い層に注入されるという特徴を持つ時系列畳み込みネットワークです。他方で、切断された再帰型ネットワークは、重み行列に特殊な疎構造を持つトレリスネットワークと等価であることを示しています。したがって、一般的な重み行列を持つトレリスネットワークは、切断された再帰型ネットワークを一般化します。これらの関連性を利用して、再帰型モデルと畳み込みモデルの両方から構造的およびアルゴリズミック要素を取り入れた高性能なトレリスネットワークを設計しました。実験結果では、単語レベルの言語モデルや文字レベルの言語モデルなどの課題的なベンチマークにおいて、現行の最先端手法を上回ることが示されています。また、長期記憶保持能力を評価するストレステストでも優れた性能を発揮しました。コードは https://github.com/locuslab/trellisnet で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています