私たちはシーケンス処理のための新しいニューラルネットワークを提案します。ByteNetは、ソースシーケンスをエンコードする部分とターゲットシーケンスをデコードする部分から構成される一次元畳み込みニューラルネットワークです。これらの2つのネットワーク部分は、デコーダーをエンコーダーの上に積み重ねることで接続され、シーケンスの時間解像度が保たれます。ソースとターゲットの長さが異なる問題に対処するために、デコーダーがエンコーダーの表現上で動的に展開される効率的なメカニズムを導入しました。ByteNetは畳み込み層で拡張（dilation）を使用して受容野を広げます。この結果、ネットワークには2つの主要な特性があります：シーケンスの長さに対して線形時間で動作し、過度な記憶が必要ないことです。ByteNetのデコーダーは文字レベル言語モデルにおいて最先端の性能を達成し、従来の最良結果である再帰型ネットワークを上回っています。また、英語-ドイツ語WMT翻訳タスクにおける文字対文字機械翻訳でも最先端の性能を達成しており、注意プーリングに基づく再帰型ネットワークを使用した同等の神経翻訳モデル（二次時間で動作する）よりも優れています。私たちは、表現に含まれる潜在的なアライメント構造がトークン間での予想されるアライメントを反映していることを確認しました。