2ヶ月前

テキスト分類用の非常に深い畳み込みニューラルネットワーク

Alexis Conneau; Holger Schwenk; Loïc Barrault; Yann Lecun
テキスト分類用の非常に深い畳み込みニューラルネットワーク
要約

多くの自然言語処理(NLP)タスクにおいて、主流のアプローチは再帰型ニューラルネットワーク(特にLSTM)と畳み込みニューラルネットワークです。しかし、これらのアーキテクチャは、コンピュータビジョンにおける最先端を推進している深層畳み込みネットワークに比べて、比較的浅い構造となっています。本稿では、文字レベルで直接操作し、小さな畳み込みとプーリング演算のみを使用する新しいアーキテクチャ(VDCNN)を紹介します。このモデルの性能が深さとともに向上することを示すことができました:最大29層の畳み込み層を使用することで、いくつかの公開されたテキスト分類タスクにおいて現行の最先端を超える改善が得られました。当該研究者らの知る限りでは、これほど深い畳み込みネットワークがテキスト処理に適用されたのは初めてのことです。

テキスト分類用の非常に深い畳み込みニューラルネットワーク | 最新論文 | HyperAI超神経