HyperAIHyperAI

Command Palette

Search for a command to run...

比較、圧縮、伝播:自然言語推論のためのアライメント分解を用いたニューラルアーキテクチャの強化

Yi Tay; Luu Anh Tuan; Siu Cheung Hui

概要

本論文では、自然言語推論(Natural Language Inference: NLI)の新しい深層学習アーキテクチャを提案します。まず、新たなアーキテクチャを紹介します。このアーキテクチャでは、対応ペアが比較され、圧縮され、その後上位層に伝播することで表現学習の向上を図ります。次に、因子分解層を採用し、対応ベクトルを効率的かつ表現力豊かにスカラーフィーチャーへと圧縮します。これらのスカラーフィーチャーは、ベースとなる単語表現を強化するために使用されます。当方針の設計は概念的にシンプルでコンパクトでありながらも強力であることを目指しています。我々はSNLI、MultiNLIおよびSciTailという3つの主要なベンチマークで実験を行い、すべてにおいて競争力のある性能を達成しました。また、軽量なパラメータ化により、既存の最先端モデル(例:ESIMやDIIN)と比較して約3倍のパラメータサイズ削減が可能となりつつも競争力のある性能を維持しています。さらに視覚的な分析から、当モデルが伝播するフィーチャーが非常に解釈可能であることが示されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています