HyperAIHyperAI

Command Palette

Search for a command to run...

再帰型ニューラルネットワークに基づくゲート付き注意機構を用いた文エンコーダーの自然言語推論への応用

Qian Chen Zhen-Hua Ling Hui Jiang Xiaodan Zhu Si Wei Diana Inkpen

概要

RepEval 2017 共有タスクは、文表現のための自然言語理解モデルを評価することを目指しています。このタスクでは、文をニューラルネットワークを使用して固定長のベクトルとして表現し、その表現の質を自然言語推論タスクでテストします。本稿では、共有タスクにおいてトップクラスの成績を収めた当方のシステム(alpha)について説明します。ドメイン内テストセットにおいて74.9%の精度を達成し、クロスドメインテストセットでも同様に74.9%の精度を達成したことから、当モデルがクロスドメインデータに対して良好な汎化性能を持つことが示されました。当モデルには、文内のゲート付き注意機構(intra-sentence gated-attention composition)が搭載されており、これによりより高い性能が実現されています。共有タスクへの提出に加えて、当モデルはスタンフォード自然言語推論(SNLI)データセットでもテストされました。クロスセンテンス注意機構を使用しないという同じ条件のもとで、SNLI上で報告されている最高精度である85.5%を達成しました。これはRepEval 2017でも強制された条件です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています