HyperAIHyperAI

Command Palette

Search for a command to run...

半教師ありシーケンスモデリングにおけるクロスビュー訓練

Kevin Clark¹ Minh-Thang Luong² Christopher D. Manning¹ Quoc V. Le²

概要

非監督表現学習アルゴリズムであるword2vecやELMoは、大量のラベルなしテキストを活用できるため、多くの監督型NLPモデルの精度を向上させています。しかし、これらの監督型モデルは主な訓練フェーズにおいてタスク固有のラベル付きデータのみから学習します。そこで、私たちはCross-View Training (CVT)という半教師あり学習アルゴリズムを提案します。CVTは、ラベル付きデータとラベルなしデータの組み合わせを使用して、Bi-LSTM文エンコーダーの表現を改善します。ラベル付き例では、標準的な教師あり学習が使用されます。ラベルなし例では、CVTは入力の限定された視点(例えば、文の一部だけ)しか見ることができない補助予測モジュールに、全体の入力を見る完全なモデルの予測結果と一致させるように教えます。補助モジュールと完全なモデルが中間表現を共有しているため、これにより完全なモデルも改善されます。さらに、私たちはCVTがマルチタスク学習と組み合わせると特に効果的であることを示しています。私たちは5つのシーケンスタグ付けタスク、機械翻訳、および依存関係解析でCVTを評価し、最先端の結果を得ました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています