HyperAIHyperAI

Command Palette

Search for a command to run...

漏洩情報を利用した敵対的訓練による長文生成

Jiaxian Guo†, Sidi Lu†, Han Cai†, Weinan Zhang†*, Yong Yu†, Jun Wang‡

概要

自動的に一貫性があり、意味論的に有意義なテキストを生成することは、機械翻訳、対話システム、画像キャプション生成などに多くの応用があります。最近では、方策勾配と組み合わせて、判別モデルを強化学習の方策として使用して生成モデルの訓練をガイドする生成敵対ネットワーク(Generative Adversarial Nets: GAN)がテキスト生成において有望な結果を示しています。しかし、スカラーのガイド信号は全体のテキストが生成された後のみ利用可能であり、生成プロセス中にテキスト構造に関する中間情報が欠けています。そのため、生成されるテキストサンプルの長さが長い場合(20単語以上)、その成功が制限されます。本論文では、長文生成の問題に対処する新しいフレームワークであるLeakGANを提案します。判別ネットワークが自ら抽出した高レベルの特徴量を生成ネットワークに漏洩させることで、さらに効果的なガイダンスを提供します。ジェネレータは、Managerモジュールを通じてこれらの情報信号をすべての生成ステップに取り入れます。Managerモジュールは現在生成された単語の抽出された特徴量を受け取り、潜在ベクトルを出力してWorkerモジュールによる次の単語の生成をガイドします。我々は合成データと様々な実世界タスクにおける広範な実験を行い、チューリングテストによってLeakGANが長文生成において非常に効果的であることを示しました。また、短文生成シナリオでの性能も向上することを確認しました。より重要な点は、何らかの教師なしでLeakGANがManagerとWorkerとの相互作用を通じて文構造を暗黙的に学習できるということです。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています