2ヶ月前

情報最大化階層条件付きVAEを用いた文脈からの多様かつ一貫性のあるQAペアの生成

Dong Bok Lee; Seanie Lee; Woo Tae Jeong; Donghwan Kim; Sung Ju Hwang
情報最大化階層条件付きVAEを用いた文脈からの多様かつ一貫性のあるQAペアの生成
要約

質問応答(QA)における最も重要な課題の一つは、ラベル付きデータの不足である。これは、対象テキストドメインに対して人間による注釈で質問-回答ペアを取得することが高コストであるためである。この問題に対処する代替的なアプローチとして、問題の文脈または大量の非構造化テキスト(例:Wikipedia)から自動生成されたQAペアを使用することが挙げられる。本研究では、非構造化テキストを文脈として与えたときにQAペアを生成し、生成されたQAペア間の相互情報量を最大化して一貫性を確保する階層的条件付き変分オートエンコーダー(HCVAE)を提案する。我々は、情報最大化階層的条件付き変分オートエンコーダー(Info-HCVAE)を複数のベンチマークデータセットで検証した。評価は、生成されたQAペアのみを使用した場合(QAベース評価)や、生成されたQAペアと人間がラベル付けしたペアの両方を使用して学習した場合(半教師あり学習)において、QAモデル(BERT-base)の性能を最先端の基準モデルと比較することで行われた。結果は、本モデルが両タスクにおいてすべての基準モデルよりも大幅な性能向上を達成し、訓練に使用されるデータ量が少ないことを示している。

情報最大化階層条件付きVAEを用いた文脈からの多様かつ一貫性のあるQAペアの生成 | 最新論文 | HyperAI超神経