生成データ拡張による常識推論

最近の常識推論における進歩は、大規模な人間によるアノテーション付き訓練データに依存して最高峰の性能を達成しています。しかし、訓練例の手動キュレーションは高コストであり、神経モデルが容易に利用し、過学習する可能性のあるアノテーションの問題点を導入することが示されています。本研究では、低リソース設定でより正確かつ堅牢な学習を実現することを目指した新しい生成型データ拡張手法であるG-DAUG^C（ジェイ・ダウジー・シー）について調査しました。当手法は事前学習済み言語モデルを使用して合成例を生成し、最も情報量が多く多様性のある例の集合を選択することでデータ拡張を行います。複数の常識推論ベンチマークでの実験において、G-DAUG^Cはバック翻訳に基づく既存のデータ拡張手法を一貫して上回り、WinoGrande、CODAH、CommonsenseQAにおいて新たな最先端の成果を樹立しました。さらに、分布内精度の向上だけでなく、G-DAUG^Cによって拡張された訓練は分布外汎化能力も強化され、敵対的または変動した例に対する堅牢性が向上することが示されました。分析結果によると、G-DAUG^Cは流暢で多様性のある訓練例セットを生成しており、その選択と訓練アプローチが性能向上に重要であることが確認されました。これらの知見は、分布内学習と分布外汎化能力の両方を向上させるための生成型データ拡張に関する今後の研究を奨励しています。