2ヶ月前

半教師付き形式性スタイル転送の一貫性トレーニング

Ao Liu; An Wang; Naoaki Okazaki
半教師付き形式性スタイル転送の一貫性トレーニング
要約

形式的文体変換(FST)は、非形式的な文章を意味を変えずに形式的な文章に言い換えするタスクです。既存の並行データセットにおけるデータ不足問題に対処するために、従来の研究ではサイクル再構築スキームを採用し、追加のラベルなしデータを利用することが多かったですが、この場合FSTモデルは主に目標側のラベルなし文から恩恵を受けます。本研究では、一貫性訓練に基づいてソース側のラベルなし文をより効果的に利用する単純かつ効果的な半教師付きフレームワークを提案します。具体的には、ソース側の非形式的文章から得られる疑似並行データを拡張し、その摂動版に対してモデルが類似した出力を生成することを強制することで実現します。さらに、我々は様々なデータ摂動手法の効果を経験的に検証し、フレームワークの改善のために効果的なデータフィルタリング戦略を提案しました。GYAFCベンチマークでの実験結果は、平行データが40%未満であっても当手法が最先端の成果を得られることを示しています。

半教師付き形式性スタイル転送の一貫性トレーニング | 最新論文 | HyperAI超神経