2ヶ月前

ドメインシフト下のニューラル半教師あり学習における強力なベースライン

Sebastian Ruder; Barbara Plank
ドメインシフト下のニューラル半教師あり学習における強力なベースライン
要約

近年、ドメインシフトの下での学習を目的とした新しいニューラルモデルが提案されています。しかし、多くのモデルは単一のタスク、独自のデータセット、または弱いベースラインとのみ評価されており、モデル間の比較が困難となっています。本論文では、ドメインシフトの下でのニューラルネットワークにおける古典的な汎用ブートストラッピング手法と最近のニューラルアプローチを再評価し、従来のトリトレーニングの時間複雑性と空間複雑性を低減する新しいマルチタスクトリトレーニング手法を提案します。2つのベンチマークに対する広範な実験結果は否定的でした:私たちの新しい手法は感情分析において新たな最先端を確立しましたが、一貫して最良の性能を示すわけではありませんでした。より重要なのは、いくつかの追加要素とともに古典的なトリトレーニングが最先端を超えるというやや驚くべき結論に達したことです。私たちは、古典的な手法が重要な強力なベースラインであることを結論としています。