MultiFiT: 効率的な多言語言語モデルの微調整

事前学習言語モデルは、ラベル付けされていないデータのみを必要とするため、特に低リソース言語に対して有望である。しかし、既存のモデルの学習には大量の計算リソースが必要であり、また事前学習されたクロスリンガルモデルはしばしば低リソース言語で性能が低下する。本研究では、実践者が自らの言語で効率的に言語モデルを学習および微調整できるようにする多言語言語モデルの微調整（Multi-lingual language model Fine-Tuning: MultiFiT）手法を提案する。さらに、既存の事前学習されたクロスリンガルモデルを使用したゼロショット手法も提案する。我々は、広く使用されている2つのクロスリンガル分類データセットでこれらの手法を評価し、それらが数桁多いデータと計算リソースで事前学習されたモデルよりも優れた性能を示すことを確認した。本研究で使用したすべてのモデルとコードを公開する。以上が翻訳内容です。ご確認ください。