要約
言語モデルの事前学習が普遍的な言語表現を学ぶ上で有用であることが証明されています。最先端の言語モデル事前学習モデルであるBERT（Bidirectional Encoder Representations from Transformers）は、多くの言語理解タスクで驚異的な結果を達成しています。本論文では、テキスト分類タスクにおけるBERTの異なる微調整方法について詳細な実験を行い、BERTの微調整に関する一般的な解決策を提供します。最終的に、提案された解決策は8つの広く研究されているテキスト分類データセットにおいて新しい最先端の結果を得ています。