すべての層が同じくらい重要ではない: BERTの各層は重要である

本論文では、言語モデルのデータ効率的な事前学習に特化したトランスフォーマー構造の新規改良について紹介します。この改良は、BabyLMチャレンジへの参加を通じて評価され、当社のソリューションは厳密トラックと厳密-小トラックの両方で優勝しました。我々のアプローチでは、各トランスフォーマー層がどの前の層の出力を処理するかを選択することができます。経験的な結果は、この単純な改良の潜在能力を確認し、すべての層が同等に重要ではないことを示しています。