并非所有层都同等重要：每一层都很关键——BERT

本文介绍了一种针对语言模型数据高效预训练的新型变压器架构修改方法。该方法通过参与BabyLM挑战赛进行了评估，在严格赛道和严格小型赛道中均取得了胜利。我们的方法允许每个变压器层选择要处理的前一层输出。实证结果验证了这一简单修改的潜力，并表明并非所有层都同等重要。