自然言語処理の文献において、ニューラルネットワークはますます深く複雑になっています。この傾向の最近の代表例は、BERTやELMo、GPTを含む深い言語表現モデルです。これらの進展により、以前の世代の浅いニューラルネットワークが言語理解のために陳腐化したという見方が広まっています。しかし、本論文では、アーキテクチャの変更や外部学習データ、追加入力特徴量なしで、基本的かつ軽量なニューラルネットワークを競争力のあるものにできる可能性を示します。私たちは、最先端の言語表現モデルであるBERTから単層のBiLSTMおよびその双子型（Siamese）バージョンに知識を蒸留する方法を提案します。パラフレージング、自然言語推論、感情分類などの複数のデータセットにおいて、約100倍少ないパラメータと15倍短い推論時間でELMoと同等の結果を得ることに成功しました。