現在の自己教師学習アルゴリズムは多くの場合、モダリティに特化しており、膨大な計算リソースを必要とする。こうした課題を解決するため、複数のモダリティに一般化可能な学習目的であるdata2vecの学習効率を向上させた。我々はマスクされたトークンの符号化を行わず、高速な畳み込みデコーダを採用し、教師モデルの表現を構築する作業を効率化（アモルタイズ）している。data2vec 2.0は、data2vecで導入された豊かな文脈依存的ターゲット表現の恩恵を受け、高速な自己教師学習器としての性能を発揮する。ImageNet-1Kの画像分類タスクにおける実験では、data2vec 2.0はマスク自動エンコーダ（Masked Autoencoders）と同等の精度を、前学習時間で16.4倍短い時間で達成した。Librispeech音声認識タスクでは、wav2vec 2.0と同等の性能を、前学習時間で10.6倍短い時間で達成した。また、GLUE自然言語理解タスクでは、再訓練されたRoBERTaモデルと同等の性能を、半分の時間で達成した。速度をやや犠牲にすることで、ViT-Lモデルを150エポック学習した場合、ImageNet-1Kのトップ-1精度は86.8%に達した。