データ分布が変化した場合、自己学習を活用する

自己学習技術であるエントロピー最小化や仮ラベル付けが、体系的なドメインシフトが生じる環境下において、展開済みのコンピュータビジョンモデルの性能向上に単純かつ効果的であることを示した。広範な大規模な実験を通じて、モデルアーキテクチャや事前学習手法、分布シフトの種類にかかわらず、一貫した性能向上が得られることを確認した。同時に、自己学習は実用上も簡単である。これは、元の訓練データや学習スキームの知識やアクセスを必要とせず、ハイパーパラメータの選定に対して頑健であり、実装が直感的で、わずかな適応エポック数で済むためである。このため、実世界で機械学習アルゴリズムを活用する実務家にとって、自己学習技術は非常に魅力的である。本研究では、CIFAR10-C（8.5％誤差）、ImageNet-C（22.0％ mCE）、ImageNet-R（17.4％誤差）、ImageNet-A（14.8％誤差）において、最先端の適応性能を達成した。さらに、自己教師学習による適応手法の動的挙動について理論的考察を行い、適応手法を用いても依然として困難な新たな分類データセット（ImageNet-D）を提案した。