2ヶ月前
自己監督学習の使用はモデルの堅牢性と不確実性を向上させる可能性がある。
Dan Hendrycks; Mantas Mazeika; Saurav Kadavath; Dawn Song

要約
自己監督は、ラベルを必要とせずに下流タスクに効果的な表現を提供します。しかし、既存の手法は完全な教師あり学習に比べて遅れをとっており、アノテーションの必要性を排除または軽減する以外には有益ではないと考えられています。我々は、自己監督が敵対的サンプルへの堅牢性、ラベルの汚染、および一般的な入力データの汚染に対する堅牢性など、さまざまな面で利益をもたらすことを発見しました。さらに、自己監督は困難な近傍分布外異常値の検出において大幅に性能を向上させ、完全な教師あり方法を超える結果を示しています。これらの結果は、自己監督が堅牢性や不確実性推定の改善に有望であることを示し、今後の自己監督学習研究における新たな評価軸としてこれらのタスクを確立しています。