モーメンタム対照学習による改良されたベースライン

対照的非教師あり学習は最近、Momentum Contrast (MoCo) や SimCLR などの研究で有望な進展を示しています。本稿では、SimCLR の設計改善のうち2つを MoCo フレームワークに実装することで、その有効性を検証します。MoCo に対する単純な改良――具体的には、MLP 投影ヘッドの使用とデータ拡張の増加――により、SimCLR を上回り大規模な学習バッチを必要としないより強力なベースラインを確立しました。我々はこれにより最先端の非教師あり学習に関する研究がよりアクセスしやすくなることを期待しています。コードは公開される予定です。