要約
本論文では、視覚表現の対照学習のためのシンプルなフレームワークであるSimCLRを提案します。当該フレームワークは、特殊なアーキテクチャやメモリバンクを必要とせずに、最近提案された対照的な自己監督学習アルゴリズムを簡素化しています。対照的予測タスクが有用な表現を学習する要因を理解するために、我々はフレームワークの主要な構成要素を系統的に研究しました。その結果、（1）データ拡張の組み合わせが効果的な予測タスクを定義する上で重要な役割を果たすことが示されました、（2）表現と対照的損失の間に学習可能な非線形変換を導入することで、学習された表現の品質が大幅に向上することが確認されました、そして（3）対照的学習は、教師あり学習よりも大きなバッチサイズとより多くの訓練ステップから恩恵を受けます。これらの知見を組み合わせることで、ImageNetでの自己監督学習および半教師あり学習における従来の手法を大幅に上回ることができました。SimCLRによって学習された自己監督表現上に訓練された線形分類器は76.5%のトップ-1精度を達成し、これは以前の最先端技術に対して7%の相対的な改善であり、教師ありResNet-50と同等の性能を示しています。1%のみのラベルを使用して微調整した場合でも、トップ-5精度85.8%を達成し、AlexNetよりも100倍少ないラベルで優れた性能を発揮します。