クラスタ割り当ての対比による視覚特徴の非教師学習

教師なし画像表現は、最近の対照学習手法の進展により、教師あり事前学習との差を著しく縮めている。しかし、従来の対照学習手法はオンライン学習を前提としており、大量の明示的なペアワイズ特徴比較に依存しており、計算コストが非常に高いという課題がある。本論文では、ペアワイズ比較を必要とせずに対照学習の利点を活かすオンラインアルゴリズム「SwAV（Swapped Prediction for Contrastive Learning）」を提案する。具体的には、同一画像の異なる増強（ビュー）に対して得られたクラスタ割り当ての整合性を強制しつつ、データを同時にクラスタリングする。これにより、対照学習のように特徴を直接比較するのではなく、あるビューの特徴から別のビューのクラスタ割り当てを予測する「交差予測（swapped prediction）」機構を採用している。本手法は大規模および小規模なバッチで学習可能であり、データ量に制限なくスケーラブルである。従来の対照学習手法と比較して、大規模なメモリバンクや特別なモーメンタムネットワークを必要としないため、メモリ効率が優れている。さらに、計算量やメモリ使用量をほとんど増加させず、異なる解像度の複数のビューを混合して用いる新しいデータ増強戦略「multi-crop」も提案する。実験により、ResNet-50を用いてImageNet上でトップ1精度75.3％を達成し、検証したすべての転移学習タスクにおいて、教師あり事前学習を上回ることを確認した。