フレンドの助けを借りて：最近傍対比学習による視覚表現の学習

インスタンス識別に基づく自己教師学習アルゴリズムは、同一インスタンスに対する事前に定義された変換に対してエンコーダーが不変になるように学習させます。多くの既存手法では、同一画像の異なるビューを対照学習におけるポジティブサンプルとして扱いますが、本研究ではデータセット内の他のインスタンスから得られるポジティブサンプルの利用に注目しています。提案手法である「Nearest-Neighbor Contrastive Learning of Visual Representations（NNCLR）」は、潜在空間におけるデータセットからの最近傍サンプルを抽出し、それらをポジティブとして扱います。これにより、事前に定義された変換よりもより豊かな意味的変動を獲得できます。我々の実験では、対照学習において最近傍をポジティブとして用いることで、ImageNet分類タスクにおける性能が顕著に向上し、71.7％から75.6％まで向上しました。これは、従来の最先端手法を上回る結果です。半教師あり学習ベンチマークにおいて、ImageNetラベルをわずか1％のみ利用可能な状況下でも、性能は53.8％から56.5％まで向上しました。転移学習ベンチマークでは、12個の下流データセットのうち8個で、従来の最先端手法（包括的にImageNetで教師あり学習されたモデルを含む）を上回る結果を達成しました。さらに、実証的に本手法は複雑なデータ拡張に依存しにくいことも示しました。ランダムクロップのみを用いて学習した場合でも、ImageNet Top-1精度の低下はわずか2.1％にとどまりました。