要約
コントラスティブ学習は、自己監督型視覚表現学習における主要なアプローチとなっていますが、アンカーに非常に類似したハードネガティブサンプルを効率的に活用することは依然として困難です。本研究では、SynCo（コントラスティブ学習における合成的なハードネガティブ）と呼ばれる新しい手法を提案します。この手法は、表現空間上で合成的なハードネガティブを生成することでモデルの性能を向上させます。MoCoフレームワークに基づいて、SynCoは最小限の計算負荷で多様な合成的なハードネガティブを即座に生成する6つの戦略を導入しています。SynCoは高速な訓練と強力な表現学習を達成し、ImageNet ILSVRC-2012の線形評価においてMoCo-v2を+0.4%上回り、MoCHIを+1.0%上回る結果を示しました。また、検出タスクへの転移もより効果的で、PASCAL VOC検出（57.2% AP）において優れた結果を達成し、COCO検出（+1.0% AP）とインスタンスセグメンテーション（+0.8% AP）においてもMoCo-v2に対して大幅に改善しました。我々の合成的なハードネガティブ生成手法は、自己監督型コントラスティブ学習を通じて学ばれた視覚表現を大幅に強化します。