要約
本稿では、長尾認識の課題に取り組むため、パラメトリックな対照学習（Parametric Contrastive Learning, PaCo）を提案する。理論的分析に基づき、教師あり対照損失が高頻度クラスに偏りがちであることが明らかになった。この偏りは不均衡学習の困難を増大させる。そこで、最適化の観点から、クラスごとに学習可能な中心パラメータを導入することで、クラス間のバランスを再調整する。さらに、均衡化された設定下におけるPaCo損失の性質を分析した結果、同じクラスのサンプルがその対応する中心とより多くのサンプルと共に引き寄せられるほど、類似クラスのサンプルを強く近づける効果が自适应に強化され、困難なサンプルの学習に有益であることが示された。長尾CIFAR、ImageNet、Places、iNaturalist 2018における実験により、本手法が長尾認識の新たな最先端性能を達成することが実証された。フルImageNet上では、PaCo損失を用いて学習されたモデルが、さまざまなResNetバックボーンにおいて教師あり対照学習を上回り、特に本研究のResNet-200はトップ1精度81.8％を達成した。本研究のコードは、https://github.com/dvlab-research/Parametric-Contrastive-Learning にて公開されている。