要約
本論文では、不均衡データおよびバランスデータの両方において良好に動作する汎用的パラメトリック対照学習（Generalized Parametric Contrastive Learning, GPaCo/PaCo）を提案する。理論的分析に基づき、教師あり対照損失が高周波数クラスに偏りを生じることを観察し、これが不均衡学習の難易度を高めることを明らかにした。そこで、最適化の観点から、クラスごとに学習可能な中心パラメータを導入し、データの再バランスを実現した。さらに、バランスデータ設定下におけるGPaCo/PaCo損失の性質を分析した結果、同じクラスのサンプルが対応する中心とより多くのサンプルとともに引き寄せられるほど、同類サンプルの接近を強化する能力が自適的に向上し、困難なサンプルの学習に寄与することが示された。長尾分布ベンチマーク上での実験により、本手法が長尾認識において新たな最先端性能を達成することが確認された。ImageNet全体データセット上でも、CNNからビジョントランスフォーマーまで、GPaCo損失を用いて訓練されたモデルは、MAEモデルと比較してより優れた一般化性能および強固なロバスト性を示した。さらに、GPaCoはセマンティックセグメンテーションタスクにも適用可能であり、4つの代表的なベンチマークにおいて顕著な性能向上が観察された。本研究のコードは、https://github.com/dvlab-research/Parametric-Contrastive-Learning にて公開されている。