HyperAIHyperAI

Command Palette

Search for a command to run...

一般化パラメトリックコントラスト学習

Jiequan Cui Zhisheng Zhong Zhuotao Tian Shu Liu Bei Yu Jiaya Jia

概要

本論文では、不均衡データおよびバランスデータの両方において良好に動作する汎用的パラメトリック対照学習(Generalized Parametric Contrastive Learning, GPaCo/PaCo)を提案する。理論的分析に基づき、教師あり対照損失が高周波数クラスに偏りを生じることを観察し、これが不均衡学習の難易度を高めることを明らかにした。そこで、最適化の観点から、クラスごとに学習可能な中心パラメータを導入し、データの再バランスを実現した。さらに、バランスデータ設定下におけるGPaCo/PaCo損失の性質を分析した結果、同じクラスのサンプルが対応する中心とより多くのサンプルとともに引き寄せられるほど、同類サンプルの接近を強化する能力が自適的に向上し、困難なサンプルの学習に寄与することが示された。長尾分布ベンチマーク上での実験により、本手法が長尾認識において新たな最先端性能を達成することが確認された。ImageNet全体データセット上でも、CNNからビジョントランスフォーマーまで、GPaCo損失を用いて訓練されたモデルは、MAEモデルと比較してより優れた一般化性能および強固なロバスト性を示した。さらに、GPaCoはセマンティックセグメンテーションタスクにも適用可能であり、4つの代表的なベンチマークにおいて顕著な性能向上が観察された。本研究のコードは、https://github.com/dvlab-research/Parametric-Contrastive-Learning にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています