HyperAIHyperAI

Command Palette

Search for a command to run...

パラメトリックなコントラスト学習

Jiequan Cui Zhisheng Zhong Shu Liu Bei Yu Jiaya Jia

概要

本稿では、長尾認識の課題に取り組むため、パラメトリックな対照学習(Parametric Contrastive Learning, PaCo)を提案する。理論的分析に基づき、教師あり対照損失が高頻度クラスに偏りがちであることが明らかになった。この偏りは不均衡学習の困難を増大させる。そこで、最適化の観点から、クラスごとに学習可能な中心パラメータを導入することで、クラス間のバランスを再調整する。さらに、均衡化された設定下におけるPaCo損失の性質を分析した結果、同じクラスのサンプルがその対応する中心とより多くのサンプルと共に引き寄せられるほど、類似クラスのサンプルを強く近づける効果が自适应に強化され、困難なサンプルの学習に有益であることが示された。長尾CIFAR、ImageNet、Places、iNaturalist 2018における実験により、本手法が長尾認識の新たな最先端性能を達成することが実証された。フルImageNet上では、PaCo損失を用いて学習されたモデルが、さまざまなResNetバックボーンにおいて教師あり対照学習を上回り、特に本研究のResNet-200はトップ1精度81.8%を達成した。本研究のコードは、https://github.com/dvlab-research/Parametric-Contrastive-Learning にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています