9日前

対照学習をベースとするハイブリッドネットワークによる長尾画像分類

Peng Wang, Kai Han, Xiu-Shen Wei, Lei Zhang, Lei Wang
対照学習をベースとするハイブリッドネットワークによる長尾画像分類
要約

識別的な画像表現の学習は、長尾分布画像分類において極めて重要な役割を果たす。これは、データが不均衡な状況下でも分類器の学習を容易にするからである。近年、表現学習において対照学習(contrastive learning)が優れた性能を示していることから、本研究では効果的な教師あり対照学習戦略を検討し、不均衡データからより良い画像表現を学習するための手法を工夫することで、分類精度の向上を目指す。具体的には、画像表現の学習に教師あり対照損失(supervised contrastive loss)を、分類器の学習に交差エントロピー損失(cross-entropy loss)を用いた新しいハイブリッドネットワーク構造を提案する。この構造では、特徴抽出から分類器学習へと段階的に学習を移行する設計となっており、優れた特徴表現がより優れた分類器を生み出すという考え方を体現している。特徴学習に向けた対照損失の2種類の変種を検討した。これらは形式上は異なるが、共通して正規化された埋め込み空間内において、同じクラスに属するサンプル同士を引き寄せ、異なるクラスのサンプル同士を遠ざけるという基本的なアイデアに基づいている。一方は最近提案された教師あり対照(Supervised Contrastive, SC)損失であり、最先端の非教師あり対照損失をベースに、同一クラスの陽性サンプルを導入することで設計されている。もう一方は、標準的なSC損失における膨大なメモリ消費を克服することを目的とした、プロトタイプ型教師あり対照(Prototypical Supervised Contrastive, PSC)学習戦略であり、限られたメモリ予算下でも高い実用性を示す。3つの長尾分類データセットを用いた広範な実験により、提案する対照学習に基づくハイブリッドネットワークが長尾分類において優れた性能を発揮することが実証された。

対照学習をベースとするハイブリッドネットワークによる長尾画像分類 | 最新論文 | HyperAI超神経