2ヶ月前

確率的な対照学習を用いた長尾分布視覚認識

Chaoqun Du; Yulin Wang; Shiji Song; Gao Huang
確率的な対照学習を用いた長尾分布視覚認識
要約

長尾分布は、多くの少数カテゴリが限られた数のサンプルを含む実世界データにおいて頻繁に現れます。このような不均衡問題は、主に平衡な訓練セットを想定して設計された標準的な教師あり学習アルゴリズムの性能を大幅に損ないます。最近の研究では、教師ありコントラスティブ学習がデータ不均衡の軽減に有望な可能性を持つことが明らかになっています。しかし、教師ありコントラスティブ学習の性能は内在的な課題に悩まされています:それは、すべてのカテゴリをカバーするコントラスティブペアを構築するために十分に大きなバッチの訓練データが必要であるという点です。しかし、クラス不均衡データの文脈ではこの要件を満たすことが困難です。この障壁を克服するために、我々は新しい確率的コントラスティブ(ProCo)学習アルゴリズムを提案します。このアルゴリズムは、各クラスから特徴空間におけるサンプルのデータ分布を推定し、それに基づいてコントラスティブペアをサンプリングします。実際には、特に不均衡データの場合、小さなバッチ内の特徴を使用してすべてのクラスの分布を推定することは不可能です。我々の主要なアイデアは、コントラスティブ学習における正規化された特徴が単位空間上のフォン・ミーゼス-フィッシャー(von Mises-Fisher, vMF)分布の混合に従うという合理的で単純な仮定を導入することです。これにより二つの利点があります。第一に、分布パラメータは最初の一様モーメントのみを使用して推定でき、これは異なるバッチ間で効率的にオンライン計算できます。第二に、推定された分布に基づき、vMF分布を使用することで無限数のコントラスティブペアをサンプリングし、期待されるコントラスティブ損失の閉形式を求めることができます。これにより効率的な最適化が可能になります。当該コードは https://github.com/LeapLabTHU/ProCo で公開されています。