10日前
先行知識の視点から長尾視覚認識におけるキャリブレートモデルへの道 (注:LLM/LLMs/Agent/token/tokens などの特定用語は英語のまま保持。)
Zhengzhuo Xu, Zenghao Chai, Chun Yuan

要約
現実世界のデータは普遍的に重度のクラス不均衡問題を抱えており、長尾分布(long-tailed distribution)の特徴を示す。すなわち、多くのラベルが限られたサンプル数にしか対応していない。このようなデータセットで学習する単純な教師ありモデルは、優勢なラベルを過剰に選好し、一般化性能に深刻な課題に直面し、分類のキャリブレーション(校正)が不十分になる。本研究では、事前分布(prior)の観点から、このジレンマを緩和するための二つの新規手法を提案する。第一に、長尾状況下でも効果的なマキシング(mixup)を実現するバランス指向のデータ拡張手法「Uniform Mixup(UniMix)」を導出する。この手法は、少数派ラベルに有利な高度な混合係数(mixing factor)とサンプリング戦略を採用している。第二に、ベイズ理論に着想を得て、事前分布の不一致に起因する本質的なバイアス「ベイズバイアス(Bayias)」を特定し、標準的な交差エントロピー損失に修正項として補正を加える。さらに、提案手法の両方が理論的および実証的に分類のキャリブレーションを保証することを証明した。広範な実験により、本手法がより良好なキャリブレーションを持つモデルを構築できることを確認した。特に、二つの手法を組み合わせることで、CIFAR-LT、ImageNet-LT、iNaturalist 2018の各データセットにおいて、最先端(state-of-the-art)の性能を達成した。