10日前

長尾学習における分布ロバスト性損失

Dvir Samuel, Gal Chechik
長尾学習における分布ロバスト性損失
要約

現実世界のデータはしばしば不均衡かつ長尾分布を示すが、深層モデルは頻出クラスの存在下で希少クラスの認識に困難を抱える。不均衡データに対処するため、多数の研究ではデータのバランス調整、損失関数の調整、または分類器の調整を通じて、頭部クラス(head classes)への分類バイアスを軽減することに注力している。一方で、不均衡なデータから学習される潜在表現(latent representations)については、あまり注目されていない。本研究では、深層ネットワークの特徴抽出部がこのバイアスによって著しく影響を受けることを示す。そこで、ロバスト性理論に基づく新しい損失関数を提案する。この損失関数は、頭部クラスと尾部クラスの両方に対して高品質な表現を学習するようモデルを促進する。一般的なロバスト性損失は計算が困難な場合があるが、本研究では効率的に最小化可能な上界を導出し、実用性を高めた。この手法により、特徴空間における頭部クラスへの表現バイアスが低減され、CIFAR100-LT、ImageNet-LT、iNaturalistといった長尾ベンチマークにおいて、新たなSOTA(最優秀)性能を達成した。また、ロバスト性に基づく学習により、尾部クラスの認識精度が向上する一方で、頭部クラスの精度は大きく維持されることが明らかになった。提案するロバスト性損失は、さまざまな分類器のバランス調整手法と組み合わせ可能であり、深層モデルの複数の層における表現に適用可能である。

長尾学習における分布ロバスト性損失 | 最新論文 | HyperAI超神経