要約
長尾データは、バランスデータにおいて著しい成功を収めた深層ニューラルネットワークにとって依然として大きな課題である。本研究では、クロスエントロピー損失を用いた従来の学習手法が、長尾データ上において、インスタンス数の多いヘッドクラスが尾部クラスの空間的分布を著しく圧迫することを観察した。この現象により、尾部クラスのサンプル分類が困難となる。さらに、元のクロスエントロピー損失は、ソフトマックス形式における勾配がロジット差が増加するにつれて急速にゼロに近づくため、勾配の伝播が短距離に限定されるという問題を抱えている。この現象は「ソフトマックス飽和」と呼ばれる。これはバランスデータの学習には不適切であるが、長尾データにおいてはサンプルの有効性を調整する手段として活用可能であり、長尾問題に起因する埋め込み空間の歪みを緩和することができる。本研究では、異なるクラスのロジットにガウスノイズを適用するガウス摂動を用いたガウスクラウドロジット調整（GCLLoss）を提案する。ここで摂動の振幅を「クラウドサイズ」と定義し、尾部クラスに対して相対的に大きなクラウドサイズを設定する。これによりソフトマックス飽和が軽減され、尾部クラスのサンプルがより活性化され、埋め込み空間の拡大が実現される。また、分類器におけるバイアスを軽減するために、分類器再学習を組み合わせたクラス別有効数サンプリング戦略を提案する。標準ベンチマークデータセットにおける広範な実験により、本手法の優れた性能が検証された。ソースコードは以下のURLから公開されている：https://github.com/Keke921/GCLLoss。