ELF：長尾分類のための早期退出フレームワーク

自然界のデータは、少数のクラスが大多数のサンプルを占める「長尾分布（long-tailed distribution）」を示すことがよくある。このような長尾構造は、分類器が多数派クラスに過剰適合（overfit）する原因となる。これを緩和するため、従来の手法はデータの再サンプリングや損失関数の再設計といったクラス再平衡戦略を採用している。しかし、これらの方法はクラス内の各サンプルを同等に扱うため、「サンプルの難易度（example hardness）」という重要な概念を無視している。すなわち、同一クラス内でも、分類が容易なサンプルと困難なサンプルが存在する。この難易度の概念を学習プロセスに組み込むために、本研究では「EarLy-exiting Framework（ELF）」を提案する。訓練段階において、ELFはバックボーンネットワークに付加された補助ブランチを通じて、容易なサンプルに対して早期に出力（early-exit）を実行するように学習する。このアプローチにより、二重の利点が得られる。（1）ニューラルネットワークは、全体の損失に大きく寄与する難易度の高いサンプルに注目するようになる；（2）容易なサンプルの処理を効率化することで、モデルの余剰容量を困難なサンプルの区別に活用できる。ImageNet LTおよびiNaturalist'18という2つの大規模データセットにおける実験結果から、ELFは最先端の精度を3％以上向上させることを示した。さらに、推論時のFLOPSを最大20％まで削減するという付加的な利点も確認された。ELFは従来の手法と相補的であり、さまざまな既存のアプローチと自然に統合可能であり、長尾分布の課題に対処するための強力なフレームワークとしての可能性を示している。