要約
自然言語データは、意味的クラスにわたってしばしば長尾分布を示す。既存の認識手法は、クラス再バランスや再重み付け、異なるデータグループに対するアンサンブルを用いて尾部データに重点を置くことで、この不均衡分類問題に取り組んできた。その結果、尾部の精度は向上するが、頭部の精度は低下する傾向にある。本研究では、学習データを動的視点から捉え、データの変動に伴うモデルのバイアスと分散の原理的な分析を提示する。既存の長尾分類器は、尾部クラスにおいて困難なネガティブサンプルとの混同が増大・拡大するため、モデルの分散が必然的に増加し、頭部と尾部のモデルバイアスギャップが大きく保たれてしまう。そこで、新しい長尾分類器「RoutIng Diverse Experts（RIDE）」を提案する。RIDEは複数の専門家（expert）を用いてモデル分散を低減し、分布に敏感な多様性損失（distribution-aware diversity loss）によりモデルバイアスを軽減する。さらに、動的専門家ルーティングモジュールにより計算コストを削減する。CIFAR100-LT、ImageNet-LT、iNaturalist 2018のベンチマークにおいて、従来の最先端手法を5～7%上回る性能を達成した。また、この手法はバックボーンネットワーク、長尾処理アルゴリズム、学習メカニズムの多様な組み合わせに対しても普遍的に適用可能であり、一貫した性能向上を実現する。コードは以下のURLで公開されている：https://github.com/frank-xwang/RIDE-LongTailRecognition。