不均衡学習におけるニューラルコラプスの誘発：深層ニューラルネットワークの末端に学習可能なクラス分類器が必要だろうか？

分類を目的とした現代の深層ニューラルネットワークは、通常、表現用のバックボーンと各クラスのロジットを出力する線形分類器を同時に学習する。近年の研究により、バランスの取れたデータセットにおける学習の最終段階で、特徴量のクラス内平均と分類器ベクトルが、等角タイトフレーム（ETF: equiangular tight frame）の頂点に収束するという「ニューラルコラプス（neural collapse）」と呼ばれる現象が明らかになった。ETFの幾何構造は、分類器内のすべてのクラス間のペアワイズ角度を最大限に分離するため、その最適な幾何構造が既知であるならば、なぜわざわざ分類器を学習する必要があるのか、という疑問が自然に生じる。本論文では、分類器をETFとしてランダムに初期化し、学習中に固定した状態でニューラルネットワークを分類に向けた学習を行う可能性を検討する。層剥ぎモデルに基づく解析により、固定されたETF分類器を用いた特徴量学習は、クラス間のデータが不均衡であっても、自然にニューラルコラプス状態に到達することを示した。さらに、この設定下では交差エントロピー（CE）損失が必ずしも必要ではなく、同じグローバル最適性を持つが収束性が優れるシンプルな二乗損失に置き換えることができる。実験結果から、本手法は複数の不均衡データセットにおいて、著しい性能向上と高速な収束を実現できることを示した。