クラス不均衡データにおける有効な一般化のための鞍点回避

現実世界のデータセットは、さまざまな種類および程度の不均衡を示すことが多く、特に少数クラスにおけるニューラルネットワークの性能向上を図るため、損失関数の再重み付けやマージン調整に基づく手法が広く用いられている。本研究では、再重み付けおよびマージンに基づく手法で訓練されたニューラルネットワークの損失面（loss landscape）を分析することで、クラス不均衡学習問題を検討する。具体的には、クラスごとの損失関数のヘッシアン（Hessian）のスペクトル密度を調査し、少数クラスの損失面において、ネットワークの重みが鞍点（saddle point）に収束することを観察した。この観察を踏まえ、鞍点からの脱出を目的とした最適化手法が少数クラスにおける汎化性能の向上に有効であることを明らかにした。さらに理論的および実証的に、平坦な極小値への収束を促す最近の手法であるSharpness-Aware Minimization（SAM）が、少数クラスの鞍点脱出に効果的に利用できることを示した。SAMを用いることで、最先端手法であるVector Scaling Lossに比べ少数クラスの精度が6.2%向上し、不均衡データセット全体において平均で4%の精度向上が達成された。本研究のコードは以下のURLで公開されている：https://github.com/val-iisc/Saddle-LongTail。