深層ネットワークはクラス間で不変性を転移するか？

良好な一般化を行うためには、分類器が入力のクラスを変化させない「不必要な変換（nuisance transformations）」に対して不変であることを学習する必要がある。多くの問題において、すべてのクラスに同様に適用される「クラス無差別（class-agnostic）な」不必要な変換が存在する。たとえば、画像分類では照明の変化や背景の変化などが該当する。ニューラルネットワークは十分なデータがあればこれらの不変性を学習できるが、現実の多くのデータセットはクラスの偏りが大きく、多くのクラスに対してはわずかしかサンプルが存在しない。この状況を踏まえて、以下の問いを提起する：大規模なクラスから学習したクラス無差別の不変性は、小規模なクラスへどれほど効果的に転移するのか？慎重な実験を通じて、クラス無差別の変換に対する不変性が依然としてクラスサイズに強く依存しており、特に小規模なクラスでは不変性が著しく低いことが観察された。この現象はデータのバランス化技術を用いても依然として見られ、クラス間での不変性の転移が不十分であることを示唆している。本研究の結果は、偏りが大きく長尾分布を示すデータに対して分類器が一般化しにくい理由の一つを説明するものである。この分析に基づき、不必要な変換を生成的に学習するアプローチが、クラス間での不変性の転移を促進し、偏りのある画像分類ベンチマークにおいて性能を向上させることを示した。実験のソースコードは以下のURLで公開されている：https://github.com/AllanYangZhou/generative-invariance-transfer。