長尾認識のためのターゲット付き教師付き対比学習

現実世界のデータは、多数クラスが学習プロセスを支配し、少数クラスの決定境界を歪めてしまうような、重度のクラス不均衡を示す長尾分布をよく見受けられる。近年、研究者たちは教師あり対照学習（supervised contrastive learning）が長尾認識において潜在的な効果を発揮することを調査し、強力な性能向上を示した。本論文では、教師あり対照学習が性能向上に寄与することは示すが、過去のベースラインは不均衡なデータ分布によって引き起こされる劣悪な一様性（uniformity）という問題を抱えていることを明らかにする。この一様性の欠如は、少数クラスのサンプルが特徴空間内で十分に分離できないこととして現れる。この問題に対処するため、本研究では「ターゲット付き教師あり対照学習（Targeted Supervised Contrastive Learning, TSC）」を提案する。TSCは、超球面上に一様に分布する複数のターゲットを事前に生成し、学習中に異なるクラスの特徴がそれぞれの明確で一様に分布したターゲットに収束するように設計されている。これにより、少数クラスを含むすべてのクラスが特徴空間内で一様な分布を維持でき、クラス境界の明確化が図られ、長尾データが存在する状況下でも優れた汎化性能が得られる。複数のデータセットにおける実験結果から、TSCが長尾認識タスクにおいて最先端の性能を達成することが確認された。