Jiahao Chen Zhiyuan Huang Yurou Liu Bing Su

要約

長尾学習は、現実世界のシナリオにおいて広範な応用が可能であるため、注目を集めている。既存のアプローチの中でも、不均衡なラベル付きデータセットに大量のラベルなしデータを組み込むことで、効果的な解決策として長尾半教師あり学習（LTSSL: Long-Tailed Semi-Supervised Learning）が注目されている。しかし、大多数の従来のLTSSL手法は、モデルを再学習から行う設計となっており、過信（overconfidence）や低品質な仮ラベル（pseudo-labels）といった問題が生じがちである。これらの課題に対処するため、本研究ではLTSSLを基礎モデルの微調整（fine-tuning）フレームワークに拡張し、効率的なパラメータ微調整を活用する新規フレームワーク「LoFT（Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning）」を提案する。我々は、微調整された基礎モデルがより信頼性の高い仮ラベルを生成できることを示し、その結果、不均衡学習の性能向上に寄与することを確認した。さらに、実用性の高い設定として、ラベルなしデータに分布外（out-of-distribution, OOD）のサンプルが含まれ得る「開かれた世界（open-world）」条件における半教師あり学習を検討した。この問題に対処するため、LoFT-OW（LoFT under Open-World scenarios）を提案し、分類の判別能力を向上させた。複数のベンチマーク上での実験結果から、従来手法と比較して、本手法が優れた性能を達成することを示した。特に、従来手法と比較してラベルなしデータの1%しか使用しなくても、同程度以上の性能を発揮することが確認された。