Jiahao Chen Zhiyuan Huang Yurou Liu Bing Su

Abstract

Long-tailed-Lernen hat aufgrund seiner breiten Anwendbarkeit in realen Szenarien zunehmend an Aufmerksamkeit gewonnen. Unter den bestehenden Ansätzen hat sich das Long-tailed Semi-Supervised Learning (LTSSL) als effektive Lösung etabliert, indem es eine große Menge an unbeschrifteten Daten in das unbalancierte beschriftete Datenset integriert. Allerdings sind die meisten vorherigen LTSSL-Methoden darauf ausgelegt, Modelle von Grund auf neu zu trainieren, was oft zu Problemen wie Überzuversichtlichkeit und geringer Qualität von Pseudolabels führt. Um diese Herausforderungen zu bewältigen, erweitern wir LTSSL in die Paradigmen des Fine-Tunings von Foundation-Modellen und stellen einen neuartigen Ansatz vor: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). Wir zeigen, dass fine-tunete Foundation-Modelle zu zuverlässigeren Pseudolabels führen können, was dem unbalancierten Lernen zugutekommt. Darüber hinaus untersuchen wir eine praktikablere Szenarien, indem wir das semi-supervised Lernen unter Open-World-Bedingungen analysieren, bei denen die unbeschrifteten Daten Out-of-Distribution (OOD)-Beispiele enthalten können. Um dieses Problem zu bewältigen, schlagen wir LoFT-OW (LoFT unter Open-World-Szenarien) vor, um die Diskriminativkraft des Modells zu verbessern. Experimentelle Ergebnisse auf mehreren Benchmarks belegen, dass unsere Methode im Vergleich zu vorherigen Ansätzen eine überlegene Leistung erzielt – selbst wenn lediglich 1 % der unbeschrifteten Daten genutzt werden, im Vergleich zu früheren Arbeiten.