Lernen von mehreren Experte: Selbstgesteuerte Wissensdistillation für langschwänzige Klassifikation

In real-world-Szenarien neigt Daten dazu, einer langen Schwanzverteilung zu folgen, was die Schwierigkeit des Trainings tiefer Netzwerke erhöht. In diesem Paper stellen wir einen neuartigen selbstgesteuerten Wissensdistillation-Frame­work vor, der als „Learning From Multiple Experts“ (LFME) bezeichnet wird. Unsere Methode wird inspiriert durch die Beobachtung, dass Netzwerke, die auf weniger ausgewogenen Teilmengen der Verteilung trainiert werden, oft bessere Leistungen erzielen als ihre gemeinsam trainierten Gegenstücke. Wir bezeichnen diese Modelle als „Experten“, und der vorgeschlagene LFME-Frame­work aggregiert das Wissen aus mehreren solchen „Experten“, um ein einheitliches Student-Modell zu lernen. Konkret umfasst der vorgeschlagene Framework zwei Ebenen adaptiver Lernpläne: die selbstgesteuerte Expertenauswahl (Self-paced Expert Selection) und die Lehrplan-basierte Instanzenauswahl (Curriculum Instance Selection), sodass das Wissen adaptiv an den „Student“ übertragen wird. Wir führen umfangreiche Experimente durch und zeigen, dass unsere Methode im Vergleich zu aktuellen State-of-the-Art-Methoden überlegene Leistungen erzielt. Zudem zeigen wir, dass unsere Methode problemlos in bestehende State-of-the-Art-Algorithmen für die Klassifikation unter langen Schwanzverteilungen integriert werden kann, um deren Leistung weiter zu verbessern.