Lernen eines Gemisches aus granularitäts-spezifischen Experten für feinkörnige Kategorisierung

Wir streben an, den Problemraum der feinkörnigen Erkennung in bestimmte spezifische Regionen zu unterteilen. Um dies zu erreichen, entwickeln wir einen einheitlichen Rahmen basierend auf einem Mixture-of-Experts-Ansatz. Aufgrund der begrenzten Datenmenge im Kontext der feinkörnigen Erkennung ist es nicht praktikabel, diverse Experten durch eine Datenaufteilungsstrategie zu lernen. Um dieses Problem zu bewältigen, fördern wir die Vielfalt unter den Experten durch die Kombination einer schrittweise verbesserten Lernstrategie für Experten und einer auf der Kullback-Leibler-Divergenz basierenden Einschränkung. Die Strategie lernt neue Experten auf dem Datensatz unter Verwendung vorheriger Kenntnisse aus früheren Experten und fügt sie sequenziell dem Modell hinzu, während die eingeführte Einschränkung die Experten dazu zwingt, unterschiedliche Vorhersageverteilungen zu erzeugen. Diese Mechanismen treiben die Experten an, die Aufgabe aus unterschiedlichen Perspektiven zu lernen, wodurch sie sich auf verschiedene Teilraumprobleme spezialisieren. Experimente zeigen, dass das resultierende Modell die Klassifikationsleistung verbessert und auf mehreren etablierten Benchmark-Datensätzen für feinkörnige Erkennung die derzeit beste Leistung erzielt.