Aktives Lernen mit Budget: Gegensätzliche Strategien passen sich hohen und niedrigen Budgets an

Bei der Untersuchung aktiver Lernverfahren konzentrieren wir uns auf die Beziehung zwischen der Anzahl gelabelter Beispiele (Budgetgröße) und geeigneten Abfragestrategien. Unsere theoretische Analyse zeigt ein Verhalten, das an eine Phasenübergangssituation erinnert: Typische Beispiele sind am besten dann zu abfragen, wenn das Budget gering ist, während untypische Beispiele bei großem Budget am effektivsten abgefragt werden sollten. Kombinierte empirische Befunde zeigen, dass ein ähnliches Phänomen auch bei gängigen Klassifikationsmodellen auftritt. Daraus leiten wir TypiClust ab – eine tiefe aktive Lernstrategie, die sich besonders für kleine Budgets eignet. In einer vergleichenden empirischen Untersuchung des überwachten Lernens mit einer Vielzahl von Architekturen und Bild-Datensätzen übertrifft TypiClust alle anderen aktiven Lernstrategien im Bereich kleiner Budgets. Bei Anwendung in einem halbüberwachten Rahmen zeigt sich eine noch deutlichere Leistungssteigerung. Insbesondere erreichen state-of-the-art halbüberwachte Methoden, die auf CIFAR-10 mit nur 10 durch TypiClust ausgewählten gelabelten Beispielen trainiert wurden, eine Genauigkeit von 93,2 % – eine Verbesserung um 39,4 % gegenüber der zufälligen Auswahl. Der Quellcode ist unter https://github.com/avihu111/TypiClust verfügbar.