Neuüberprüfung eines kNN-basierten Bildklassifikationssystems mit hochkapazitiver Speicherung

In bestehenden Bildklassifikationssystemen, die tiefe neuronale Netze nutzen, ist das für die Bildklassifikation benötigte Wissen implizit in den Modellparametern gespeichert. Möchten Nutzer dieses Wissen aktualisieren, so müssen sie die Modellparameter feinabstimmen. Zudem können Nutzer die Gültigkeit von Inferenzergebnissen nicht überprüfen oder die Beiträge einzelner Wissenselemente zu den Ergebnissen bewerten. In diesem Paper untersuchen wir ein System, das Wissen für die Bildklassifikation – beispielsweise Bildmerkmalskarten, Labels und Originalbilder – nicht in Modellparametern, sondern in externen Speichermedien mit hoher Kapazität speichert. Unser System greift bei der Klassifikation von Eingabebildern auf diesen Speicher wie eine Datenbank zurück. Um das Wissen zu erweitern, aktualisiert unser System die Datenbank anstelle der Modellparameter, wodurch katastrophales Vergessen in Szenarien des inkrementellen Lernens vermieden wird. Wir reevaluieren einen kNN-Klassifikator (k-Nächste-Nachbarn) und integrieren ihn in unser System. Durch die Analyse der von dem kNN-Algorithmus referenzierten Nachbarschaftsbeispiele können wir interpretieren, wie zuvor erlerntes Wissen bei der Inferenz verwendet wird. Unser System erreicht eine Top-1-Accuracy von 79,8 % auf dem ImageNet-Datensatz, ohne die Modellparameter nach der Vortrainingsphase feinabzustimmen, und eine Accuracy von 90,8 % auf dem Split-CIFAR-100-Datensatz im Setting des task-incrementellen Lernens.