PCNN: Wahrscheinlichkeitsbasierte nächstgelegene Nachbarn zur Erklärung verbessern die Genauigkeit der feinkörnigen Bildklassifikation für KI-Systeme und Menschen

Nahegelegene Nachbarn (NN) werden traditionell eingesetzt, um abschließende Entscheidungen zu treffen, beispielsweise in Support-Vektor-Maschinen oder k-NN-Klassifizierern, sowie um Benutzern Erklärungen für die Entscheidung des Modells bereitzustellen. In diesem Paper zeigen wir eine neuartige Anwendung von Nahegelegenen Nachbarn: die Verbesserung der Vorhersagen eines fixierten, vortrainierten Bildklassifizierers C. Wir nutzen einen Bildvergleichsmodell S, das (1) das Eingabebild mit den NN-Bildern der Klassen im oberen K, die von C mit höchster Wahrscheinlichkeit vorhergesagt wurden, vergleicht; und (2) die Scores von S nutzt, um die Vertrauenswerte von C zu gewichten und so die Vorhersagen zu verfeinern. Unsere Methode verbessert konsistent die Genauigkeit der feinkörnigen Bildklassifikation auf den Datensätzen CUB-200, Cars-196 und Dogs-120. Zudem zeigt eine menschliche Studie, dass die Darstellung der wahrscheinlichsten Klassen-Nachbarn (PCNN) die Überrelianz auf KI verringert und somit die Entscheidungsgenauigkeit der Benutzer gegenüber vorherigen Ansätzen verbessert, die lediglich Beispiele der höchstwahrscheinlichen (top-1) Klasse anzeigen.