Erklärungen basierend auf visueller Korrespondenz verbessern die Robustheit von KI und die Genauigkeit von Mensch-KI-Teams

Die Erklärung von Vorhersagen durch künstliche Intelligenz (KI) wird in vielen hochriskanten Anwendungen, in denen Menschen die endgültigen Entscheidungen treffen, zunehmend wichtiger und sogar unverzichtbar. In dieser Arbeit stellen wir zwei neuartige Architekturen selbstinterpretierbarer Bildklassifizierer vor, die zunächst Erklärungen liefern und anschließend vorhersagen (im Gegensatz zu nachträglichen Erklärungen), indem sie visuelle Korrespondenzen zwischen einem Abfragen-Bild und exemplarischen Bildern ausnutzen. Unsere Modelle erzielen eine konsistente Verbesserung (um 1 bis 4 Punkte) auf Out-of-Distribution (OOD)-Datensätzen, während sie auf In-Distribution-Tests marginal schlechter abschneiden (um 1 bis 2 Punkte) als ResNet-50 und ein k-Nächste-Nachbarn-Klassifizierer (kNN). In einer groß angelegten menschlichen Studie auf ImageNet und CUB zeigen sich die auf Korrespondenzen basierenden Erklärungen als nützlicher für die Benutzer im Vergleich zu kNN-Erklärungen. Unsere Erklärungen ermöglichen es den Benutzern, falsche Entscheidungen der KI genauer zu erkennen als alle anderen getesteten Methoden. Interessanterweise zeigen wir erstmals, dass es möglich ist, eine komplementäre Genauigkeit zwischen Mensch und KI zu erreichen (d. h. eine Genauigkeit, die höher ist als die der KI allein oder des Menschen allein), bei Bildklassifikationsaufgaben auf ImageNet und CUB.