Entropiebasierte Logik-Erklärungen für neuronale Netzwerke

Explainable Artificial Intelligence ist seitdem, als Gesetzgeber anfingen, interpretierbare Modelle für sicherheitskritische Anwendungsbereiche zu verlangen, rasch entstanden. Konzeptbasierte neuronale Netzwerke sind als erklärbare-on-Design-Methoden hervorgetreten, da sie menschlich verständliche Symbole (d. h. Konzepte) nutzen, um Klassenzugehörigkeiten vorherzusagen. Allerdings konzentrieren sich die meisten dieser Ansätze hauptsächlich auf die Identifizierung der relevantesten Konzepte, bieten jedoch keine präzisen, formalen Erklärungen dafür, wie diese Konzepte vom Klassifikator zur Vorhersage genutzt werden. In diesem Paper stellen wir einen neuartigen end-to-end differenzierbaren Ansatz vor, der die Extraktion logischer Erklärungen aus neuronalen Netzwerken mittels des Formalismus der Prädikatenlogik erster Stufe ermöglicht. Die Methode basiert auf einem Entropie-kriterium, das automatisch die relevantesten Konzepte identifiziert. Wir betrachten vier verschiedene Fallstudien, um zu zeigen, dass: (i) dieses Entropie-kriterium die Ableitung präziser logischer Erklärungen in sicherheitskritischen Bereichen – von klinischen Daten bis hin zu Computer Vision – ermöglicht; (ii) der vorgeschlagene Ansatz state-of-the-art White-Box-Modelle hinsichtlich der Klassifizierungsgenauigkeit übertrifft und die Leistung von Black-Box-Modellen erreicht.