Axiomatische Zuschreibung für tiefe Netzwerke

Wir untersuchen das Problem der Zuordnung von Vorhersagen eines tiefen Netzes zu dessen Eingangseigenschaften, ein Thema, das bereits in mehreren anderen Arbeiten behandelt wurde. Wir identifizieren zwei grundlegende Axiome – Sensitivität und Implementierungsinvarianz – die von Zuordnungsmethoden erfüllt sein sollten. Wir zeigen, dass diese Axiome von den meisten bekannten Zuordnungsmethoden nicht eingehalten werden, was wir als eine fundamentale Schwäche dieser Methoden betrachten. Die Axiome führen uns bei der Entwicklung einer neuen Zuordnungsmethode namens Integrated Gradients (Integrierte Gradienten) leitend. Unsere Methode erfordert keine Änderungen am ursprünglichen Netzwerk und ist äußerst einfach umzusetzen; sie benötigt lediglich einige Aufrufe des Standard-Gradientenoperators. Wir wenden diese Methode auf einige Bildmodelle, Textmodelle und ein Chemie-Modell an, um ihre Fähigkeit zur Fehlersuche in Netzwerken, zur Extraktion von Regeln aus einem Netzwerk sowie zur Verbesserung der Benutzerinteraktion mit Modellen zu demonstrieren.