Test auf tote Pixel mithilfe des effektiven Rezeptivfelds

Tiefere neuronale Netze werden in zahlreichen Bereichen eingesetzt, doch ihr internes Verhalten ist bisher nicht vollständig verstanden. In dieser Studie diskutieren wir zwei gegenintuitive Verhaltensweisen von Faltungsneuralen Netzen (CNNs). Erstens analysierten wir die Größe des Rezeptivfelds. Bisherige Studien bemühten sich, die Größe des Rezeptivfelds zu vergrößern oder zu kontrollieren. Wir stellten jedoch fest, dass die Größe des Rezeptivfelds die Klassifizierungsgenauigkeit nicht angemessen beschreibt. Die Größe des Rezeptivfelds eignet sich daher nicht als repräsentatives Maß für die Leistungsfähigkeit, da sie lediglich die Tiefe oder die Kernelgröße widerspiegelt und andere entscheidende Faktoren wie die Breite oder die Kardinalität nicht berücksichtigt. Zweitens untersuchten wir mithilfe des effektiven Rezeptivfelds diejenigen Pixel, die zur Ausgabe beitragen. Intuitiv wird erwartet, dass jedes Pixel gleichwertig zur endgültigen Ausgabe beiträgt. Tatsächlich beobachteten wir jedoch Pixel, die sich teilweise in einem „toten Zustand“ befinden und nur geringfügig zur Ausgabe beitragen. Wir zeigen, dass dieser Effekt auf die Architektur des CNNs zurückzuführen ist, und diskutieren mögliche Lösungsansätze zur Reduktion dieses Phänomens. Interessanterweise verbessert die Existenz solcher tote Pixel bei allgemeinen Klassifizierungsaufgaben die Trainierbarkeit von CNNs. Im Gegensatz dazu verschlechtert sich die Leistung bei Aufgaben, die kleine Störungen erfassen sollen. Daher sollte die Existenz dieser toten Pixel in praktischen Anwendungen von CNNs verstanden und berücksichtigt werden.