Neuüberlegung der Softmax-Funktion mit der Kreuzentropie: Klassifikator neuronaler Netze als Schätzer der gegenseitigen Information

Die gegenseitige Information wird weit verbreitet eingesetzt, um latente Darstellungen von Beobachtungen zu lernen, während ihre Bedeutung für Klassifizierungsneuronale Netze bisher noch nicht ausreichend erklärt wurde. Wir zeigen, dass die Optimierung der Parameter von Klassifizierungsneuralen Netzen mittels Softmax-Kreuzentropie unter der Annahme ausgewogener Daten äquivalent ist zum Maximieren der gegenseitigen Information zwischen Eingaben und Labels. Anhand von Experimenten an synthetischen und realen Datensätzen zeigen wir, dass die Softmax-Kreuzentropie die gegenseitige Information annähernd schätzen kann. Bei der Anwendung auf die Bildklassifizierung ermöglicht diese Beziehung die Näherung der punktweisen gegenseitigen Information zwischen einem Eingabebild und einem Label, ohne die Netzwerkstruktur zu verändern. Dazu schlagen wir infoCAM, eine informative Klassenaktivierungskarte, vor, die Regionen des Eingabebildes hervorhebt, die aufgrund von Informationsunterschieden am relevantesten für ein gegebenes Label sind. Die Aktivierungskarte unterstützt die Lokalisierung des Zielobjekts in einem Eingabebild. Anhand von Experimenten zum halbüberwachten Objektlokalisierungsaufgabe an zwei realen Datensätzen bewerten wir die Wirksamkeit unseres informationstheoretischen Ansatzes.