Messung der Interpretierbarkeit von unüberwachten Darstellungen mittels quantisierter rückwärtsgerichteter Untersuchung

Die selbstüberwachte Lernmethode für visuelle Darstellungen hat erhebliches Forschungsinteresse hervorgerufen. Während die gängigste Methode zur Bewertung selbstüberwachter Darstellungen darin besteht, sie auf verschiedene nachgeschaltete Aufgaben zu übertragen, untersuchen wir stattdessen das Problem der Messung ihrer Interpretierbarkeit, d. h. des Verständnisses der Semantik, die in den rohen Darstellungen kodiert ist. Wir formulieren dieses Problem als Schätzung der gegenseitigen Information zwischen der Darstellung und einem Raum manuell annotierter Konzepte. Um diese zu quantifizieren, führen wir eine Dekodierungs-Bottleneck-Methode ein: Die Information muss durch einfache Vorhersager erfasst werden, die Konzepte auf Cluster in der Darstellungsräumen abbilden. Dieser Ansatz, den wir „reverse linear probing“ nennen, liefert eine einzelne Zahl, die empfindlich gegenüber der Semantik der Darstellung ist. Diese Metrik kann zudem erkennen, wenn die Darstellung mit Kombinationen von annotierten Konzepten (z. B. „roter Apfel“) korreliert, anstatt lediglich mit einzelnen Attributen („rot“ und „Apfel“ getrennt). Schließlich schlagen wir vor, überwachte Klassifikatoren zur automatischen Annotation großer Datensätze mit einem reichen Spektrum an Attributen zu nutzen. Mit diesen Erkenntnissen bewerten wir eine große Anzahl selbstüberwachter Darstellungen, ordnen sie nach Interpretierbarkeit ein und verdeutlichen die Unterschiede im Vergleich zur herkömmlichen Bewertung mittels linearer Proben.