Label Ranker: Selbstbewusste Präferenz für die Position von Klassifikationslabels in visuellen maskierten selbstüberwachten vortrainierten Modellen

Diese Arbeit untersucht den Einfluss einer zufällig initialisierten eindeutigen Kodierung der Klassifikationslabel-Position auf visuelle maskierte selbstüberwachte vortrainierte Modelle bei der Feinabstimmung von nachgeschalteten Klassifikationsaufgaben. Unsere Ergebnisse zeigen, dass unterschiedliche zufällige Initialisierungen zu erheblichen Schwankungen in den feinabgestimmten Ergebnissen führen, selbst wenn dieselbe Zuweisungsstrategie für die Klassifikationsdatensätze verwendet wird. Die beobachtete Genauigkeitsdifferenz zwischen diesen Ergebnissen deutet darauf hin, dass das visuelle maskierte selbstüberwachte vortrainierte Modell eine inhärente Präferenz für bestimmte Label-Positionen aufweist. Um dies zu untersuchen, vergleichen wir es mit einem nicht selbstüberwachten visuellen vortrainierten Modell und vermuten, dass das maskierte selbstüberwachte Modell eine selbstbewusste Verzerrung gegenüber bestimmten Label-Positionen aufweist. Um die durch die zufällige Kodierung verursachte Instabilität zu mindern, schlagen wir einen Algorithmus zur Rangfolge der Klassifikationslabel-Position, namens Label Ranker, vor. Dieser basiert auf einer eindimensionalen Dimensionsreduktion von Feature-Maps mittels Linear Discriminant Analysis und einer positionsspezifischen Kodierung durch unsupervisionierte Merkmalsclustering unter Ausnutzung der Ähnlichkeitseigenschaft der euklidischen Distanz. Der Algorithmus stellt sicher, dass die Kodierung der Label-Positionen mit der inhärenten Präferenz des Modells übereinstimmt. Umfassende Ablationsstudien mit den Modellen ImageMAE und VideoMAE auf den Klassifikationsdatensätzen CIFAR-100, UCF101 und HMDB51 bestätigen die Wirksamkeit unseres Ansatzes. Die Ergebnisse zeigen, dass unsere Methode die Stabilität der Kodierung der Klassifikationslabel-Position effektiv verbessert und damit die Leistung von visuellen maskierten selbstüberwachten Modellen bei der Feinabstimmung steigert.