Vokabularfreie Bildklassifizierung

In den letzten Jahren haben die Entwicklungen von groß angelegten visuellen Sprachmodellen das Paradigma der Bildklassifizierung grundlegend verändert. Obwohl diese Modelle beeindruckende Fähigkeiten im Zero-Shot-Lernen zeigen, gehen sie davon aus, dass eine vordefinierte Klassenvocabular am Testzeitpunkt vorhanden ist. Diese Annahme kann jedoch in Szenarien, in denen der semantische Kontext unbekannt und ständig sich verändernd ist, unpraktisch sein. Die vocabulary-freie Bildklassifizierung (VIC) strebt an, Eingabebilder in Klassen innerhalb eines nicht eingeschränkten semantischen Raums zuordnen zu können, der durch Sprache induziert wird, ohne vorheriges Wissen über das Vocabular. Dies erhöht die Flexibilität und Anpassungsfähigkeit des Modells und hat erheblichen Anwendungswert.