Command Palette
Search for a command to run...
Textbasierte Personen-Suche mittels attributgestützter Übereinstimmung
Textbasierte Personen-Suche mittels attributgestützter Übereinstimmung
Surbhi Aggarwal R. Anirban Chakraborty Venkatesh Babu
Zusammenfassung
Die textbasierte Personenrecherche zielt darauf ab, diejenigen Personenbilder zu finden, die am besten einer gegebenen Textanfrage entsprechen. Bestehende Methoden nutzen Klassen-ID-Informationen, um diskriminative und identitätsbewahrende Merkmale zu erzeugen. Es ist jedoch bisher nicht ausreichend untersucht, ob es vorteilhaft ist, explizit sicherzustellen, dass die Semantik der Daten erhalten bleibt. In der vorgeschlagenen Arbeit streben wir an, semantikbewahrende Einbettungen durch eine zusätzliche Aufgabe der Attributvorhersage zu erzeugen. Da Attributannotierungen in der Regel in der textbasierten Personenrecherche nicht verfügbar sind, extrahieren wir diese zunächst aus dem Textkorpus. Diese Attribute dienen dann als Brücke zur Überbrückung der Modalitätslücke zwischen Bild- und Texteingaben sowie zur Verbesserung des Repräsentationslernens. Zusammenfassend schlagen wir einen Ansatz für die textbasierte Personenrecherche vor, bei dem ein attributgetriebener Raum gemeinsam mit einem klasseninformationsgetriebenen Raum gelernt wird und beide Räume zur Erzielung der Retrieval-Ergebnisse genutzt werden. Unsere Experimente auf dem Benchmark-Datensatz CUHK-PEDES zeigen, dass das Lernen des Attributraums nicht nur die Leistung verbessert – was uns eine state-of-the-art Rank-1-Genauigkeit von 56,68 % ermöglicht –, sondern auch menschlich interpretierbare Merkmale liefert.