HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von semantisch ausgerichteten Merkmalsrepräsentationen für textbasierte PersonenSuche

Shiping Li Min Cao* Min Zhang

Zusammenfassung

Textbasierte Personensuche zielt darauf ab, Bilder einer bestimmten Fußgängerin oder eines bestimmten Fußgängers durch eine textuelle Beschreibung zu ermitteln. Die wesentliche Herausforderung bei dieser Aufgabe besteht darin, den intermodalen Abstand zu überwinden und die Merkmalsausrichtung über die Modalitäten hinweg zu erreichen. In diesem Artikel schlagen wir eine semantisch ausgerichtete Einbettungsmethode für textbasierte Personensuche vor, bei der die Merkmalsausrichtung über die Modalitäten hinweg durch automatisches Lernen semantisch ausgerichteter visueller und textueller Merkmale erreicht wird. Zunächst führen wir zwei Transformer-basierte Backbones ein, um robuste Merkmalsrepräsentationen von Bildern und Texten zu kodieren. Anschließend entwickeln wir ein semantisch ausgerichtetes Feature-Aggregationsnetzwerk, das adaptive Auswahl und Aggregation von Merkmalen mit gleicher Semantik in teilspezifische Merkmale vornimmt. Dies wird durch ein mehrköpfiges Aufmerksamkeitsmodul erreicht, das durch einen cross-modalen Teilausrichtungsverlust (cross-modality part alignment loss) und einen Diversitätsverlust (diversity loss) eingeschränkt ist. Experimentelle Ergebnisse auf den Datensätzen CUHK-PEDES und Flickr30K zeigen, dass unsere Methode den Stand der Technik (state-of-the-art) übertreffen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen von semantisch ausgerichteten Merkmalsrepräsentationen für textbasierte PersonenSuche | Paper | HyperAI