Ein einfaches und robuster Korrelationsfilterungsansatz für personenbasierte Suchen auf Textbasis

Die textbasierte Personenrecherche zielt darauf ab, Personenbilder mit natürlichsprachlichen Beschreibungen zu verknüpfen. Bei dieser Aufgabe stellt die Extraktion differenzierter Darstellungen und deren Ausrichtung zwischen Identitäten und Beschreibungen ein essenzielles, jedoch herausforderndes Problem dar. Die meisten bisherigen Methoden stützen sich auf zusätzliche Sprachparser oder visuelle Techniken, um relevante Regionen oder Wörter aus störanfälligen Eingaben zu selektieren. Dies führt jedoch zu erheblichen Rechenkosten und unvermeidbaren Fehlerakkumulationen. Gleichzeitig schädigt die einfache Nutzung horizontal segmentierter Bilder zur Gewinnung lokaler Merkmale die Zuverlässigkeit der Modelle ebenfalls. In diesem Artikel präsentieren wir eine neuartige, end-to-end-orientierte Methode namens Simple and Robust Correlation Filtering (SRCF), die effektiv Schlüsselinformationen extrahiert und die diskriminativen Merkmale adaptiv ausrichtet. Im Gegensatz zu früheren Ansätzen konzentriert sich unser Framework auf die Berechnung der Ähnlichkeit zwischen Vorlagen und Eingaben. Insbesondere entwerfen wir zwei verschiedene Arten von Filtermodulen (nämlich Rauschunterdrückungsfilter und Wörterbuchfilter), um entscheidende Merkmale zu extrahieren und multimodale Abbildungen aufzubauen. Umfangreiche Experimente zeigen, dass unsere Methode die Robustheit des Modells verbessert und eine bessere Leistung auf zwei textbasierten Personenrecherche-Datensätzen erzielt. Der Quellcode ist unter https://github.com/Suo-Wei/SRCF verfügbar.