Command Palette
Search for a command to run...
Sind Diese Vögel Ähnlich: Lernen von verzweigten Netzwerken für feinkörnige Darstellungen
Sind Diese Vögel Ähnlich: Lernen von verzweigten Netzwerken für feinkörnige Darstellungen
Ignazio Gallo Nicola Landro Moreno Caraffini Alessandro Calefati Shah Nawaz
Zusammenfassung
Die feinkörnige Bildklassifikation ist aufgrund der hierarchischen grob-zu-feinkörnigen Verteilung in den Datensätzen eine anspruchsvolle Aufgabe. In der Regel werden Teile zur Unterscheidung verschiedener Objekte in feinkörnigen Datensätzen herangezogen; jedoch sind nicht alle Teile gleichwertig oder unverzichtbar. In den letzten Jahren wurden natürliche Sprachbeschreibungen genutzt, um Informationen über diskriminative Teile von Objekten zu gewinnen. In diesem Artikel nutzen wir natürliche Sprachbeschreibungen und schlagen eine Strategie zur Lernung einer gemeinsamen Darstellung von natürlicher Sprache und Bildern mittels eines zweigleisigen Netzwerks mit mehreren Schichten vor, um die Aufgabe der feinkörnigen Bildklassifikation zu verbessern. Umfangreiche Experimente zeigen, dass unser Ansatz eine signifikante Steigerung der Genauigkeit bei der feinkörnigen Bildklassifikation erzielt. Darüber hinaus erreicht unsere Methode neue SOTA-Ergebnisse (state-of-the-art) auf dem CUB-200-2011-Datensatz.