Sind Diese Vögel Ähnlich: Lernen von verzweigten Netzwerken für feinkörnige Darstellungen
{Ignazio Gallo Nicola Landro Moreno Caraffini Alessandro Calefati Shah Nawaz}
Abstract
Die feinkörnige Bildklassifikation ist aufgrund der hierarchischen grob-zu-feinkörnigen Verteilung in den Datensätzen eine anspruchsvolle Aufgabe. In der Regel werden Teile zur Unterscheidung verschiedener Objekte in feinkörnigen Datensätzen herangezogen; jedoch sind nicht alle Teile gleichwertig oder unverzichtbar. In den letzten Jahren wurden natürliche Sprachbeschreibungen genutzt, um Informationen über diskriminative Teile von Objekten zu gewinnen. In diesem Artikel nutzen wir natürliche Sprachbeschreibungen und schlagen eine Strategie zur Lernung einer gemeinsamen Darstellung von natürlicher Sprache und Bildern mittels eines zweigleisigen Netzwerks mit mehreren Schichten vor, um die Aufgabe der feinkörnigen Bildklassifikation zu verbessern. Umfangreiche Experimente zeigen, dass unser Ansatz eine signifikante Steigerung der Genauigkeit bei der feinkörnigen Bildklassifikation erzielt. Darüber hinaus erreicht unsere Methode neue SOTA-Ergebnisse (state-of-the-art) auf dem CUB-200-2011-Datensatz.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| fine-grained-image-classification-on-cub-200-1 | Nts-Net | Accuracy: 87.5 |
| multimodal-deep-learning-on-cub-200-2011 | Two Branch Network (Text - Bert + Image - Nts-Net) | Accuracy: 96.81 |
| multimodal-text-and-image-classification-on | Two Branch Network (Text - Bert + Image - Nts-Net) | Accuracy: 96.81 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.