Bewertung von Ausgabeeinbettungen für die feingranulare Bildklassifizierung

Die Bildklassifizierung hat in den letzten Jahren dank der Verfügbarkeit von groß angelegten Bildsammlungen erheblich Fortschritte gemacht. Dennoch bleibt die feinkörnige Klassifizierung aufgrund der hohen Annotierungskosten für eine große Anzahl feinkörniger Kategorien eine wichtige Herausforderung. Dieses Projekt zeigt, dass überzeugende Klassifizierungsleistungen auch ohne beschriftete Trainingsdaten auf solchen Kategorien erreicht werden können. Unter Verwendung von Bild- und Klassen-Embeddings lernen wir eine Kompatibilitätsfunktion, sodass übereinstimmende Embeddings einen höheren Score als nicht übereinstimmende erhalten; die Null-Shot-Klassifizierung eines Bildes erfolgt durch das Finden des Labels, das den höchsten gemeinsamen Kompatibilitätsscore liefert. Wir verwenden state-of-the-art-Bildmerkmale und konzentrieren uns auf verschiedene überwachte Attribute und unüberwachte Output-Embeddings, die entweder aus Hierarchien abgeleitet oder aus unbeschrifteten Textkorpora gelernt wurden. Wir erzielen einen erheblichen Fortschritt im Vergleich zum bisherigen Stand der Technik auf den Datensätzen "Animals with Attributes" und "Caltech-UCSD Birds". Am eindrucksvollsten zeigen wir, dass rein unüberwachte Output-Embeddings (aus Wikipedia gelernt und mit feinkörnigem Text verbessert) überzeugende Ergebnisse liefern, die sogar den vorherigen überwachten Stand der Technik übertreffen. Durch die Kombination verschiedener Output-Embeddings verbessern wir die Ergebnisse weiterhin.