HyperAIHyperAI

Command Palette

Search for a command to run...

Retrieval-Augmentierte Klassifikation für Long-Tail-Visualerkennung

Alexander Long Wei Yin Thalaiyasingam Ajanthan Vu Nguyen Pulak Purkait Ravi Garg Alan Blair Chunhua Shen Anton van den Hengel

Zusammenfassung

Wir stellen Retrieval Augmented Classification (RAC) vor, einen generischen Ansatz zur Erweiterung standardmäßiger Bildklassifizierungspipelines durch einen expliziten Abrufmodul. RAC besteht aus einem standardmäßigen Basisbild-Encoder, der mit einem parallelen Abrufzweig verbunden ist, welcher eine nicht-parametrische externe Speicherung vorverarbeiteter Bilder und zugehöriger Textausschnitte abfragt. Wir wenden RAC auf das Problem der Long-Tail-Klassifikation an und zeigen eine signifikante Verbesserung gegenüber vorherigen State-of-the-Art-Methoden auf Places365-LT und iNaturalist-2018 (14,5 % beziehungsweise 6,7 %), wobei lediglich die Trainingsdatensätze selbst als externe Informationsquelle dienen. Wir zeigen, dass der Abrufmodul von RAC ohne explizite Anregung eine hohe Genauigkeit für seltene Klassen erlernt. Dies ermöglicht es dem Basis-Encoder, sich auf häufige Klassen zu konzentrieren und dort seine Leistung zu verbessern. RAC stellt einen alternativen Ansatz zur Nutzung großer, vortrainierter Modelle dar, ohne eine Feinabstimmung zu erfordern, und bildet einen ersten Schritt hin zu einer effektiveren Nutzung externen Speichers innerhalb gängiger Computer-Vision-Architekturen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp