Retrieval-Augmentierte Klassifikation für Long-Tail-Visualerkennung

Wir stellen Retrieval Augmented Classification (RAC) vor, einen generischen Ansatz zur Erweiterung standardmäßiger Bildklassifizierungspipelines durch einen expliziten Abrufmodul. RAC besteht aus einem standardmäßigen Basisbild-Encoder, der mit einem parallelen Abrufzweig verbunden ist, welcher eine nicht-parametrische externe Speicherung vorverarbeiteter Bilder und zugehöriger Textausschnitte abfragt. Wir wenden RAC auf das Problem der Long-Tail-Klassifikation an und zeigen eine signifikante Verbesserung gegenüber vorherigen State-of-the-Art-Methoden auf Places365-LT und iNaturalist-2018 (14,5 % beziehungsweise 6,7 %), wobei lediglich die Trainingsdatensätze selbst als externe Informationsquelle dienen. Wir zeigen, dass der Abrufmodul von RAC ohne explizite Anregung eine hohe Genauigkeit für seltene Klassen erlernt. Dies ermöglicht es dem Basis-Encoder, sich auf häufige Klassen zu konzentrieren und dort seine Leistung zu verbessern. RAC stellt einen alternativen Ansatz zur Nutzung großer, vortrainierter Modelle dar, ohne eine Feinabstimmung zu erfordern, und bildet einen ersten Schritt hin zu einer effektiveren Nutzung externen Speichers innerhalb gängiger Computer-Vision-Architekturen.