Few-shot Object Counting mit similarity-aware Feature Enhancement

Diese Arbeit untersucht das Problem des Few-Shot-Objektzählens, bei dem die Anzahl von Beispielobjekten (d. h. durch ein oder mehrere Support-Bilder beschrieben) in einer Abfrage-Bild ermittelt werden soll. Die zentrale Herausforderung besteht darin, dass die Zielobjekte im Abfrage-Bild dicht gepackt sein können, was die Erkennung jedes einzelnen Objekts erschwert. Um dieser Schwierigkeit zu begegnen, schlagen wir einen neuartigen Lernblock vor, der über ein Ähnlichkeitsvergleichsmodul und ein Merkmalsverbesserungsmodul verfügt. Konkret leiten wir, gegeben ein Support-Bild und ein Abfrage-Bild, zunächst eine Score-Karte ab, indem wir die projizierten Merkmale an jeder räumlichen Position vergleichen. Die Score-Karten aller Support-Bilder werden zusammengefasst und sowohl über die Beispiel-Dimension als auch über die räumlichen Dimensionen normalisiert, wodurch eine zuverlässige Ähnlichkeitskarte entsteht. Anschließend verbessern wir das Abfrage-Merkmal durch die Unterstützung durch die Support-Merkmale, wobei die entwickelten punktweisen Ähnlichkeiten als Gewichtungskoeffizienten dienen. Diese Architektur fördert, dass das Modell das Abfrage-Bild verstärkt auf Regionen fokussiert, die den Support-Bildern ähneln, was zu deutlich klareren Grenzen zwischen den einzelnen Objekten führt. Umfangreiche Experimente an verschiedenen Benchmarks und Trainingskonfigurationen zeigen, dass wir die derzeit besten Ansätze signifikant übertreffen. Beispielsweise erreichen wir auf dem kürzlich vorgestellten, großskaligen FSC-147-Datensatz eine Verbesserung des mittleren absoluten Fehlers von 22,08 auf 14,32 (35 % Verbesserung). Der Quellcode ist unter https://github.com/zhiyuanyou/SAFECount veröffentlicht.