HyperAIHyperAI

Command Palette

Search for a command to run...

Few-shot Object Counting mit similarity-aware Feature Enhancement

Zhiyuan You Kai Yang Wenhan Luo Xin Lu Lei Cui Xinyi Le

Zusammenfassung

Diese Arbeit untersucht das Problem des Few-Shot-Objektzählens, bei dem die Anzahl von Beispielobjekten (d. h. durch ein oder mehrere Support-Bilder beschrieben) in einer Abfrage-Bild ermittelt werden soll. Die zentrale Herausforderung besteht darin, dass die Zielobjekte im Abfrage-Bild dicht gepackt sein können, was die Erkennung jedes einzelnen Objekts erschwert. Um dieser Schwierigkeit zu begegnen, schlagen wir einen neuartigen Lernblock vor, der über ein Ähnlichkeitsvergleichsmodul und ein Merkmalsverbesserungsmodul verfügt. Konkret leiten wir, gegeben ein Support-Bild und ein Abfrage-Bild, zunächst eine Score-Karte ab, indem wir die projizierten Merkmale an jeder räumlichen Position vergleichen. Die Score-Karten aller Support-Bilder werden zusammengefasst und sowohl über die Beispiel-Dimension als auch über die räumlichen Dimensionen normalisiert, wodurch eine zuverlässige Ähnlichkeitskarte entsteht. Anschließend verbessern wir das Abfrage-Merkmal durch die Unterstützung durch die Support-Merkmale, wobei die entwickelten punktweisen Ähnlichkeiten als Gewichtungskoeffizienten dienen. Diese Architektur fördert, dass das Modell das Abfrage-Bild verstärkt auf Regionen fokussiert, die den Support-Bildern ähneln, was zu deutlich klareren Grenzen zwischen den einzelnen Objekten führt. Umfangreiche Experimente an verschiedenen Benchmarks und Trainingskonfigurationen zeigen, dass wir die derzeit besten Ansätze signifikant übertreffen. Beispielsweise erreichen wir auf dem kürzlich vorgestellten, großskaligen FSC-147-Datensatz eine Verbesserung des mittleren absoluten Fehlers von 22,08 auf 14,32 (35 % Verbesserung). Der Quellcode ist unter https://github.com/zhiyuanyou/SAFECount veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp