HyperAIHyperAI

Command Palette

Search for a command to run...

Repräsentieren, Vergleichen und Lernen: Ein ähnlichkeitsbewusstes Framework für klassenunabhängiges Zählen

Min Shi Hao Lu Chen Feng Chengxin Liu Zhiguo Cao

Zusammenfassung

Klassenunabhängiges Zählen (Class-agnostic Counting, CAC) zielt darauf ab, die Anzahl aller Instanzen in einem Abfragebild zu schätzen, basierend auf wenigen Beispielbildern. Ein gängiger Ansatz besteht darin, visuelle Merkmale aus den Beispielbildern zu extrahieren und diese mit dem Abfragebild zu vergleichen, um die Objektanzahl abzuleiten. Zwei zentrale Komponenten in diesem Prozess sind die Merkmalsdarstellung und die Ähnlichkeitsmetrik. Bisherige Methoden nutzen entweder ein vortrainiertes Netzwerk zur Merkmalsrepräsentation oder lernen eine neue Darstellung, wobei jedoch eine einfache Ähnlichkeitsmetrik mit festem Inner Product angewendet wird. Wir stellen fest, dass dieses Paradigma zu verrauschten Ähnlichkeitsvergleichen führt und somit die Zählgenauigkeit beeinträchtigt. In dieser Arbeit präsentieren wir einen Ähnlichkeitsbewussten CAC-Framework, der Merkmalsdarstellung und Ähnlichkeitsmetrik gemeinsam lernt. Zunächst implementieren wir unseren Ansatz anhand einer einfachen Baseline namens Bilinear Matching Network (BMNet), deren zentrale Komponente eine lernbare bilineare Ähnlichkeitsmetrik ist. Um die Kernidee unseres Frameworks weiter zu verdeutlichen, erweitern wir BMNet zu BMNet+, das die Ähnlichkeit aus drei Aspekten modelliert: 1) die Repräsentation der Instanzen über deren Selbstähnlichkeit, um die Robustheit der Merkmale gegenüber intra-klassischen Variationen zu erhöhen; 2) einen dynamischen Vergleich der Ähnlichkeit, um sich auf die wesentlichen Muster jedes Beispielbildes zu konzentrieren; 3) das Lernen aus einer Supervisions-Signals, um explizite Einschränkungen auf die Matching-Ergebnisse zu legen. Umfassende Experimente auf dem jüngsten CAC-Datensatz FSC147 zeigen, dass unsere Modelle die state-of-the-art CAC-Methoden deutlich übertrumpfen. Darüber hinaus validieren wir auch die Übertragbarkeit von BMNet und BMNet+ auf einen anderen Datensatz, den CARPK-Datensatz für Fahrzeugzählung. Der Code ist unter tiny.one/BMNet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp