Repräsentieren, Vergleichen und Lernen: Ein ähnlichkeitsbewusstes Framework für klassenunabhängiges Zählen

Klassenunabhängiges Zählen (Class-agnostic Counting, CAC) zielt darauf ab, die Anzahl aller Instanzen in einem Abfragebild zu schätzen, basierend auf wenigen Beispielbildern. Ein gängiger Ansatz besteht darin, visuelle Merkmale aus den Beispielbildern zu extrahieren und diese mit dem Abfragebild zu vergleichen, um die Objektanzahl abzuleiten. Zwei zentrale Komponenten in diesem Prozess sind die Merkmalsdarstellung und die Ähnlichkeitsmetrik. Bisherige Methoden nutzen entweder ein vortrainiertes Netzwerk zur Merkmalsrepräsentation oder lernen eine neue Darstellung, wobei jedoch eine einfache Ähnlichkeitsmetrik mit festem Inner Product angewendet wird. Wir stellen fest, dass dieses Paradigma zu verrauschten Ähnlichkeitsvergleichen führt und somit die Zählgenauigkeit beeinträchtigt. In dieser Arbeit präsentieren wir einen Ähnlichkeitsbewussten CAC-Framework, der Merkmalsdarstellung und Ähnlichkeitsmetrik gemeinsam lernt. Zunächst implementieren wir unseren Ansatz anhand einer einfachen Baseline namens Bilinear Matching Network (BMNet), deren zentrale Komponente eine lernbare bilineare Ähnlichkeitsmetrik ist. Um die Kernidee unseres Frameworks weiter zu verdeutlichen, erweitern wir BMNet zu BMNet+, das die Ähnlichkeit aus drei Aspekten modelliert: 1) die Repräsentation der Instanzen über deren Selbstähnlichkeit, um die Robustheit der Merkmale gegenüber intra-klassischen Variationen zu erhöhen; 2) einen dynamischen Vergleich der Ähnlichkeit, um sich auf die wesentlichen Muster jedes Beispielbildes zu konzentrieren; 3) das Lernen aus einer Supervisions-Signals, um explizite Einschränkungen auf die Matching-Ergebnisse zu legen. Umfassende Experimente auf dem jüngsten CAC-Datensatz FSC147 zeigen, dass unsere Modelle die state-of-the-art CAC-Methoden deutlich übertrumpfen. Darüber hinaus validieren wir auch die Übertragbarkeit von BMNet und BMNet+ auf einen anderen Datensatz, den CARPK-Datensatz für Fahrzeugzählung. Der Code ist unter tiny.one/BMNet verfügbar.