Punkt-Segmentierung und Zählung: Ein verallgemeinerter Rahmen für die Objektzählung

Die klassenunabhängige Objektzählung zielt darauf ab, alle Objekte in einem Bild basierend auf Beispielboxen oder Klassenbezeichnungen zu zählen, auch bekannt als Few-Shot- und Zero-Shot-Zählung. In diesem Artikel stellen wir einen verallgemeinerten Rahmen für sowohl Few-Shot- als auch Zero-Shot-Objektzählung vor, der auf Detektion basiert. Unser Ansatz kombiniert die überlegenen Vorteile zweier Grundmodelle, ohne deren Zero-Shot-Fähigkeit zu beeinträchtigen: (i) SAM zur Segmentierung aller möglichen Objekte als Masken-Vorschläge und (ii) CLIP zur Klassifikation dieser Vorschläge, um präzise Objektzahlen zu erhalten. Dieser Ansatz stößt jedoch auf Herausforderungen hinsichtlich der Effizienz und der Erkennung kleiner, dicht beieinander liegender Objekte, die nicht lokalisiert oder voneinander unterschieden werden können. Um diese Probleme zu lösen, folgt unser Framework, PseCo, drei Schritten: Punkt-Segmentierung und Zählung. Konkret schlagen wir zunächst eine klassenunabhängige Objektlkalisation vor, die präzise, aber minimale Punktprompts für SAM bereitstellt. Dadurch wird nicht nur der Rechenaufwand reduziert, sondern auch das Risiko, kleine Objekte zu übersehen, vermieden. Darüber hinaus entwickeln wir eine verallgemeinerte Objektklassifikation, die CLIP-Bild-/Text-Embeddings als Klassifikator nutzt und hierarchische Wissensübertragung (hierarchical knowledge distillation) anwendet, um diskriminative Klassifikationen zwischen hierarchisch strukturierten Masken-Vorschlägen zu erzielen. Umfassende experimentelle Ergebnisse auf den Datensätzen FSC-147, COCO und LVIS zeigen, dass PseCo sowohl in der Few-Shot- als auch in der Zero-Shot-Objektzählung und -Detektion die derzeit beste Leistung erzielt.