HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Punkt-Segmentierung und Zählung: Ein verallgemeinerter Rahmen für die Objektzählung

{Hongming Shan Junping Zhang Yi Zhang Mingliang Dai Zhizhong Huang}

Punkt-Segmentierung und Zählung: Ein verallgemeinerter Rahmen für die Objektzählung

Abstract

Die klassenunabhängige Objektzählung zielt darauf ab, alle Objekte in einem Bild basierend auf Beispielboxen oder Klassenbezeichnungen zu zählen, auch bekannt als Few-Shot- und Zero-Shot-Zählung. In diesem Artikel stellen wir einen verallgemeinerten Rahmen für sowohl Few-Shot- als auch Zero-Shot-Objektzählung vor, der auf Detektion basiert. Unser Ansatz kombiniert die überlegenen Vorteile zweier Grundmodelle, ohne deren Zero-Shot-Fähigkeit zu beeinträchtigen: (i) SAM zur Segmentierung aller möglichen Objekte als Masken-Vorschläge und (ii) CLIP zur Klassifikation dieser Vorschläge, um präzise Objektzahlen zu erhalten. Dieser Ansatz stößt jedoch auf Herausforderungen hinsichtlich der Effizienz und der Erkennung kleiner, dicht beieinander liegender Objekte, die nicht lokalisiert oder voneinander unterschieden werden können. Um diese Probleme zu lösen, folgt unser Framework, PseCo, drei Schritten: Punkt-Segmentierung und Zählung. Konkret schlagen wir zunächst eine klassenunabhängige Objektlkalisation vor, die präzise, aber minimale Punktprompts für SAM bereitstellt. Dadurch wird nicht nur der Rechenaufwand reduziert, sondern auch das Risiko, kleine Objekte zu übersehen, vermieden. Darüber hinaus entwickeln wir eine verallgemeinerte Objektklassifikation, die CLIP-Bild-/Text-Embeddings als Klassifikator nutzt und hierarchische Wissensübertragung (hierarchical knowledge distillation) anwendet, um diskriminative Klassifikationen zwischen hierarchisch strukturierten Masken-Vorschlägen zu erzielen. Umfassende experimentelle Ergebnisse auf den Datensätzen FSC-147, COCO und LVIS zeigen, dass PseCo sowohl in der Few-Shot- als auch in der Zero-Shot-Objektzählung und -Detektion die derzeit beste Leistung erzielt.

Benchmarks

BenchmarkMethodikMetriken
few-shot-object-counting-and-detection-onPSECO
AP(test): 42.98
AP50(test): 73.33
MAE(test): 13.05
RMSE(test): 112.86

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Punkt-Segmentierung und Zählung: Ein verallgemeinerter Rahmen für die Objektzählung | Forschungsarbeiten | HyperAI