HyperAIHyperAI

Command Palette

Search for a command to run...

Matcher: Segment Anything with One Shot Using All-Purpose Feature Matching

Yang Liu Muzhi Zhu Hengtao Li Hao Chen Xinlong Wang Chunhua Shen

Zusammenfassung

Angetrieben durch großskaliges Vortrainieren zeigen visuelle Grundmodelle erhebliches Potenzial für die Bildverstehensaufgaben in offenen Welten. Im Gegensatz zu großen Sprachmodellen, die direkt verschiedene Sprachaufgaben effizient bewältigen können, erfordern visuelle Grundmodelle eine auf die jeweilige Aufgabe zugeschnittene Modellarchitektur, gefolgt von einer Feinabstimmung auf spezifische Aufgaben. In dieser Arbeit präsentieren wir Matcher, ein neuartiges Wahrnehmungsparadigma, das kommerziell erhältliche visuelle Grundmodelle nutzt, um eine Vielzahl von Wahrnehmungsaufgaben zu lösen. Matcher kann jedes Objekt segmentieren, indem es ein Kontextbeispiel nutzt, ohne dass ein Training erforderlich ist. Darüber hinaus entwickeln wir drei effektive Komponenten innerhalb des Matcher-Rahmens, die mit diesen Grundmodellen kooperieren und ihr volles Potenzial in vielfältigen Wahrnehmungsaufgaben entfalten. Matcher zeigt beeindruckende Generalisierungsfähigkeit bei verschiedenen Segmentierungsaufgaben – alles ohne Training. Beispielsweise erreicht es auf COCO-20i^ii bei Verwendung eines einzigen Beispiels eine mIoU von 52,7 %, was die state-of-the-art-Spezialistenmodelle um 1,6 % schlägt. Zudem erzielt Matcher auf dem vorgeschlagenen LVIS-92i^ii für die One-Shot-Semantische Segmentierung eine mIoU von 33,0 %, was die state-of-the-art-Allzweckmodelle um 14,4 % übertrifft. Unsere Visualisierungsergebnisse demonstrieren zudem die Offenwelt-Generizität und Flexibilität von Matcher bei der Anwendung auf Bilder aus der realen Welt. Der Quellcode ist unter https://github.com/aim-uofa/Matcher verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Matcher: Segment Anything with One Shot Using All-Purpose Feature Matching | Paper | HyperAI