Explizites visuelles Anstoßen für universelle Vordergrundsegmentierungen

Vordergrundsegmentierung ist ein grundlegendes Problem der Computer Vision, das die Erkennung von auffälligen Objekten, Fälschungen, Defokus-Verwischung, Schatten und Tarnobjekten umfasst. Frühere Arbeiten haben in der Regel auf domänenspezifische Lösungen zurückgegriffen, um Genauigkeits- und Robustheitsprobleme in diesen Anwendungen zu bewältigen. In dieser Arbeit präsentieren wir ein einheitliches Framework für eine Reihe von Vordergrundsegmentierungsaufgaben ohne spezifische Taskdesigns. Wir schöpfen Inspiration aus den weit verbreiteten Protokollen des vorab trainierten Modells und anschließenden Prompt-Tuning im Bereich der NLP und schlagen ein neues visuelles Prompting-Modell vor, das als Explicit Visual Prompting (EVP) bezeichnet wird. Im Gegensatz zum früheren visuellen Prompting, das in der Regel eine implizite Einbettung auf Datensatzebene darstellt, liegt unser Kerngedanke darin, die anpassbaren Parameter auf den expliziten visuellen Inhalt jedes einzelnen Bildes zu fokussieren, d.h. die Merkmale von festgelegten Patch-Einbettungen und hochfrequenten Komponenten. Unsere Methode friert ein vorab trainiertes Modell ein und lernt dann taskspezifisches Wissen mit wenigen zusätzlichen Parametern. Trotz der Einführung nur einer geringen Anzahl an anpassbaren Parametern übertrifft EVP die Leistung vollständiger Feinabstimmung und anderer parameter-effizienter Feinabstimmungsverfahren. Experimente mit vierzehn Datensätzen über fünf Aufgaben zeigen, dass die vorgeschlagene Methode andere taskspezifische Methoden bei erheblich größerer Einfachheit übertreffen kann. Die vorgeschlagene Methode zeigt Skalierbarkeit in verschiedenen Architekturen, vorab trainierten Gewichten und Aufgaben. Der Code ist unter folgender URL verfügbar: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.