HyperAIHyperAI

Command Palette

Search for a command to run...

WinCLIP: Zero- und Few-Shot Anomalie-Klassifikation und -Segmentierung

Jongheon Jeong Yang Zou Taewan Kim Dongqing Zhang Avinash Ravichandran Onkar Dabeer

Zusammenfassung

Visuelle Anomalieklassifikation und -segmentierung sind entscheidend für die Automatisierung industrieller Qualitätsprüfungen. Die vorangegangene Forschung konzentrierte sich darauf, für jede Qualitätsprüfungsaufgabe spezifische Modelle zu trainieren, was Aufgaben-spezifische Bilder und Annotationen erfordert. In diesem Artikel verlassen wir diesen Ansatz und behandeln Anomalieklassifikation und -segmentierung im Zero-Shot- und Few-Normal-Shot-Szenario. Kürzlich hat CLIP, ein vision-sprachliches Modell, mit herausragender Allgemeingültigkeit und konkurrenzfähiger Leistung im Zero- und Few-Shot-Bereich im Vergleich zu vollständig überwachten Ansätzen revolutionäre Fortschritte gezeigt. Dennoch erweist sich CLIP bei Anomalieklassifikations- und -segmentierungsaufgaben als unzureichend. Daher schlagen wir WinCLIP vor – ein fensterbasiertes CLIP-Modell mit (1) einer kompositorischen Ensemble-Strategie auf Basis von Zustandsbeschreibungen und Prompt-Vorlagen sowie (2) einer effizienten Extraktion und Aggregation von Fenster-/Patch-/Bild-Ebenen-Features, die mit Textinformationen ausgerichtet sind. Außerdem führen wir die Erweiterung WinCLIP+ für das Few-Normal-Shot-Szenario ein, das ergänzende Informationen aus normalen Bildern nutzt. Auf MVTec-AD (bzw. VisA) erreicht WinCLIP ohne weitere Feinabstimmung eine AUROC von 91,8 %/85,1 % (78,1 %/79,6 %) bei Zero-Shot-Anomalieklassifikation und -segmentierung, während WinCLIP+ bei 1-Normal-Shot eine AUROC von 93,1 %/95,2 % (83,8 %/96,4 %) erreicht und damit die derzeitigen State-of-the-Art-Methoden deutlich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp