HyperAIHyperAI

Command Palette

Search for a command to run...

CAR: Klassenbewusste Regularisierungen für die semantische Segmentierung

Ye Huang Di Kang Liang Chen Xuefei Zhe Wenjing Jia Xiangjian He Linchao Bao

Zusammenfassung

Neuere Segmentierungsmethoden wie OCR und CPNet, die neben Pixelmerkmalen auch „Klassenlevel“-Informationen nutzen, haben erheblichen Erfolg bei der Steigerung der Genauigkeit bestehender Netzwerkmodule erzielt. Allerdings wird die extrahierte Klassenlevel-Information lediglich einfach mit den Pixelmerkmalen verkettet, ohne dass sie explizit zur Verbesserung der Lernung von Pixelrepräsentationen genutzt wird. Zudem lernen diese Ansätze weiche Klassenzentren basierend auf groben Maskenvorhersagen, was einer akkumulativen Fehleranfälligkeit ausgesetzt ist. In diesem Artikel schlagen wir daher einen universellen, klassenbewussten Regularisierungsansatz (Class-Aware Regularization, CAR) vor, um während des Merkmalslernens die intra-klassische Varianz zu minimieren und die inter-klassische Distanz zu maximieren, motiviert durch die Tatsache, dass Menschen ein Objekt unabhängig von den anderen Objekten, mit denen es gemeinsam auftritt, erkennen können. Drei neue Verlustfunktionen werden vorgestellt: Die erste fördert kompaktere Klassenrepräsentationen innerhalb jeder Klasse, die zweite maximiert direkt die Distanz zwischen verschiedenen Klassenzentren, und die dritte verstärkt zusätzlich die Distanz zwischen den Klassenzentren und den einzelnen Pixeln. Darüber hinaus wird das Klassenzentrum in unserem Ansatz direkt aus den Ground-Truth-Daten generiert, anstatt aus fehleranfälligen, groben Vorhersagen abgeleitet zu werden. Unser Verfahren kann problemlos in die meisten bestehenden Segmentierungsmodelle während des Trainings integriert werden, einschließlich OCR und CPNet, und verbessert deren Genauigkeit erheblich ohne zusätzlichen Overhead bei der Inferenz. Umfangreiche Experimente und Ablationstudien an mehreren Benchmark-Datensätzen zeigen, dass der vorgeschlagene CAR die Genauigkeit aller Basismodelle um bis zu 2,23 % mIOU steigern kann, wobei eine hervorragende Verallgemeinerungsfähigkeit nachgewiesen wird. Der vollständige Quellcode ist unter https://github.com/edwardyehuang/CAR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp