CAR: Klassenbewusste Regularisierungen für die semantische Segmentierung

Neuere Segmentierungsmethoden wie OCR und CPNet, die neben Pixelmerkmalen auch „Klassenlevel“-Informationen nutzen, haben erheblichen Erfolg bei der Steigerung der Genauigkeit bestehender Netzwerkmodule erzielt. Allerdings wird die extrahierte Klassenlevel-Information lediglich einfach mit den Pixelmerkmalen verkettet, ohne dass sie explizit zur Verbesserung der Lernung von Pixelrepräsentationen genutzt wird. Zudem lernen diese Ansätze weiche Klassenzentren basierend auf groben Maskenvorhersagen, was einer akkumulativen Fehleranfälligkeit ausgesetzt ist. In diesem Artikel schlagen wir daher einen universellen, klassenbewussten Regularisierungsansatz (Class-Aware Regularization, CAR) vor, um während des Merkmalslernens die intra-klassische Varianz zu minimieren und die inter-klassische Distanz zu maximieren, motiviert durch die Tatsache, dass Menschen ein Objekt unabhängig von den anderen Objekten, mit denen es gemeinsam auftritt, erkennen können. Drei neue Verlustfunktionen werden vorgestellt: Die erste fördert kompaktere Klassenrepräsentationen innerhalb jeder Klasse, die zweite maximiert direkt die Distanz zwischen verschiedenen Klassenzentren, und die dritte verstärkt zusätzlich die Distanz zwischen den Klassenzentren und den einzelnen Pixeln. Darüber hinaus wird das Klassenzentrum in unserem Ansatz direkt aus den Ground-Truth-Daten generiert, anstatt aus fehleranfälligen, groben Vorhersagen abgeleitet zu werden. Unser Verfahren kann problemlos in die meisten bestehenden Segmentierungsmodelle während des Trainings integriert werden, einschließlich OCR und CPNet, und verbessert deren Genauigkeit erheblich ohne zusätzlichen Overhead bei der Inferenz. Umfangreiche Experimente und Ablationstudien an mehreren Benchmark-Datensätzen zeigen, dass der vorgeschlagene CAR die Genauigkeit aller Basismodelle um bis zu 2,23 % mIOU steigern kann, wobei eine hervorragende Verallgemeinerungsfähigkeit nachgewiesen wird. Der vollständige Quellcode ist unter https://github.com/edwardyehuang/CAR verfügbar.