HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Lernen generalisierter Segmentierung für neblige Szenen durch bidirektionale Wellenleitungsleitung

{Theo Gevers ShaoDi You Qi Bi}

Lernen generalisierter Segmentierung für neblige Szenen durch bidirektionale Wellenleitungsleitung

Abstract

Die Entwicklung von Szenen-Semantikmodellen, die sich gut auf neblige Bedingungen verallgemeinern lassen, ist für sicherheitskritische Anwendungen wie autonome Fahrzeuge von entscheidender Bedeutung. Bestehende Methoden erfordern sowohl annotierte klare Bilder als auch neblige Bilder, um ein Curriculum-Domain-Adaptations-Modell zu trainieren. Leider können diese Ansätze nur auf solche nebligen Domänen generalisieren, die bereits während des Trainings gesehen wurden, während die nebligen Domänen hinsichtlich sowohl der urbanen Szenenstile als auch der Neblenarten stark variieren. In diesem Artikel schlagen wir vor, eine Szenen-Segmentierung zu lernen, die sich unter dem Rahmenbedingungen der Domänen-Verallgemeinerung gut auf neblige Szenen verallgemeinern lässt, wobei im Trainingsstadium keinerlei neblige Bilder verwendet werden und die Methode dennoch auf beliebige, bisher nicht gesehene neblige Szenen generalisieren kann. Wir argumentieren, dass ein ideales Segmentierungsmodell, das sich gut auf neblige Szenen verallgemeinern lässt, gleichzeitig die Inhaltserhaltung fördern, den urbanen Szenenstil entkoppeln und den Neblenstil entkoppeln muss. Da der Inhalt (z. B. Szenen-Semantik) vor allem in niedrigen Frequenzmerkmalen liegt, während der Stil urbaner Szenen und der Neblenstil vor allem in hohen Frequenzmerkmalen repräsentiert sind, schlagen wir eine neuartige bidirektionale Wellenleitungsmechanismus (Bi-directional Wavelet Guidance, BWG) vor, um diese drei Ziele auf eine getrennt-und-beherrsche-Weise zu erreichen. Mit Hilfe der Haar-Wavelet-Transformation wird der Niederfrequenzanteil auf die Inhaltserhaltung durch selbst-Attention fokussiert, während der Hochfrequenzanteil zur Entkoppelung des Stils und des Neblens auf die Stil- und Neblen-Attention übertragen wird. Der Mechanismus wird lernbar in bestehende Mask-Level-Transformer-Segmentierungs-Pipelines integriert. Umfassende Experimente werden auf vier großen Datensätzen für die Segmentierung nebliger Szenen unter einer Vielzahl interessanter Einstellungen durchgeführt. Die vorgeschlagene Methode übertrifft bestehende direkt überwachte, Curriculum-Domain-Adaptation- und Domain-Generalization-Segmentierungsansätze deutlich. Der Quellcode ist unter https://github.com/BiQiWHU/BWG verfügbar.

Benchmarks

BenchmarkMethodikMetriken
domain-adaptation-on-cityscapes-toBWG
mIoU: 51.3
domain-adaptation-on-cityscapes-to-1BWG
mIoU: 54.2

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen generalisierter Segmentierung für neblige Szenen durch bidirektionale Wellenleitungsleitung | Forschungsarbeiten | HyperAI