HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Interaktives Lernen von intrinsischen und extrinsischen Eigenschaften für die All-Day-Semantische Segmentierung

{Theo Gevers ShaoDi You Qi Bi}

Abstract

Die Szenenerscheinung ändert sich im Laufe des Tages stark. Bestehende Methoden zur semantischen Segmentierung konzentrieren sich hauptsächlich auf gut beleuchtete Tageszeiten und sind nicht ausreichend darauf ausgelegt, solch erhebliche Erscheinungsänderungen zu bewältigen. Eine naive Anwendung von Domain-Adaptation löst dieses Problem nicht, da sie in der Regel eine feste Abbildung zwischen Quell- und Zielbereich lernt und daher eine begrenzte Generalisierbarkeit für alltägliche Szenarien (d. h. von Dämmerung bis in die Nacht) aufweist.In diesem Paper greifen wir diesen Herausforderung im Gegensatz zu bestehenden Ansätzen von der Perspektive der Bildformulierung selbst an, wobei die Bilderscheinung sowohl durch intrinsische Eigenschaften (z. B. semantische Kategorie, Struktur) als auch durch extrinsische Eigenschaften (z. B. Beleuchtung) bestimmt wird. Dazu schlagen wir eine neuartige interaktive Lernstrategie für intrinsische und extrinsische Darstellungen vor. Der zentrale Ansatz besteht darin, während des Lernprozesses eine Wechselwirkung zwischen intrinsischen und extrinsischen Darstellungen unter räumlicher Guidance zu ermöglichen. Auf diese Weise wird die intrinsische Darstellung stabiler, während die extrinsische Darstellung besser in der Lage ist, Veränderungen zu erfassen. Dadurch entsteht eine verfeinerte Bildrepräsentation, die robuster für die Generierung pixelgenauer Vorhersagen unter alltäglichen Bedingungen ist. Um dies zu erreichen, stellen wir ein end-to-end arbeitendes All-in-One-Segmentierungsnetzwerk (AO-SegNet) vor.Umfangreiche Experimente werden auf drei realen Datensätzen (Mapillary, BDD100K und ACDC) sowie auf unserem vorgeschlagenen synthetischen All-day-CityScapes-Datensatz durchgeführt. Das vorgeschlagene AO-SegNet erreicht gegenüber den aktuellen State-of-the-Art-Methoden erhebliche Leistungsverbesserungen unter Verwendung verschiedener CNN- und ViT-Backbones auf allen Datensätzen.

Benchmarks

BenchmarkMethodikMetriken
all-day-semantic-segmentation-on-all-dayAO-SegNet (Swin-Base)
mIoU: 78.6
semantic-segmentation-on-mapillary-valAO-SegNet
mIoU: 76.0

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Interaktives Lernen von intrinsischen und extrinsischen Eigenschaften für die All-Day-Semantische Segmentierung | Forschungsarbeiten | HyperAI