HyperAIHyperAI

Command Palette

Search for a command to run...

ShadowFormer: Globale Kontextinformationen unterstützen die Entfernung von Bildschatten

Lanqing Guo Siyu Huang Ding Liu Hao Cheng Bihan Wen

Zusammenfassung

Neuere Methoden des tiefen Lernens haben vielversprechende Ergebnisse bei der Entfernung von Bildschatten erzielt. Dennoch konzentrieren sich die meisten bestehenden Ansätze auf lokale Bereiche innerhalb von Schatten- und Nicht-Schattenregionen, was zu schwerwiegenden Artefakten an den Schattenrändern sowie zu inkonsistentem Beleuchtungseffekt zwischen Schatten- und Nicht-Schattenregionen führt. Es ist weiterhin eine Herausforderung für Modelle zur tiefen Schattenentfernung, die globale kontextuelle Korrelation zwischen Schatten- und Nicht-Schattenregionen auszunutzen. In dieser Arbeit schlagen wir zunächst ein Retinex-basiertes Schattenmodell vor, aus dem wir ein neuartiges transformerbasiertes Netzwerk ableiten, das als "ShandowFormer" bezeichnet wird, um Nicht-Schattenregionen zu nutzen, die der Restauration von Schattenregionen helfen. Ein mehrskaliger Kanal-Aufmerksamkeitsrahmen wird eingesetzt, um die globale Information hierarchisch zu erfassen. Auf dieser Grundlage entwickeln wir ein Schatten-Interaktionsmodul (SIM) mit Schatten-Interaktionsaufmerksamkeit (SIA) im Flaschenhalsbereich, um die Kontextkorrelation zwischen Schatten- und Nicht-Schattenregionen effektiv zu modellieren. Wir führen umfangreiche Experimente auf drei gängigen öffentlichen Datensätzen durch, einschließlich ISTD, ISTD+ und SRD, um die vorgeschlagene Methode zu evaluieren. Unsere Methode erreicht den aktuellen Stand der Technik durch die Verwendung von bis zu 150-mal weniger Modellparametern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp