Kontextuelle Residual-Aggregation für die Inpainting von ultrahochauflösenden Bildern

Kürzlich haben datengetriebene Methoden zur Bildinpainting beeindruckende Fortschritte erzielt und grundlegende Bildbearbeitungsaufgaben wie Objektentfernung und Reparatur beschädigter Bilder maßgeblich beeinflusst. Diese Ansätze sind effektiver als klassische Verfahren, doch aufgrund von Speicherbeschränkungen können sie nur Eingabebilder mit geringer Auflösung verarbeiten, typischerweise unter 1K. Gleichzeitig steigt die Auflösung von Fotos, die mit mobilen Geräten aufgenommen werden, bis zu 8K. Eine naive Upsampling des geringaufgelösten inpainted Ergebnisses führt lediglich zu einem großen, aber verschwommenen Bild. Im Gegensatz dazu ermöglicht die Addition eines hochfrequenten Residuums zum großformatigen, verschwommenen Bild eine scharfe Wiedergabe mit reichhaltigen Details und Texturen. Ausgehend von diesem Ansatz schlagen wir eine Contextual Residual Aggregation (CRA)-Mechanismus vor, der hochfrequente Residuen für fehlende Inhalte durch gewichtete Aggregation von Residuen aus kontextuellen Patchen erzeugt. Dadurch ist lediglich eine Niedrigauflösungsvorhersage durch das Netzwerk erforderlich. Da die Faltungsoperationen im neuronalen Netzwerk nur mit niedrigauflösenden Eingaben und Ausgaben arbeiten müssen, wird der Speicher- und Rechenaufwand effektiv reduziert. Zudem wird der Bedarf an hochauflösenden Trainingsdatensätzen deutlich verringert. In unseren Experimenten trainieren wir das vorgeschlagene Modell auf kleinen Bildern mit einer Auflösung von 512×512 und führen die Inferenz auf hochauflösenden Bildern durch, wodurch eine überzeugende Inpainting-Qualität erzielt wird. Unser Modell kann Bilder bis zu einer Auflösung von 8K mit erheblich großen Löchern verarbeiten, was mit früheren lernbasierten Ansätzen nicht möglich war. Darüber hinaus erläutern wir die leichtgewichtige Gestaltung der Netzwerkarchitektur, die eine Echtzeit-Leistung auf 2K-Bildern auf einer GTX 1080 Ti GPU ermöglicht. Der Quellcode ist verfügbar unter: Atlas200dk/sample-imageinpainting-HiFill.