Ship in Sight: Diffusion Models für die Schiffsbild-Superresolution

In den letzten Jahren wurden erhebliche Fortschritte im Bereich der Bildgenerierung erzielt, hauptsächlich getrieben durch die wachsende Nachfrage nach hochwertigen Ergebnissen bei verschiedenen Unteraufgaben der Bildgenerierung, wie beispielsweise Inpainting, Rauschunterdrückung und Superresolution. Ein bedeutender Forschungsfokus richtet sich auf die Anwendung von Superresolution-Techniken zur Verbesserung der Qualität von Bildern mit geringer Auflösung. In diesem Kontext untersuchen wir eingehend das Problem der Superresolution von Schiffsbildern, das für die Überwachung von Küsten- und Hafengebieten von entscheidender Bedeutung ist. Wir nutzen die zunehmende Aufmerksamkeit, die textbasierten Bildgenerationsmodellen, insbesondere Diffusionsmodellen, zuteilwird, und profitieren von den bereits durch solche Grundmodelle erlernten Vorwissen. Insbesondere stellen wir eine auf Diffusionsmodellen basierende Architektur vor, die während des Trainings Textbedingungen nutzt und gleichzeitig klassenbewusst ist, um die entscheidenden Details von Schiffen während der Generierung hochaufgelöster Bilder bestmöglich zu bewahren. Aufgrund der Spezifität dieser Aufgabe und der begrenzten Verfügbarkeit von vorgefertigten Datensätzen führen wir außerdem einen großen, annotierten Datensatz von Schiffsbildern ein, der aus Online-Bildern, hauptsächlich von der Website ShipSpotting\footnote{\url{www.shipspotting.com}}, gesammelt wurde. Unser Ansatz erreicht robustere Ergebnisse als bisherige tiefgreifende Lernmodelle für die Superresolution, wie mehrere Experimente belegen. Zudem untersuchen wir, wie dieses Modell nützliche Anwendungen für nachgeschaltete Aufgaben wie Klassifikation und Objekterkennung ermöglicht, wodurch der praktische Nutzen im realen Einsatz hervorgehoben wird. Experimentelle Ergebnisse zeigen die Flexibilität, Zuverlässigkeit und beeindruckende Leistungsfähigkeit des vorgeschlagenen Frameworks im Vergleich zu aktuellen State-of-the-Art-Methoden bei unterschiedlichen Aufgaben. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/LuigiSigillo/ShipinSight.