Hyperkomplexe Bild-zu-Bild-Übersetzung

Die Bild-zu-Bild-Übersetzung (Image-to-Image Translation, I2I) zielt darauf ab, die Inhaltsdarstellung aus einem Eingabedomain in einen Zielbereich zu übertragen, wobei dabei unterschiedliche Zieldomains berücksichtigt werden. Moderne I2I-generierende Modelle, die bei dieser Aufgabe herausragende Ergebnisse erzielen, bestehen aus einer Vielzahl diverser tiefer Netzwerke, die jeweils zehn Millionen oder mehr Parameter aufweisen. Zudem sind Bilder üblicherweise dreidimensional und bestehen aus den RGB-Kanälen; herkömmliche neuronale Modelle berücksichtigen jedoch nicht die Korrelationen zwischen diesen Dimensionen und verlieren dadurch wertvolle Informationen. In diesem Artikel schlagen wir vor, Eigenschaften der hyperkomplexen Algebra zu nutzen, um leichte I2I-generierende Modelle zu definieren, die bestehende Beziehungen zwischen den Bilddimensionen bewahren und somit zusätzliche Eingabedaten ausnutzen können. Auf mehreren I2I-Benchmarks zeigen wir, dass das vorgeschlagene Quaternion StarGANv2 sowie das parametrisierte hyperkomplexe StarGANv2 (PHStarGANv2) die Anzahl der Parameter und den Speicherbedarf reduzieren, ohne die Leistung bei der Domänenübersetzung und die Bildqualität – gemessen an FID- und LPIPS-Scores – zu beeinträchtigen. Der vollständige Quellcode ist unter folgender URL verfügbar: https://github.com/ispamm/HI2I.