Bild-zu-Bild-Übersetzung mit bedingten adversären Netzen

Wir untersuchen bedingte adversarische Netzwerke als allgemeine Lösung für Bild-zu-Bild-Übersetzungsaufgaben. Diese Netzwerke lernen nicht nur die Abbildung von Eingangs- zu Ausgangsbildern, sondern auch eine Verlustfunktion, um diese Abbildung zu trainieren. Dies ermöglicht es, den gleichen generischen Ansatz auf Probleme anzuwenden, die traditionell sehr unterschiedliche Verlustformulierungen erfordert hätten. Wir zeigen, dass dieser Ansatz effektiv ist, um Fotos aus Belegkarten zu synthetisieren, Objekte aus Kantendetektionskarten zu rekonstruieren und Bilder zu färben, unter anderem Aufgaben. Tatsächlich haben seit der Veröffentlichung der mit diesem Artikel verbundenen pix2pix-Software viele Internetnutzer (viele davon Künstler) ihre eigenen Experimente mit unserem System veröffentlicht, was seine weitreichende Anwendbarkeit und einfache Adaption ohne Parameteranpassung weiter belegt. Als Gemeinschaft entwerfen wir unsere Abbildungsfunktionen nicht mehr manuell, und diese Arbeit deutet darauf hin, dass wir auch ohne manuelle Anpassung unserer Verlustfunktionen zufriedenstellende Ergebnisse erzielen können.