Traduction d'images à l'aide de réseaux adverses conditionnels

Nous examinons les réseaux adversariaux conditionnels comme une solution polyvalente aux problèmes de traduction d'image à image. Ces réseaux apprennent non seulement la correspondance entre l'image d'entrée et l'image de sortie, mais également une fonction de perte pour entraîner cette correspondance. Cela permet d'appliquer la même approche générique à des problèmes qui, traditionnellement, nécessiteraient des formulations de fonctions de perte très différentes. Nous démontrons que cette approche est efficace pour synthétiser des photos à partir de cartes d'étiquettes, reconstruire des objets à partir de cartes de contours, et coloriser des images, parmi d'autres tâches. En effet, depuis la publication du logiciel pix2pix associé à cet article, un grand nombre d'utilisateurs internet (dont beaucoup sont des artistes) ont partagé leurs propres expériences avec notre système, ce qui illustre davantage sa grande applicabilité et sa facilité d'adoption sans besoin d'ajustement des paramètres. En tant que communauté, nous n'ingénierisons plus nos fonctions de correspondance manuellement, et ce travail suggère que nous pouvons obtenir des résultats satisfaisants sans ingénierie manuelle de nos fonctions de perte non plus.