Traduction d’images hypercomplexe d’image à image

La traduction image à image (I2I) vise à transférer la représentation du contenu d’un domaine d’entrée vers un domaine de sortie, en s’adaptant à différents domaines cibles. Les modèles génératifs récents de I2I, qui obtiennent des résultats remarquables sur cette tâche, reposent sur un ensemble de réseaux profonds diversifiés, chacun comportant des dizaines de millions de paramètres. En outre, les images sont généralement tridimensionnelles, composées de canaux RGB, et les modèles neuronaux classiques ne prennent pas en compte les corrélations entre ces dimensions, entraînant ainsi une perte d’informations pertinentes. Dans cet article, nous proposons d’exploiter les propriétés de l’algèbre hypercomplexes afin de définir des modèles génératifs I2I légers capables de préserver les relations existantes entre les dimensions des images, permettant ainsi d’exploiter davantage les informations d’entrée. Sur plusieurs benchmarks I2I manifolds, nous démontrons que les modèles proposés, à savoir Quaternion StarGANv2 et StarGANv2 hypercomplexe paramétrable (PHStarGANv2), réduisent significativement le nombre de paramètres et la consommation de mémoire tout en assurant des performances élevées en traduction de domaine et une qualité d’image satisfaisante, mesurée par les scores FID et LPIPS. Le code complet est disponible à l’adresse suivante : https://github.com/ispamm/HI2I.