Peut Générer Des Motifs De Broderie De Manière Intelligente ! L'équipe D'informatique Visuelle Et De Textiles Numériques De L'université Textile De Wuhan a Publié Le Premier Modèle De Réseau Antagoniste Génératif De Broderie Multi-points, Qui a Été Accepté Par La Revue De Renom TVCG.

La broderie a été placée dans le jardin de printemps, attirant les orioles jaunes à se percher sur les branches de saule. En tant que représentant important du patrimoine culturel immatériel, l'art de la broderie de mon pays a une longue histoire et un savoir-faire exquis. Les artisans utilisent différents points et fils de soie colorés pour afficher de manière vivante des motifs aux thèmes riches sur un morceau de tissu à broder. Dans le passé, les techniques de broderie étaient compliquées et avaient un seuil très élevé, nécessitant des artisans dotés de connaissances professionnelles et d'une expérience pratique pour les réaliser.Ces dernières années, les réseaux de neurones convolutifs (CNN) ont démontré de puissantes capacités dans des tâches telles que la classification d’images, la détection d’objets, la génération d’images et le transfert de style. Les chercheurs ont également commencé à explorer l’utilisation des CNN pour synthétiser les caractéristiques de broderie dans les images.

Cependant, en raison des points complexes, des textures et de la tridimensionnalité de la broderie, ainsi que des petits détails et des motifs irréguliers,Par conséquent, CNN présente des limites dans l'application des fonctionnalités de broderie synthétique, telles que l'incapacité à prédire différents types de points, ce qui rend difficile l'extraction efficace des caractéristiques de points et donc l'incapacité de générer efficacement des motifs de broderie cohérents et naturels.Par conséquent, les concepteurs doivent sélectionner et ajuster manuellement le type de couture et la couleur correspondante. Ce processus prend souvent beaucoup de temps pour obtenir l’effet souhaité.

Compte tenu de cela,L'équipe d'informatique visuelle et de textiles numériques de l'École d'informatique et d'intelligence artificielle de l'Université textile de Wuhan a proposé un modèle de réseau antagoniste génératif de broderie multi-points MSEmbGAN. MSEmbGAN améliore la précision d'aspects clés tels que le réalisme des textures et la fidélité des couleurs dans la broderie, devenant ainsi le premier modèle de réseau antagoniste génératif basé sur CNN à compléter avec succès les fonctionnalités de prédiction de broderie.

La recherche connexe est intitulée « MSEmbGAN : synthèse de broderie multi-points via la génération de textures sensibles à la région ».Accepté par IEEE Transactions on Visualization and Computer Graphics (TVCG),Le professeur Sheng Bin de l'École d'informatique et d'ingénierie de l'Université Jiao Tong de Shanghai est l'auteur correspondant. TVCG est une revue de premier plan dans le domaine de la visualisation par ordinateur et est répertoriée comme revue de catégorie A par la Fédération chinoise de l'informatique (CCF).

Points saillants de la recherche :

* MSEmbGAN est le premier modèle basé sur l'apprentissage à synthétiser avec succès des images de broderie multi-points contenant une variété de textures et de couleurs de points

* Deux sous-réseaux collaboratifs sont proposés : l'un est un réseau de génération de textures sensible à la région pour garantir la diversité des textures de broderie et la précision des caractéristiques des points ; l'autre est un réseau de colorisation pour assurer la cohérence des couleurs entre les images d'entrée et de sortie

* Création du plus grand ensemble de données de broderie multi-aiguilles, et c'est également le premier ensemble de données de broderie avec des annotations détaillées des étiquettes à une ou plusieurs aiguilles

Adresse du document :
https://csai.wtu.edu.cn/TVCG01/index.html

Adresse de téléchargement du jeu de données :
https://go.hyper.ai/Jmj9k

Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :

https://github.com/hyperai/awesome-ai4s

Ensemble de données : contient plus de 30 000 images, le plus grand ensemble de données de broderie connu à ce jour

Les chercheurs ont produit plus de 30 000 images, y compris des images de broderie et des images de contenu correspondantes, à l'aide d'un logiciel de broderie professionnel (Wilcom 9.0). Et toutes les images ont été redimensionnées à une résolution de 256 × 256.L'ensemble de données de broderie multi-points sera open source et mis à disposition d'autres chercheurs dans ce domaine de recherche.

Il convient de mentionner queLes images du jeu de données de broderie multi-aiguilles sont annotées avec 4 étiquettes :Ils correspondent à 3 types d'aiguilles simples et 1 type d'aiguilles multiples (Multiple Stitch fait référence à un mélange des 3 types d'aiguilles simples). Les trois types d'aiguilles simples sont le point satin, le point tatami et le point plat.

Il s'agit du premier ensemble de données de broderie annoté en détail avec des étiquettes à point unique et à points multiples. Il comprend plus de 13 000 images de broderie alignées et plus de 17 000 images non alignées. Il s’agit du plus grand ensemble de données de broderie connu à ce jour.

Les étapes pour créer un jeu de données de broderie multi-points sont les suivantes :

* Dessiner l'image du contenu : Avant de réaliser la plaque de broderie, le brodeur doit dessiner l'image du contenu contenant les informations de couleur de broderie comme modèle. La plupart des images de contenu ont des couleurs simples et des formes claires, ce qui peut accélérer les connexions réseau.

* Conception des coutures : pour les images de contenu de différentes formes, des coutures doivent être sélectionnées pour remplir chaque zone. Le créateur de broderie adaptera le type de point approprié à la forme de chaque zone. De plus, les paramètres pertinents de chaque point (tels que l'espacement et la direction) doivent être définis de manière raisonnable pour faciliter les tâches de rendu de broderie ultérieures.

* Créer un ensemble de données de broderie : les concepteurs de broderie utilisent un logiciel de broderie professionnel (Wilcom 9.0) pour concevoir et créer des motifs de broderie et restituer les images de broderie correspondantes.

Architecture du modèle : contient deux sous-réseaux : un réseau de génération de texture sensible à la région et un réseau de coloration

Le modèle MSEmbGAN identifie d'abord les types de points dans la zone d'image d'entrée, génère la texture de broderie correspondante en fonction des types de points identifiés et optimise enfin la couleur globale du résultat.

Afin de réaliser les fonctions ci-dessus, les chercheurs ont proposé deux sous-réseaux :Il s'agit du réseau de génération de textures sensible à la région (voir la case orange dans la figure ci-dessous) et du réseau de colorisation (voir la case jaune dans la figure ci-dessous).

Le réseau de génération de texture sensible à la région se compose d'un module de classification de points (Stitch Classifier, voir la case bleue dans la figure ci-dessus) et d'un module de génération de code latent de points (Stitch Latent Code Generator, voir la case verte dans la figure ci-dessus).Le réseau de génération de texture sensible aux régions détecte plusieurs régions de couleur de l'image d'entrée C et génère une image de broderie à aiguille unique en niveaux de gris en fonction des caractéristiques de forme de chaque région de couleur locale. Le sous-réseau de coloration affine davantage l'image globale pour garantir que la couleur de l'image de tissu multi-tricot générée est cohérente avec la couleur de l'image d'entrée.

En raison de la complexité du réseau de génération de texture sensible à la région, les chercheurs l’ont formé en deux étapes. La première étape consiste à générer des textures de broderie, en utilisant un réseau de reconstruction pour conserver autant de caractéristiques d’image originales que possible ; la deuxième étape consiste à reconstruire les informations de couleur, en utilisant une distribution gaussienne préalable pour générer des images de broderie sans ensemble de données.

Résultats de recherche : MSEmbGAN surpasse les méthodes actuelles de synthèse de broderie et de transfert de style

Pour évaluer les performances du modèle MSEmbGAN, les chercheurs ont mené quatre évaluations : quantitatives et qualitatives, des enquêtes de satisfaction auprès des utilisateurs et des expériences d’ablation.

Évaluation quantitative

Dans l'évaluation quantitative, les chercheurs ont comparé des méthodes de transfert de style telles que Pix2Pix, CycleGAN, MUNIT et DRIT++ sur la base de l'ensemble de données de broderie multi-aiguilles construit.Comme le montre le tableau ci-dessous, les chercheurs ont quantifié les résultats de la comparaison et calculé la similarité des patchs d’images perceptuelles apprises (LPIPS) et la distance d’inception de Fréchet (FID).

Les résultats montrent que par rapport à d’autres méthodes, MSEmbGAN a une distance LPIPS inférieure, ce qui signifie que les images de broderie générées par MSEmbGAN sont perceptuellement plus proches des images de broderie réelles.. De plus, les chercheurs ont utilisé le FID pour mesurer la distribution des caractéristiques des images de broderie générées et des images réelles, et ont évalué les scores FID.Les résultats montrent que les images de broderie générées par MSEmbGAN sont les plus proches de la vérité fondamentale.

Évaluation qualitative

Dans une évaluation qualitative, les chercheurs ont utilisé un réseau de génération de texture sensible à la région pour maintenir l'authenticité et la fidélité des couleurs de la texture de la broderie, ce qui fait que les résultats générés par MSEmbGAN présentent des textures de broderie très diverses.Les résultats montrent que MSEmbGAN surpasse les méthodes existantes en termes de texture et de couleur, c'est-à-dire que la texture générée à l'aide de MSEmbGAN est plus proche de la texture de broderie réelle et la couleur est plus proche de la texture de l'image d'entrée.

Enquête de satisfaction des utilisateurs

Pour obtenir un retour subjectif des utilisateurs, les chercheurs ont préparé 14 images, chacune traitée à l'aide du modèle MSEmbGAN et de quatre autres méthodes, et ont invité 25 candidats à attribuer à chaque image générée une note de 1 à 5 en fonction des critères suivants :

Qualité de la broderie : si l'image générée présente des caractéristiques liées à la broderie et des textures vives

* Qualité des couleurs : la similitude des couleurs entre l'image d'entrée et l'image générée

* Qualité de l'image : le degré de distorsion de la texture, le décalage des couleurs, le bruit haute fréquence et d'autres artefacts

Les chercheurs ont recueilli 5 250 évaluations et calculé la moyenne et l’erreur standard pour chaque critère.Un score plus élevé signifie que l'image de broderie générée a une meilleure qualité.Les détails sont présentés dans le tableau suivant.

Les résultats montrent queMSEmbGAN surpasse les trois critères et ses performances globales sont plus stables que celles des autres méthodes.

Expérience d'ablation

De plus, les chercheurs ont mené deux expériences d'ablation : d'abord pour vérifier le rôle du classificateur de points et du générateur de code latent de points, puis pour vérifier le rôle du réseau de coloration et des contraintes de cohérence des couleurs.

Comme le montre la figure ci-dessous, (a) représente l’image d’entrée ; (b) représente l'image de broderie générée en supprimant le classificateur de points C(reg) et le générateur de code caché G(slc) ; (c) représente l'image de broderie générée en supprimant le réseau de coloration (CN) et la contrainte de cohérence des couleurs (CC) ; (d) représente l'image de broderie générée à l'aide du MSEmbGAN complet.

Les résultats de l'ablation ont montré queEn l'absence d'un classificateur de points et d'un générateur de code de points cachés, les images de broderie synthétisées par le réseau ont un style de texture unique et ne conservent pas les caractéristiques de style multi-points. Deuxièmement, le processus de génération de texture est instable et erratique.

De même, si les contraintes de réseau de coloration et de cohérence des couleurs sont supprimées, les résultats de broderie synthétisés par MSEmbGAN ne peuvent pas conserver les caractéristiques de couleur, ce qui entraîne un décalage de couleur évident. Autrement dit, il existe une énorme différence dans la répartition des couleurs entre l’image générée et l’image d’entrée.

Adhérer à l'intégration profonde de la technologie informatique et de l'industrie textile et du vêtement, et obtenir des résultats remarquables dans de nombreux domaines

L'équipe d'informatique visuelle et de textiles numériques de l'École d'informatique et d'intelligence artificielle de l'Université textile de Wuhan s'engage depuis longtemps dans la recherche dans les domaines de la vision par ordinateur, de la réalité virtuelle, de l'apprentissage multimodal et de l'informatique intelligente.Nous insistons sur la combinaison des technologies informatiques avec l'industrie du textile et du vêtement, et avons obtenu une série de résultats dans les domaines des vêtements intelligents, de la conception et de la recommandation de mode intelligente, des jumeaux numériques en tissu et de l'informatique intelligente, ainsi que de l'essayage virtuel.Il a publié plus de 100 articles académiques dans des revues de haut niveau telles que TVCG, IOT, TCE, KBS, WWW et dans des conférences internationales recommandées par le CCF. Voici quelques-uns des résultats de recherche de l'équipe au cours des dernières années :

Étant donné que les méthodes d’essayage virtuel existantes ne prennent pas en compte la relation entre le corps humain et les vêtements, ce qui entraîne une distorsion de la texture des vêtements, l’équipe a proposé un réseau d’essayage virtuel 3D hautement réaliste, H3DVT+.Le réseau établit une relation globale entre les personnes et les vêtements, peut déformer les vêtements en une distribution spatiale dans un état d'ajustement naturel, déduire plus précisément les informations préalables sur la forme 3D des vêtements et créer un modèle de corps humain 3D détaillé.

Adresse du document :
https://ieeexplore.ieee.org/document/9716786
https://ieeexplore.ieee.org/document/10609455

Dans le cadre de ses recherches sur les vêtements intelligents existants détectant les signaux physiologiques humains, l'équipe a proposé une méthode de détection des signaux respiratoires humains 24 heures sur 24 basée sur un équipement de détection flexible.Les signaux respiratoires extraits sont utilisés pour la détection en temps réel de l’asthme, fournissant un support théorique pour l’application des soins de santé intelligents.
Adresse du document :
https://ieeexplore.ieee.org/abstract/document/10040599

en même temps,L’équipe du collège a construit un système de vêtements intelligents composé de plusieurs capteurs.Cartographiez les informations sur l'état du corps humain avec le modèle 3D du corps humain en temps réel.Réalisez l'affichage synchrone de l'état du corps humain dans le monde réel et de l'état du modèle du corps humain dans l'espace tridimensionnel virtuel.

Adresse du document :
https://ieeexplore.ieee.org/document/9964338/

L'équipe coopère avec des universités et des instituts de recherche de haut niveau au pays et à l'étranger. Spécifiquement,L'équipe Visual Computing and Digital Textiles coopère depuis longtemps avec l'équipe du professeur Sheng Bin de l'Université Jiao Tong de Shanghai sur de multiples projets dans les domaines des textiles intelligents et de la santé, et a publié plus de 10 articles de haut niveau.Au cours des cinq dernières années, le professeur Sheng a publié 69 articles SCI en tant que (co-)premier auteur/auteur correspondant dans Nature Medicine, Nature Communications, Science Bulletin, IJCV, IEEE TPAMI, etc.

aussi,L'équipe a mené une coopération approfondie avec des universités et des instituts de recherche tels que l'Université polytechnique de Hong Kong, l'Université de Wollongong en Australie, l'Agence des sciences et technologies de Singapour et l'Université Renmin de Chine dans les domaines du traitement du langage naturel, des recommandations de mode intelligentes, de l'apprentissage multimodal et des grands modèles.