Kann Stickmuster Intelligent Generieren! Das Visual Computing and Digital Textiles Team Der Wuhan Textile University Veröffentlichte Das Erste Generative Adversarial Network-Modell Für Mehrstichstickerei, Das Von Der Top-Zeitschrift TVCG Angenommen Wurde.
Die Stickerei wurde im Frühlingsgarten angebracht und lockte Pirol an, die sich auf den Weidenzweigen niederließen. Als wichtiger Vertreter des immateriellen Kulturerbes verfügt die Stickkunst meines Landes über eine lange Geschichte und exquisite Handwerkskunst. Handwerker verwenden verschiedene Stiche und farbige Seidenfäden, um Muster mit reichen Motiven auf einem Stück Stickstoff anschaulich darzustellen. Früher waren Sticktechniken kompliziert und mit hohen Anforderungen verbunden. Zur Ausführung waren Handwerker mit Fachwissen und praktischer Erfahrung erforderlich.In den letzten Jahren haben Convolutional Neural Networks (CNNs) leistungsstarke Fähigkeiten bei Aufgaben wie Bildklassifizierung, Objekterkennung, Bildgenerierung und Stilübertragung bewiesen. Forscher haben außerdem begonnen, die Verwendung von CNNs zur Synthese von Stickmerkmalen in Bildern zu untersuchen.
Aufgrund der komplexen Stiche, Texturen und Dreidimensionalität der Stickerei sowie der winzigen Details und unregelmäßigen Muster,Daher unterliegt CNN bei der Anwendung synthetischer Stickfunktionen Einschränkungen. Beispielsweise ist es nicht möglich, unterschiedliche Sticharten vorherzusagen. Dadurch ist es schwierig, Stichfunktionen effektiv zu extrahieren und somit keine stimmigen und natürlichen Stickmuster effektiv zu erzeugen.Daher müssen Designer die Stichart und die entsprechende Farbe manuell auswählen und anpassen. Dieser Vorgang nimmt oft viel Zeit in Anspruch, um den gewünschten Effekt zu erzielen.
In Anbetracht dessenDas Visual Computing and Digital Textiles Team der School of Computer and Artificial Intelligence der Wuhan Textile University hat ein generatives kontradiktorisches Netzwerkmodell MSEmbGAN für Mehrstichstickereien vorgeschlagen. MSEmbGAN verbessert die Genauigkeit wichtiger Aspekte wie Texturrealismus und Farbtreue bei Stickereien und ist das erste generative kontradiktorische Netzwerkmodell auf CNN-Basis, das Stickvorhersagefunktionen erfolgreich vervollständigt.
Die zugehörige Forschung trägt den Titel „MSEmbGAN: Multi-Stitch Embroidery Synthesis via Region-Aware Texture Generation“.Akzeptiert von IEEE Transactions on Visualization and Computer Graphics (TVCG),Professor Sheng Bin von der School of Computer Science and Engineering der Shanghai Jiao Tong University ist der korrespondierende Autor. TVCG ist eine Top-Zeitschrift im Bereich der Computervisualisierung und wird von der China Computer Federation (CCF) als Zeitschrift der Kategorie A geführt.
Forschungshighlights:
* MSEmbGAN ist das erste lernbasierte Modell, das erfolgreich Mehrstich-Stickereibilder mit einer Vielzahl von Stichtexturen und Farben synthetisiert
* Es werden zwei kollaborative Teilnetzwerke vorgeschlagen: eines ist ein regionsbewusstes Netzwerk zur Texturgenerierung, um die Vielfalt der Sticktexturen und die Genauigkeit der Stichmerkmale sicherzustellen; Das andere ist ein Kolorierungsnetzwerk, um die Farbkonsistenz zwischen Eingabe- und Ausgabebildern sicherzustellen.
* Erstellt den größten Mehrnadel-Stickerei-Datensatz und ist auch der erste Stickdatensatz mit detaillierten Anmerkungen zu Einzelnadel- und Mehrnadel-Etiketten
Papieradresse:
https://csai.wtu.edu.cn/TVCG01/index.html
Adresse zum Herunterladen des Datensatzes:
https://go.hyper.ai/Jmj9k
Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:
https://github.com/hyperai/awesome-ai4s
Datensatz: Enthält über 30.000 Bilder, den größten bisher bekannten Stickdatensatz
Die Forscher erstellten mithilfe einer professionellen Sticksoftware (Wilcom 9.0) mehr als 30.000 Bilder, darunter Stickbilder und entsprechende Inhaltsbilder. Und alle Bilder wurden auf eine Auflösung von 256 × 256 skaliert.Der Datensatz zur Mehrstichstickerei wird Open Source sein und anderen Forschern in diesem Forschungsfeld zur Verfügung gestellt.
Es ist erwähnenswert, dassDie Bilder im Datensatz zur Mehrnadelstickerei sind mit 4 Beschriftungen versehen:Sie entsprechen 3 Einnadeltypen und 1 Mehrnadeltyp (Mehrfachstich bezeichnet eine Mischung der 3 Einnadeltypen). Die drei Einzelnadelarten sind Satinstich, Tatamistich und Flachstich.
Dies ist der erste Stickdatensatz, der ausführlich mit Einzelstich- und Mehrstichbeschriftungen versehen ist. Es enthält mehr als 13.000 ausgerichtete Stickbilder und mehr als 17.000 nicht ausgerichtete Bilder. Es handelt sich um den bislang größten bekannten Stickdatensatz.
Die Schritte zum Erstellen eines Stickdatensatzes mit mehreren Stichen sind wie folgt:
* Zeichnen Sie das Inhaltsbild: Vor dem Erstellen der Stickplatte muss der Sticker das Inhaltsbild mit den Stickfarbinformationen als Vorlage zeichnen. Die meisten Inhaltsbilder haben einfache Farben und klare Formen, was die Netzwerkverbindungen beschleunigen kann.
* Nahtdesign: Für Inhaltsbilder mit unterschiedlichen Formen müssen Nähte ausgewählt werden, um jeden Bereich auszufüllen. Der Stickereidesigner wird der Form jedes Bereichs den entsprechenden Stichtyp zuordnen. Darüber hinaus müssen die relevanten Parameter jedes Stichs (wie Abstand und Richtung) sinnvoll eingestellt werden, um nachfolgende Stick-Rendering-Aufgaben zu erleichtern.
* Stickdatensatz erstellen: Stickdesigner verwenden professionelle Sticksoftware (Wilcom 9.0), um Stickmuster zu entwerfen und zu erstellen und die entsprechenden Stickbilder zu rendern.
Modellarchitektur: Enthält zwei Unternetzwerke: ein regionsbewusstes Texturgenerierungsnetzwerk und ein Farbnetzwerk
Das MSEmbGAN-Modell identifiziert zunächst die Sticharten innerhalb des Eingabebildbereichs, generiert basierend auf den identifizierten Sticharten die entsprechende Sticktextur und optimiert schließlich die Gesamtfarbe des Ergebnisses.
Um die oben genannten Funktionen zu erreichen, schlugen die Forscher zwei Teilnetze vor:Dabei handelt es sich um das Region-aware Texture Generation Network (siehe orangefarbenes Kästchen in der Abbildung unten) und das Colorization Network (siehe gelbes Kästchen in der Abbildung unten).
Das regionsbewusste Texturgenerierungsnetzwerk besteht aus einem Stichklassifizierungsmodul (Stitch Classifier, siehe blaues Kästchen in der Abbildung oben) und einem Stich-Latentcode-Generatormodul (Stitch Latent Code Generator, siehe grünes Kästchen in der Abbildung oben).Das regionsbewusste Netzwerk zur Texturgenerierung erkennt mehrere Farbbereiche des Eingabebilds C und generiert basierend auf den Formmerkmalen jedes lokalen Farbbereichs ein Graustufen-Einnadel-Stickbild. Das Unternetzwerk des Farbnetzwerks verfeinert das Gesamtbild weiter, um sicherzustellen, dass die Farbe des generierten Bildes aus Mehrfachstrickgewebe mit der Farbe des Eingabebildes übereinstimmt.
Aufgrund der Komplexität des regionsabhängigen Texturgenerierungsnetzwerks trainierten die Forscher es in zwei Schritten. Der erste Schritt besteht darin, Sticktexturen zu erzeugen. Dabei wird ein Rekonstruktionsnetzwerk verwendet, um möglichst viele ursprüngliche Bildmerkmale beizubehalten. Der zweite Schritt besteht darin, Farbinformationen zu rekonstruieren. Dabei wird eine vorherige Gauß-Verteilung verwendet, um Stickbilder ohne Datensatz zu erzeugen.
Forschungsergebnisse: MSEmbGAN übertrifft die aktuellen modernsten Sticksynthese- und Stilübertragungsmethoden
Um die Leistung des MSEmbGAN-Modells zu beurteilen, führten die Forscher vier Evaluierungen durch: quantitative und qualitative, Umfragen zum Benutzerfeedback und Ablationsexperimente.
Quantitative Auswertung
Bei der quantitativen Auswertung verglichen die Forscher Stilübertragungsmethoden wie Pix2Pix, CycleGAN, MUNIT und DRIT++ basierend auf dem erstellten Datensatz zur Mehrnadelstickerei.Wie in der folgenden Tabelle gezeigt, quantifizierten die Forscher die Vergleichsergebnisse und berechneten die Learned Perceptual Image Patch Similarity (LPIPS) und die Fréchet Inception Distance (FID).
Die Ergebnisse zeigen, dass im Vergleich zu anderen Methoden MSEmbGAN hat eine geringere LPIPS-Distanz, was bedeutet, dass die von MSEmbGAN generierten Stickbilder wahrnehmungsmäßig näher an echten Stickbildern liegen.. Darüber hinaus verwendeten die Forscher FID, um die Merkmalsverteilung der generierten Stickbilder und realen Bilder zu messen, und werteten die FID-Werte aus.Die Ergebnisse zeigen, dass die von MSEmbGAN generierten Stickbilder der Grundwahrheit am nächsten kommen.
Qualitative Bewertung
In einer qualitativen Bewertung verwendeten die Forscher ein regionsbewusstes Texturgenerierungsnetzwerk, um die Authentizität und Farbtreue der Sticktextur aufrechtzuerhalten, sodass die von MSEmbGAN generierten Ergebnisse sehr unterschiedliche Sticktexturen aufweisen.Die Ergebnisse zeigen, dass MSEmbGAN bestehende Methoden sowohl in Bezug auf Textur als auch Farbe übertrifft, d. h. die mit MSEmbGAN generierte Textur kommt der echten Sticktextur näher und die Farbe kommt der Textur des Eingabebilds näher.
Umfrage zum Benutzerfeedback
Um subjektives Feedback von Benutzern zu erhalten, bereiteten die Forscher 14 Bilder vor, die jeweils mit dem MSEmbGAN-Modell und vier weiteren Methoden verarbeitet wurden, und forderten 25 Kandidaten auf, jedem generierten Bild anhand der folgenden Kriterien eine Punktzahl von 1 bis 5 zu geben:
Stickqualität: ob das generierte Bild stickereibezogene Merkmale und lebendige Texturen aufweist
* Farbqualität: die Farbähnlichkeit zwischen dem Eingabebild und dem generierten Bild
* Bildqualität: Grad der Texturverzerrung, Farbverschiebung, Hochfrequenzrauschen und anderer Artefakte
Die Forscher sammelten 5.250 Bewertungen und berechneten den Mittelwert und den Standardfehler für jedes Kriterium.Eine höhere Punktzahl bedeutet, dass das generierte Stickbild eine bessere Qualität hat.Die Einzelheiten sind in der folgenden Tabelle aufgeführt.
Die Ergebnisse zeigen, dassMSEmbGAN übertrifft alle drei Kriterien und seine Gesamtleistung ist stabiler als bei anderen Methoden.
Ablationsexperiment
Darüber hinaus führten die Forscher zwei Ablationsexperimente durch: zunächst, um die Rolle des Stichklassifizierers und des latenten Stichcodegenerators zu überprüfen, und dann, um die Rolle des Farbnetzwerks und der Farbkonsistenzbeschränkungen zu überprüfen.
Wie in der folgenden Abbildung gezeigt, stellt (a) das Eingabebild dar; (b) stellt das Stickbild dar, das durch Entfernen des Stichklassifizierers C(reg) und des verborgenen Codegenerators G(slc) erzeugt wurde; (c) stellt das Stickbild dar, das durch Entfernen des Farbnetzwerks (CN) und der Farbkonsistenzbeschränkung (CC) erzeugt wurde; (d) stellt das mit dem vollständigen MSEmbGAN generierte Stickbild dar.
Die Ablationsergebnisse zeigten, dassDa weder ein Stichklassifizierer noch ein Generator für versteckte Stichcodes vorhanden ist, weisen die vom Netzwerk synthetisierten Stickbilder einen einzigen Texturstil auf und behalten die Merkmale eines Mehrfachstichstils nicht bei. Zweitens ist ein Texturgenerierungsprozess instabil und unregelmäßig.
Wenn die Einschränkungen hinsichtlich Farbnetzwerk und Farbkonsistenz entfernt werden, können die von MSEmbGAN synthetisierten Stickergebnisse die Farbeigenschaften nicht beibehalten, was zu einer offensichtlichen Farbverschiebung führt. Das heißt, es besteht ein großer Unterschied in der Farbverteilung zwischen dem generierten Bild und dem Eingabebild.
Halten Sie an der tiefen Integration von Computertechnologie und Textil- und Bekleidungsindustrie fest und erzielen Sie in vielen Bereichen bemerkenswerte Ergebnisse
Das Visual Computing and Digital Textiles Team der School of Computer and Artificial Intelligence der Wuhan Textile University engagiert sich seit langem in der Forschung in den Bereichen Computer Vision, virtuelle Realität, multimodales Lernen und intelligentes Computing.Wir legen Wert auf die Kombination computerbezogener Technologien mit der Textil- und Bekleidungsindustrie und haben eine Reihe von Ergebnissen in den Bereichen intelligente Wearables, intelligentes Modedesign und -empfehlungen, digitale Stoffzwillinge und intelligentes Computing sowie virtuelle Anproben erzielt.Er hat mehr als 100 wissenschaftliche Artikel in hochrangigen Zeitschriften wie TVCG, IOT, TCE, KBS, WWW und auf von CCF empfohlenen internationalen Konferenzen veröffentlicht. Einige der Forschungsergebnisse des Teams in den letzten Jahren sind wie folgt:
Angesichts der Tatsache, dass bestehende virtuelle Anpassmethoden die Beziehung zwischen dem menschlichen Körper und der Kleidung nicht berücksichtigen, was zu einer Verzerrung der Kleidungstextur führt, schlug das Team ein äußerst realistisches virtuelles 3D-Anpassnetzwerk H3DVT+ vor.Das Netzwerk stellt eine globale Beziehung zwischen Menschen und Kleidung her, kann Kleidung in einem natürlich sitzenden Zustand in eine räumliche Verteilung verformen, die Vorinformationen zur 3D-Form der Kleidung genauer ableiten und ein detailliertes 3D-Modell des menschlichen Körpers erstellen.
Papieradresse:
https://ieeexplore.ieee.org/document/9716786
https://ieeexplore.ieee.org/document/10609455
Im Rahmen der Forschung zu bestehender intelligenter Kleidung, die menschliche physiologische Signale erfasst, schlug das Team eine Methode zur Erfassung menschlicher Atemsignale rund um die Uhr auf der Grundlage flexibler Sensorgeräte vor.Die extrahierten Atemsignale werden zur Echtzeiterkennung von Asthma verwendet und bieten theoretische Unterstützung für die Anwendung intelligenter Gesundheitsfürsorge.
Papieradresse:
https://ieeexplore.ieee.org/abstract/document/10040599
gleichzeitig,Das College-Team entwickelte ein intelligentes Kleidungssystem, das aus mehreren Sensoren besteht.Ordnen Sie die Statusinformationen des menschlichen Körpers in Echtzeit dem 3D-Modell des menschlichen Körpers zu.Realisieren Sie die synchrone Anzeige des menschlichen Körperstatus in der realen Welt und des menschlichen Körpermodellstatus im virtuellen dreidimensionalen Raum.
Papieradresse:
https://ieeexplore.ieee.org/document/9964338/
Das Team kooperiert mit renommierten Universitäten und Forschungseinrichtungen im In- und Ausland. Speziell,Das Team für Visual Computing und digitale Textilien arbeitet seit langem mit dem Team von Professor Sheng Bin an der Shanghai Jiao Tong University an mehreren Projekten in den Bereichen intelligente Textilien und Big Health zusammen und hat mehr als 10 hochrangige Arbeiten veröffentlicht.In den letzten fünf Jahren hat Professor Sheng 69 SCI-Artikel als (Co-)Erst-/Korrespondenzautor in Nature Medicine, Nature Communications, Science Bulletin, IJCV, IEEE TPAMI usw. veröffentlicht.
Auch,Das Team hat in den Bereichen natürliche Sprachverarbeitung, intelligente Modeempfehlungen, multimodales Lernen und große Modelle eng mit Universitäten und Forschungseinrichtungen wie der Hong Kong Polytechnic University, der University of Wollongong in Australien, der Singapore Science and Technology Agency und der Renmin University of China zusammengearbeitet.