지능적으로 자수 패턴을 생성할 수 있습니다! 우한 섬유대학 시각 컴퓨팅 및 디지털 섬유팀은 세계 최고 저널 TVCG에 채택된 최초의 다중 스티치 자수 생성적 적대 네트워크 모델을 발표했습니다.

자수는 봄 정원에 놓이게 되어 노란 황새가 버드나무 가지에 앉게 됩니다. 우리나라의 자수예술은 무형문화유산의 중요한 대표로서 오랜 역사와 뛰어난 장인정신을 가지고 있습니다. 장인들은 다양한 스티치와 색깔 있는 실크 실을 사용해 자수 천에 풍부한 주제의 패턴을 생생하게 표현합니다. 과거에는 자수기술이 복잡하고 난이도가 매우 높아, 완성하기 위해서는 전문적인 지식과 실무 경험을 갖춘 장인이 필요했습니다.최근 몇 년 동안, 합성곱 신경망(CNN)은 이미지 분류, 객체 감지, 이미지 생성, 스타일 전송과 같은 작업에서 강력한 성능을 보여주었습니다. 연구자들은 또한 CNN을 사용하여 이미지 속 자수 특징을 합성하는 방법을 연구하기 시작했습니다.

그러나 자수의 복잡한 스티치, 질감, 입체감, 그리고 미세한 디테일과 불규칙한 패턴으로 인해따라서 CNN은 합성 자수 특징을 적용하는 데 한계가 있습니다. 예를 들어 다양한 스티치 유형을 예측할 수 없고, 스티치 특징을 효과적으로 추출하기 어렵고, 결과적으로 일관되고 자연스러운 자수 패턴을 효과적으로 생성할 수 없습니다.따라서 디자이너는 스티칭 유형과 해당 색상을 직접 선택하고 조정해야 합니다. 이 과정은 원하는 효과를 얻기까지 많은 시간이 걸리는 경우가 많습니다.

이를 고려하여,우한 섬유대학 컴퓨터 및 인공지능 학부의 시각 컴퓨팅 및 디지털 섬유 팀은 다중 스티치 자수 생성적 적대 네트워크 모델인 MSEmbGAN을 제안했습니다. MSEmbGAN은 자수의 질감 사실성, 색상 충실도와 같은 핵심 측면의 정확도를 개선하여 CNN을 기반으로 자수 예측 기능을 성공적으로 완성한 최초의 생성적 적대 네트워크 모델이 되었습니다.

관련 연구의 제목은 "MSEmbGAN: 영역 인식 텍스처 생성을 통한 다중 스티치 자수 합성"입니다.IEEE 시각화 및 컴퓨터 그래픽(TVCG) 거래에 승인됨상하이 교통대학교 컴퓨터 과학 및 공학부의 성빈 교수가 이 논문의 책임 저자입니다. TVCG는 컴퓨터 시각화 분야의 최고 저널이며, 중국컴퓨터연맹(CCF)에서 A등급 저널로 선정되었습니다.

연구 하이라이트:

* MSEmbGAN은 다양한 스티치 질감과 색상을 포함하는 멀티 스티치 자수 이미지를 성공적으로 합성한 최초의 학습 기반 모델입니다.

* 두 개의 협업 하위 네트워크가 제안되었습니다. 하나는 자수 질감의 다양성과 스티치 기능의 정확성을 보장하기 위한 지역 인식 질감 생성 네트워크입니다. 다른 하나는 입력 및 출력 이미지 간의 색상 일관성을 보장하는 색상화 네트워크입니다.

* 가장 큰 다중 바늘 자수 데이터 세트를 생성했으며 단일 바늘 및 다중 바늘 라벨에 대한 자세한 주석이 포함된 최초의 자수 데이터 세트이기도 합니다.

서류 주소:
https://csai.wtu.edu.cn/TVCG01/index.html

데이터세트 다운로드 주소:
https://go.hyper.ai/Jmj9k

오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.

https://github.com/hyperai/awesome-ai4s

데이터 세트: 30,000개 이상의 이미지가 포함되어 있으며 지금까지 알려진 가장 큰 자수 데이터 세트입니다.

연구진은 전문 자수 소프트웨어(Wilcom 9.0)를 사용하여 자수 이미지와 해당 콘텐츠 이미지를 포함하여 30,000개 이상의 이미지를 제작했습니다. 모든 이미지의 크기는 256×256 해상도로 조정되었습니다.다중 스티치 자수 데이터 세트는 오픈 소스로 공개되어 이 연구 분야의 다른 연구자들에게 기여될 것입니다.

언급할 가치가 있는 것은 다음과 같습니다.다중 바늘 자수 데이터 세트의 이미지에는 4개의 레이블이 주석으로 달려 있습니다.3가지 단일 바늘 유형과 1가지 다중 바늘 유형에 해당합니다(다중 스티치는 3가지 단일 바늘 유형을 혼합한 것을 말합니다). 단일 바늘 유형에는 새틴 스티치, 타타미 스티치, 플랫 스티치가 있습니다.

이는 단일 스티치와 다중 스티치 라벨이 자세히 주석 처리된 최초의 자수 데이터 세트입니다. 여기에는 13,000개 이상의 정렬된 자수 이미지와 17,000개 이상의 정렬되지 않은 이미지가 포함되어 있습니다. 이는 현재까지 알려진 가장 큰 자수 데이터 세트입니다.

다중 스티치 자수 데이터 세트를 만드는 단계는 다음과 같습니다.

* 내용 이미지 그리기: 자수판을 만들기 전에 자수자는 자수 색상 정보가 담긴 내용 이미지를 템플릿으로 그려야 합니다. 대부분의 콘텐츠 이미지는 색상이 단순하고 모양이 명확하여 네트워크 연결 속도가 빨라질 수 있습니다.

* 솔기 디자인: 다양한 모양의 콘텐츠 이미지의 경우 각 영역을 채우기 위해 솔기를 선택해야 합니다. 자수 디자이너는 각 영역의 모양에 맞는 적절한 스티치 유형을 선택합니다. 또한, 각 스티치의 관련 매개변수(간격, 방향 등)를 합리적으로 설정하여 이후의 자수 렌더링 작업을 용이하게 해야 합니다.

* 자수 데이터세트 만들기: 자수 디자이너는 전문 자수 소프트웨어(Wilcom 9.0)를 사용하여 자수 패턴을 디자인하고 만들고 해당 자수 이미지를 렌더링합니다.

모델 아키텍처: 두 개의 하위 네트워크 포함: 영역 인식 텍스처 생성 네트워크 및 색상 네트워크

MSEmbGAN 모델은 먼저 입력 이미지 영역 내의 스티치 유형을 식별하고, 식별된 스티치 유형을 기반으로 해당 자수 텍스처를 생성한 다음, 마지막으로 결과의 전반적인 색상을 최적화합니다.

위의 기능을 달성하기 위해 연구자들은 두 개의 하위 네트워크를 제안했습니다.즉, 영역 인식 텍스처 생성 네트워크(아래 그림의 주황색 상자 참조)와 색상화 네트워크(아래 그림의 노란색 상자 참조)입니다.

영역 인식 텍스처 생성 네트워크는 스티치 분류기 모듈(Stitch Classifier, 위 그림의 파란색 상자 참조)과 스티치 잠재 코드 생성기 모듈(Stitch Latent Code Generator, 위 그림의 녹색 상자 참조)로 구성됩니다.영역 인식 텍스처 생성 네트워크는 입력 이미지 C의 여러 색상 영역을 감지하고 각 로컬 색상 영역의 모양 특징을 기반으로 회색조 단일 바늘 자수 이미지를 생성합니다. 컬러링 네트워크 하위 네트워크는 생성된 다중 편물 원단 이미지의 색상이 입력 이미지의 색상과 일관성을 유지하도록 전체 이미지를 더욱 세밀하게 조정합니다.

지역 인식 텍스처 생성 네트워크의 복잡성으로 인해 연구원들은 이를 두 단계로 훈련시켰습니다. 첫 번째 단계는 재구성 네트워크를 사용하여 가능한 한 많은 원본 이미지 기능을 유지하여 자수 텍스처를 생성하는 것입니다. 두 번째 단계는 사전 가우시안 분포를 사용하여 데이터 세트 없이 자수 이미지를 생성하여 색상 정보를 재구성하는 것입니다.

연구 결과: MSEmbGAN은 현재 최첨단 자수 합성 및 스타일 전송 방법보다 성능이 뛰어납니다.

연구진은 MSEmbGAN 모델의 성능을 평가하기 위해 양적, 질적 평가, 사용자 피드백 설문 조사, 절제 실험의 네 가지 평가를 실시했습니다.

정량적 평가

정량적 평가에서는 연구진이 구축한 다중 바늘 자수 데이터 세트를 기반으로 Pix2Pix, CycleGAN, MUNIT, DRIT++와 같은 스타일 전송 방법을 비교했습니다.아래 표에서 보듯이, 연구자들은 비교 결과를 정량화하고 학습된 지각 이미지 패치 유사성(LPIPS)과 프레셰 인식 거리(FID)를 계산했습니다.

결과는 다른 방법과 비교했을 때, MSEmbGAN은 LPIPS 거리가 더 낮아서 MSEmbGAN에서 생성된 자수 이미지는 실제 자수 이미지에 더 가깝게 느껴집니다.. 또한 연구진은 FID를 사용하여 생성된 자수 이미지와 실제 이미지의 특징 분포를 측정하고 FID 점수를 평가했습니다.결과는 MSEmbGAN으로 생성된 자수 이미지가 기준 진실에 가장 가깝다는 것을 보여줍니다.

정성적 평가

연구진은 정성적 평가에서 영역 인식 텍스처 생성 네트워크를 사용하여 자수 텍스처의 신뢰성과 색상 충실도를 유지했으며, 이를 통해 MSEmbGAN이 생성한 결과는 매우 다양한 자수 텍스처를 갖게 되었습니다.결과에 따르면 MSEmbGAN은 텍스처와 색상 모두에서 기존 방법보다 성능이 뛰어납니다. 즉, MSEmbGAN을 사용하여 생성된 텍스처는 실제 자수 텍스처에 더 가깝고, 색상은 입력 이미지의 텍스처에 더 가깝습니다.

사용자 피드백 설문 조사

연구진은 사용자로부터 주관적인 피드백을 얻기 위해 MSEmbGAN 모델과 다른 네 가지 방법을 사용하여 처리한 14개의 이미지를 준비한 후, 25명의 후보자에게 다음 기준에 따라 생성된 각 이미지에 1~5점의 점수를 부여하도록 했습니다.

자수 품질: 생성된 이미지에 자수 관련 특징과 생생한 질감이 있는지 여부

* 색상 품질: 입력 이미지와 생성된 이미지 간의 색상 유사도

* 이미지 품질: 텍스처 왜곡, 색상 변화, 고주파 노이즈 및 기타 아티팩트의 정도

연구자들은 5,250개의 평가를 수집하여 각 기준에 대한 평균과 표준 오차를 계산했습니다.점수가 높을수록 생성된 자수 이미지의 품질이 더 좋다는 것을 의미합니다.자세한 내용은 다음 표에 나와 있습니다.

결과는 다음과 같습니다MSEmbGAN은 세 가지 기준 모두에서 우수한 성과를 보이며, 전반적인 성능은 다른 방법보다 안정적입니다.

절제 실험

또한 연구진은 두 가지 절제 실험을 수행했습니다. 첫 번째는 스티치 분류기와 스티치 잠재 코드 생성기의 역할을 확인하기 위한 것이고, 두 번째는 채색 네트워크와 색상 일관성 제약의 역할을 확인하기 위한 것입니다.

아래 그림과 같이 (a)는 입력 이미지를 나타낸다. (b)는 스티치 분류기 C(reg)와 숨겨진 코드 생성기 G(slc)를 제거하여 생성된 자수 이미지를 나타냅니다. (c)는 색상 네트워크(CN)와 색상 일관성 제약(CC)을 제거하여 생성된 자수 이미지를 나타냅니다. (d)는 완전한 MSEmbGAN을 사용하여 생성된 자수 이미지를 나타냅니다.

절제 결과는 다음과 같습니다.스티치 분류기와 스티치 숨김 코드 생성기가 없기 때문에 네트워크에서 합성된 자수 이미지는 단일 텍스처 스타일을 가지며 다중 스티치 스타일 기능을 유지하지 않습니다. 두 번째로, 텍스처 생성 과정은 불안정하고 불규칙합니다.

마찬가지로, 색상 네트워크와 색상 일관성 제약 조건이 제거되면 MSEmbGAN으로 합성된 자수 결과는 색상 특성을 유지할 수 없어 눈에 띄는 색상 변화가 발생합니다. 즉, 생성된 이미지와 입력 이미지의 색상 분포에 엄청난 차이가 있다는 뜻입니다.

컴퓨터 기술과 섬유·의류 산업의 긴밀한 융합을 고수하며 다양한 분야에서 뛰어난 성과를 달성

우한 방직대학 컴퓨터 및 인공지능 학부의 시각 컴퓨팅 및 디지털 섬유 팀은 오랫동안 컴퓨터 비전, 가상 현실, 다중 모드 학습 및 지능형 컴퓨팅 분야의 연구에 전념해 왔습니다.저희는 컴퓨터 관련 기술을 섬유 및 의류 산업과 결합하는 데 주력하고 있으며, 스마트 웨어러블, 스마트 패션 디자인 및 추천, 패브릭 디지털 트윈 및 지능형 컴퓨팅, 가상 피팅 분야에서 많은 성과를 거두었습니다.그는 TVCG, IOT, TCE, KBS, WWW 등의 유명 저널과 CCF가 추천하는 국제 학회에 100편 이상의 학술 논문을 발표했습니다. 최근 몇 년간 팀의 연구 결과는 다음과 같습니다.

기존의 가상 피팅 방법은 인체와 의복의 관계를 고려하지 못해 의복의 질감이 왜곡되는 문제점을 고려하여, 연구팀은 매우 사실적인 3D 가상 피팅 네트워크 H3DVT+를 제안했습니다.이 네트워크는 사람과 의복 사이에 글로벌 관계를 구축하고, 의복을 자연스러운 착용 상태로 공간 분포로 변형하고, 의복의 3D 형태에 대한 사전 정보를 보다 정확하게 추론하고, 세부적인 3D 인체 모델을 생성할 수 있습니다.

서류 주소:
https://ieeexplore.ieee.org/document/9716786
https://ieeexplore.ieee.org/document/10609455

연구팀은 기존의 인간의 생리적 신호를 감지하는 지능형 의류에 대한 연구에서, 유연한 감지 장비를 기반으로 24시간 내내 인간의 호흡 신호를 감지하는 방법을 제안했습니다.추출된 호흡 신호는 천식을 실시간으로 감지하는 데 사용되며, 스마트 헬스케어 적용에 대한 이론적 근거를 제공합니다.
서류 주소:
https://ieeexplore.ieee.org/abstract/document/10040599

동시에,대학 팀은 여러 개의 센서로 구성된 스마트 의류 시스템을 구축했습니다.인체 상태 정보를 실시간으로 인체 3D 모델에 매핑합니다.현실 세계의 인체 상태와 가상 3차원 공간에서의 인체 모델 상태를 동기화하여 표시합니다.

서류 주소:
https://ieeexplore.ieee.org/document/9964338/

본 팀은 국내외의 유명 대학 및 연구기관과 협력하고 있습니다. 구체적으로,시각 컴퓨팅 및 디지털 텍스타일 팀은 상하이 교통대학교의 Sheng Bin 교수 팀과 오랫동안 협력하여 스마트 텍스타일과 빅 헬스 분야의 여러 프로젝트를 진행해 왔으며, 10편 이상의 고급 논문을 발표했습니다.지난 5년 동안 Sheng 교수는 Nature Medicine, Nature Communications, Science Bulletin, IJCV, IEEE TPAMI 등에 (공동) 제1저자/교신 저자로 69편의 SCI 논문을 출판했습니다.

또한,이 팀은 홍콩 이공대학, 호주 울런공대학, 싱가포르 과학기술청, 중국 런민대학 등의 대학 및 연구 기관과 자연어 처리, 지능형 패션 추천, 멀티모달 학습, 대규모 모델 분야에서 심층적인 협력을 진행했습니다.