11일 전

고해상도 비가상 착용 시도: 오정렬 및 가림 조건 처리 기능 포함

Sangyun Lee, Gyojung Gu, Sunghyun Park, Seunghwan Choi, Jaegul Choo
고해상도 비가상 착용 시도: 오정렬 및 가림 조건 처리 기능 포함
초록

이미지 기반 가상 피팅은 주어진 의류 아이템을 입은 사람의 이미지를 합성하는 것을 목표로 한다. 기존의 방법들은 사람의 몸에 맞게 의류를 왜곡(warping)하고, 그 사람의 의류 착용 영역을 분할하는 세그멘테이션 맵을 생성한 후, 이를 사람 이미지와 융합하는 방식을 사용한다. 그러나 왜곡 단계와 세그멘테이션 맵 생성 단계가 정보를 주고받지 않고 별도로 작동할 경우, 왜곡된 의류와 세그멘테이션 맵 사이에 정렬 오류가 발생하여 최종 이미지에 아티팩트가 나타나게 된다. 또한 정보의 단절로 인해 몸체 부위에 가려진 의류 영역 근처에서 과도한 왜곡이 발생하게 되어, 이를 '픽셀 압축 아티팩트'(pixel-squeezing artifacts)라고 한다. 이러한 문제를 해결하기 위해 우리는 두 단계(즉, 왜곡 및 세그멘테이션 맵 생성 단계)를 통합한 새로운 시도 조건 생성기(try-on condition generator)를 제안한다. 조건 생성기 내에 새로 제안한 특징 융합 블록(feature fusion block)을 통해 두 단계 간의 정보 교환을 구현함으로써, 정렬 오류나 픽셀 압축 아티팩트를 발생시키지 않는다. 또한 잘못된 세그멘테이션 맵 예측을 제거하는 디스크리미네이터 거부(discriminator rejection) 기법을 도입하여, 가상 피팅 프레임워크의 성능을 보장한다. 고해상도 데이터셋을 기반으로 한 실험 결과, 제안한 모델이 정렬 오류와 가림 현상을 효과적으로 처리하며 기존의 베이스라인 대비 상당히 우수한 성능을 보임을 입증하였다. 코드는 https://github.com/sangyun884/HR-VITON 에서 공개되어 있다.

고해상도 비가상 착용 시도: 오정렬 및 가림 조건 처리 기능 포함 | 최신 연구 논문 | HyperAI초신경