11日前

VITON-HD:不整合を意識した正規化を用いた高解像度仮想試着

Seunghwan Choi, Sunghyun Park, Minsoo Lee, Jaegul Choo
VITON-HD:不整合を意識した正規化を用いた高解像度仮想試着
要約

画像ベースのバーチャルトライオンのタスクは、対象の衣類を人物の対応する部位に移すことを目的としており、一般的には衣類を希望する身体部位に合わせてフィッティングし、変形された衣類を人物と融合することで実現される。近年、この分野における研究が増加しているものの、合成画像の解像度は依然として低解像度(例:256×192)に留まっており、オンライン消費者の満足度を高める上で大きな制約となっている。本研究では、この制約の原因が以下の幾つかの課題に起因すると主張する。解像度が向上するにつれて、変形された衣類と目的の衣類領域との間の不整合領域におけるアーティファクトが最終結果において顕著に現れるようになり、既存手法で用いられるネットワークアーキテクチャは高品質な身体部位の生成や衣類のテクスチャの鮮明さの維持において性能が低いことが問題である。これらの課題に対処するため、我々はVITON-HDと名付けた新しいバーチャルトライオン手法を提案する。本手法は、1024×768解像度のバーチャルトライオン画像を成功裏に合成可能である。具体的には、まず合成をガイドするセグメンテーションマップを準備し、次に目標衣類を人物の身体に概ね適合させる。その後、不整合領域を適切に処理し、1024×768の入力データの細部を保持するため、ALIgnment-Aware Segment(ALIAS)正規化とALIASジェネレータを提案する。既存手法との厳密な比較を通じて、VITON-HDが定性的・定量的に両面でベースラインを大きく上回ることを実証した。コードはhttps://github.com/shadow2496/VITON-HDにて公開されている。