Command Palette
Search for a command to run...
Vanast: 合成されたTriplet SupervisionによるHuman Image Animationを用いたVirtual Try-On
Vanast: 合成されたTriplet SupervisionによるHuman Image Animationを用いたVirtual Try-On
Hyunsoo Cha Wonjung Woo Byungjun Kim Hanbyul Joo
概要
ご提示いただいた英文は、コンピュータビジョンおよび生成AI(特に動画生成と仮想試着)に関する非常に専門的な内容です。ご指定いただいた翻訳基準に基づき、技術的な正確性と学術的な格調を維持した日本語訳を作成いたしました。以下に翻訳結果を提示します。【翻訳文】我々は、単一の人物画像、衣服の画像、およびポーズガイダンス動画から、衣服の転送(garment-transferred)を伴う人物のアニメーション動画を直接生成する統合フレームワーク「Vanast」を提案する。従来の2段階の pipeline では、画像ベースの仮想試着(virtual try-on)とポーズ駆動のアニメーションを個別のプロセスとして扱うため、Identity(身元・個体性)のドリフト、衣服の歪み、および前後の一貫性の欠如が頻繁に発生していた。本モデルは、プロセス全体を単一の統合されたステップで実行することでこれらの課題に対処し、コヒーレントな合成を実現する。この設定を可能にするため、我々は大規模な triplet(三つ組)の教師あり学習データを構築した。我々のデータ生成 pipeline には、衣服カタログの画像とは異なる、別の衣装を着用した Identity を保持する人物画像の生成、単一の衣服とポーズ動画のペアという制約を克服するための上下身一体となった triplet のキャプチャ、および衣服カタログ画像を必要としない多様な in-the-wild triplet の組み立てが含まれる。さらに、video diffusion transformer のための Dual Module アーキテクチャを導入することで、学習の安定化、事前学習済みモデルの生成品質の維持、ならびに衣服の正確性、ポーズへの追従性、Identity の保持の向上を実現すると同時に、zero-shot による衣服の補間(interpolation)をサポートする。これらの貢献により、Vanast は幅広い種類の衣服において、高忠実度かつ Identity が一貫したアニメーションを生成することが可能となる。