PhotoMaker: スタックID埋め込みを用いたリアルな人物写真のカスタマイズ

最近のテキストから画像への生成技術の進歩により、与えられたテキストプロンプトに基づいて現実的な人間の写真を合成することが著しい進展を遂げています。しかし、既存のパーソナライズされた生成手法は、高効率、有望なアイデンティティ（ID）忠実度、および柔軟なテキスト制御性という要件を同時に満たすことができません。本研究では、PhotoMakerと呼ばれる効率的なパーソナライズされたテキストから画像への生成手法を提案します。この手法は主に、任意の数の入力ID画像をスタックID埋め込みにエンコードすることで、ID情報を保持します。このような埋め込みは統一されたID表現として機能し、同じ入力IDの特性を包括的にカプセル化するだけでなく、異なるIDの特性も後続の統合のために収容することができます。これにより、より興味深くかつ実用的なアプリケーションが可能になります。さらに、PhotoMakerの学習を推進するために、ID指向型データ構築パイプラインを提案します。このパイプラインで構築されたデータセットによって養われることで、当社のPhotoMakerはテスト時の微調整ベースの手法よりも優れたID保持能力を示しつつ、大幅な速度向上、高品質な生成結果、強固な汎化能力、および多様なアプリケーションを提供します。プロジェクトページは以下のURLでご覧いただけます: https://photo-maker.github.io/