要約
本研究では、限られたデータソースを用いたアルファマット生成手法を提案する。まず、ポートレートデータセット上で新規のトランスフォーマー基盤モデル（StyleMatte）を事前学習する。その後、このモデルを用いてStyleGAN3ベースのネットワーク（StyleMatteGAN）に画像とマスクのペアを提供する。StyleMatteGANは非教師あり学習により訓練され、未見の画像-マスクトレーニングペアを生成し、それを再びStyleMatteにフィードバックする。このサイクルを通じて、マット抽出ネットワークの性能が向上し、人間のポートレートにおいてはトップレベルの結果を達成するとともに、動物データセットにおいても最先端の評価指標を満たすことを実証した。さらに、StyleMatteGANは高解像度かつプライバシー保護を考慮したアルファマット付きポートレートを生成可能であり、さまざまな画像合成タスクに適している。本研究のコードは、https://github.com/chroneus/stylematte にて公開されている。