対照学習を用いたドメイン強化型任意画像スタイル転送

本研究では、新たなスタイル特徴表現学習手法を用いて、任意の画像スタイル転送という困難な問題に取り組む。画像スタイル化タスクにおいて、適切なスタイル表現は、満足のいく結果を得るために不可欠な要素である。従来の深層ニューラルネットワークに基づく手法は、コンテンツ特徴の2次統計量（例えば、グラム行列）をガイドとして用いることで、ある程度の結果を達成している。しかし、これらの手法は十分なスタイル情報を利用できていないため、局所的な歪みやスタイルの一貫性欠如といったアーティファクトが生じる問題がある。この問題を解決するために、スタイル特徴の2次統計量ではなく、画像特徴そのものから直接スタイル表現を学習するアプローチを提案する。具体的には、複数のスタイル間の類似性と相違性を分析し、スタイルの分布を考慮することで、より豊かなスタイル表現を獲得する。本研究では、対照学習（contrastive learning）を活用した新しいスタイル表現学習およびスタイル転送手法として「対照的任意スタイル転送（Contrastive Arbitrary Style Transfer, CAST）」を提案する。本フレームワークは、3つの主要な構成要素からなる：スタイルコードの符号化に用いる多層スタイルプロジェクタ、スタイル分布の効果的な学習を実現するドメイン強化モジュール、および画像スタイル転送を実行する生成ネットワーク。本手法の有効性を、定性的および定量的な評価を通じて包括的に検証した結果、最先端手法と比較して著しく優れた性能を達成することが示された。コードおよびモデルは、https://github.com/zyxElsa/CAST_pytorch にて公開されている。