AdaAttN: 任意のニューラルスタイル転送におけるアテンションメカニズムの再検討

高速任意ニューラルスタイル転送は、その柔軟性によりさまざまな応用を可能にすることから、学術界、産業界、芸術界で広く注目を集めています。既存の手法は、特徴量分布を考慮せずに深層スタイル特徴量を深層コンテンツ特徴量に注意深く融合するか、またはスタイルに応じて深層コンテンツ特徴量を適応的に正規化して、その全体的な統計が一致するようにします。これらの手法は効果的ですが、浅層特徴量を活用せず、局所的な特徴量統計を考慮しないため、不自然な出力や局所的な歪みが発生しやすいという問題があります。この問題を緩和するために、本論文では新しい注意と正規化モジュールである適応的注意正規化（Adaptive Attention Normalization: AdaAttN）を提案します。具体的には、コンテンツ画像とスタイル画像の浅層および深層特徴量から空間的な注意スコアを学習します。次に、各点の重み付き統計値を計算するために、スタイル特徴量の各点をすべてのスタイル特徴量ポイントからの注意重み付き出力の分布として扱います。最後に、コンテンツ特徴量は正規化され、計算された各点の重み付きスタイル特徴量統計値と同じ局所的な特徴量統計値を持つようにします。さらに、AdaAttNに基づいて新しい局所特徴損失関数を導入し、局所的な視覚品質を向上させます。また、若干の修正によりビデオスタイル転送にも対応できるようにAdaAttNを拡張しました。実験結果は、当手法が最先端の任意の画像/ビデオスタイル転送性能を達成していることを示しています。コードとモデルは公開されています。