HyperAIHyperAI

Command Palette

Search for a command to run...

StyleFlowによるコンテンツ固定型画像間翻訳

Weichen Fan Jinghuan Chen Jiabin Ma Jun Hou Shuai Yi

概要

画像から画像への翻訳(Image-to-image, I2I)翻訳は、コンピュータビジョン分野における困難な課題の一つである。本研究では、この問題を三つのタスクに分類する:強制的制約付き翻訳、通常の制約付き翻訳、弱い制約付き翻訳。ここでいう「制約」とは、元の画像に含まれるコンテンツや意味情報がどれだけ保持されるかという度合いを指す。従来の手法は、弱い制約付きタスクにおいて良好な性能を達成しているが、強制的および通常の制約付きタスク(例えば、写真レベルのリアルな画像生成、スタイル転送、色付けなど)において、コンテンツの完全な保持に失敗している。強制的および通常の制約付きタスクにおいてコンテンツを保持した翻訳を実現するために、我々は、正規化フロー(normalizing flows)と新規のスタイル認識正規化(Style-Aware Normalization, SAN)モジュールを組み合わせた新しいI2I翻訳モデル「StyleFlow」を提案する。可逆ネットワーク構造を採用することで、StyleFlowは前向き伝搬において入力画像を深層特徴空間に写像する一方、逆向き伝搬ではSANモジュールを用いてコンテンツ固定型の特徴変換を行い、再び画像空間に投影する。本モデルは、画像ガイド付き翻訳およびマルチモーダル合成の両方をサポートする。複数のI2I翻訳ベンチマークでの評価結果から、提案モデルが従来手法に比べて、強制的および通常の制約付きタスクにおいて優れた性能を発揮することが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています