HyperAIHyperAI

Command Palette

Search for a command to run...

CR-Fill:補助的文脈再構成を用いた生成的画像補完

Vishal M. Patel Huchuan Lu Zhe Lin Yu Zeng

概要

最近の深層生成型インペイント手法は、アテンション層を用いて生成器が既知領域から特徴パッチを明示的に借用できるようにしている。しかし、欠損領域と既知領域の対応関係に対する教師信号が不足しているため、適切な参照特徴を発見できず、結果にアーティファクトが生じる場合がある。また、推論時に全特徴マップ上でペアワイズ類似度を計算するため、大きな計算負荷が生じる。この問題に対処するため、補助的な文脈再構成タスクを共同学習させることで、アテンションを用いない生成器にこのようなパッチ借用行動を学習させることを提案する。このアプローチにより、周囲の領域によって再構成されたとしても、生成出力が現実的であることを促進する。補助ブランチは、学習可能な損失関数と見なすことができ、文脈再構成(Contextual Reconstruction, CR)損失と呼ばれる。ここで、クエリ-参照特徴の類似度と、参照に基づく再構成器がインペイント生成器とともに共同最適化される。補助ブランチ(すなわちCR損失)は学習時のみ必要であり、推論時にはインペイント生成器のみを用いればよい。実験結果から、本手法は定量的および視覚的性能の両面で、最先端の手法と比較しても優れた結果を示した。コードは https://github.com/zengxianyu/crfill にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています