8日前

ベイズ画像再構成におけるディープ生成モデルの利用

Razvan V Marinescu, Daniel Moyer, Polina Golland
ベイズ画像再構成におけるディープ生成モデルの利用
要約

機械学習モデルは一般的に、入力と出力のペアデータを用いてエンド・ツーエンドかつ教師ありの設定で学習される。例えば、最近の超解像(super-resolution)手法では、低解像度画像と高解像度画像のペアを用いて学習される。しかし、このようなエンド・ツーエンドアプローチは、入力の分布が変化した場合(例:夜間画像 vs 昼間画像)や、関連する潜在変数が変化した場合(例:カメラのぼかしや手の振動)に毎回再学習が必要となる。本研究では、最先端(SOTA)の生成モデル(本研究ではStyleGAN2)を活用し、強力な画像事前分布(image prior)を構築することで、多数の下流再構成タスクにおいてベイズの定理を適用可能にする。提案手法である「生成モデルを用いたベイズ再構成(Bayesian Reconstruction through Generative Models, BRGM)」は、一つの事前学習済み生成器モデルを用いて、異なる画像修復タスク(超解像とインペインティング)を解決する。これには、生成器モデルと異なる前向きの劣化モデル(forward corruption model)を組み合わせる。生成器モデルの重みは固定したまま、再構成画像を生成した入力潜在ベクトルに対するベイズ的最大事後確率(MAP)推定によって画像を再構成する。さらに、変分推論(variational inference)を用いて潜在ベクトルの事後分布を近似し、複数の解をサンプリングする。本手法は、以下の3つの大規模かつ多様なデータセットにおいて検証された:(i)Flick Faces High Qualityデータセットの60,000枚の画像、(ii)MIMIC-IIIから抽出された240,000枚の胸部X線画像、(iii)7,329例の脳MRIスキャンを含む5つの脳MRIデータセットの統合データ。すべてのデータセットにおいて、特定タスクに特化したハイパーパラメータのチューニングを一切行わず、超解像およびインペインティングのタスクで、現在のタスク特化型最先端手法と同等の性能を達成した。また、より汎用性に優れ、学習を一切不要とする点が特徴である。本研究のソースコードおよび事前学習済みモデルは、以下のURLから公開されている:https://razvanmarinescu.github.io/brgm/。

ベイズ画像再構成におけるディープ生成モデルの利用 | 最新論文 | HyperAI超神経