3ヶ月前

画像処理GNN:超解像における剛性の打破

{Yunhe Wang, Chao Xu, Hanting Chen, Yuchuan Tian}
画像処理GNN:超解像における剛性の打破
要約

スーパーレゾリューション(SR)は、低解像度画像から高解像度画像を再構成する技術である。従来のSRモデルは、主に畳み込みニューラルネットワーク(CNN)とウィンドウアテンション手法に大別される。しかし、これらの手法には構造的な剛性が存在する。すなわち、各ピクセルが集める隣接ピクセルの数が固定されており、画像の詳細度に応じた柔軟な情報収集が困難であるため、SRタスクにおける性能に制限が生じる。本研究では、グラフ構造の柔軟性を活用し、従来のSR手法に見られる剛性を打破する新たな画像処理用グラフニューラルネットワーク(Image Processing GNN:IPG)モデルを提案する。まず、SRタスクは不均一性を特徴としており、再構成の大部分が詳細が豊富な画像領域に集中する。このため、詳細度の高い画像領域のノードに対して高い次数(接続数)を割り当てることで、ノード次数の柔軟性を活用する。次に、SRに効果的な情報集約を実現するため、画像をパッチノードではなくピクセルノードの集合として扱う。最後に、局所的かつ大域的な情報の両方がSR性能において重要であると考え、柔軟なグラフ構造によりこれら両方のスケールからのピクセル情報の効率的収集を実現する。具体的には、近傍領域内でのノード接続を探索して局所グラフを構築し、画像全体をストライドサンプリングした空間内で接続関係を探索して大域グラフを構築する。このグラフの柔軟性により、IPGモデルのSR性能が著しく向上する。複数のデータセットにおける実験結果から、提案手法IPGは最先端のベースライン手法を上回る性能を示した。実装コードは以下のURLから公開されている:https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG。