塩とコショウノイズ画像のためのリジデュアルトランスフォーマーフュージョンネットワーク

畳み込みニューラルネットワーク（CNN）は、画像ノイズ除去を含む非構造化データセットにおいて広く利用されている。画像ノイズ除去とは、ノイズを含む画像から生じる不要なノイズをさまざまな戦略を用いて低減するための再構成プロセスである。この分野には、一部の画像ノイズ除去手法がノイズに関する事前知識を必要とするという問題がある。この課題を克服するため、畳み込みビジョントランスフォーマー（CvT）とリジッドネットワーク（ResNet）を統合したアーキテクチャ、すなわちリジッドトランスフォーマーフュージョンネットワーク（RTF-Net）が用いられている。このアーキテクチャの一般的な処理は、ノイズ抑制ネットワーク（NSN）と構造強化ネットワーク（SEN）の2つの部分に分けられる。NSNではリジッドブロックが用いられ、画像内のノイズマップを学習する役割を果たす。一方、SENではCvTが採用され、NSNによって処理された画像に追加すべき詳細情報を学習する。本モデルはDIV2Kトレーニングセットを用いて学習し、DIV2Kバリデーションセットを用いて検証を行った。学習後、Lena、Bridge、Pepper、BSD300の画像を対象に、ノイズレベルが30%、50%、70%の条件下でテストを行い、DBA、NASNLM、PARIGI、NLSF、NLSF-MLP、NLSF-CNNとのPSNR値を比較した。その結果、Pepper画像における30%ノイズレベルを除くすべてのケースで、提案手法が優れた性能を示した。特にPepper画像（30%ノイズ）では、NLSF-CNNが32.99 dBというPSNR値を達成し、提案手法の31.70 dBを上回った。