2ヶ月前

低品質画像の解像度向上処理:間隔密結合戦略に基づくSwin Transformerの利用

Ju, Rui-Yang ; Chen, Chih-Chia ; Chiang, Jen-Shiun ; Lin, Yu-Shian ; Chen, Wei-Han ; Chien, Chun-Tse
低品質画像の解像度向上処理:間隔密結合戦略に基づくSwin Transformerの利用
要約

トランスフォーマーを基盤とする手法は、畳み込みニューラルネットワーク(CNN)を基盤とする手法と比較して、画像超解像において優れた性能を示しています。しかし、SwinIR(Image Restoration Using Swin Transformer)のような自己注意機構を使用して画像から特徴情報を抽出するには、大量の計算リソースが必要であり、これが低計算能力プラットフォームでの応用を制限しています。モデルの特徴再利用を改善するために、本研究では新たに設計されたアルゴリズムに基づいて異なるブロックを接続するインターバル・デンド・コネクション戦略を提案します。この戦略をSwinIRに適用し、新しいモデルであるSwinOIR(Object Image Restoration Using Swin Transformer)を開発しました。画像超解像に関して、アブレーションスタディが実施され、インターバル・デンド・コネクション戦略がモデル性能に及ぼす肯定的な効果が示されました。さらに、我々は様々な人気のあるベンチマークデータセットでモデルの評価を行い、他の最先端(SOTA)軽量モデルとの比較を行いました。例えば、SwinOIRはUrban100データセットにおける4倍スケールアップ画像超解像で26.62 dBのPSNRを得ており、これはSOTAモデルであるSwinIRよりも0.15 dB高い結果となっています。実際の応用においては、最新版のYou Only Look Once (YOLOv8) モデルと提案したモデルを使用して、低品質画像に対する物体検出と実生活での画像超解像を行いました。この実装コードは公開されており、https://github.com/Rubbbbbbbbby/SwinOIR からアクセスできます。