超解像度トピック | 3 つのメソッド、4 つのチュートリアル、10 のデータセット、1 つの記事 コア知識ポイントを取得
2010 年 12 月清華大学電子工学部教授の蘇光達氏は、珍しい電話を受けた。、内モンゴル自治区ジュンガル刑事チームの警察官が容疑者の顔のぼやけた画像を撮影し、スー・グアンダさんに助けを求めた。
「この画像は道路脇の監視カメラで撮影されたものです。ピクセルは非常に低く、肉眼ではまったく認識できません。」蘇広達氏は、このぼやけた画像を開発したソフトウェアに組み込むために超解像度技術を使用したことを思い出しました。 、そしてズンゲール警察は再構成された高精細画像に基づいて容疑者を迅速に特定し、殺人事件を解決した。
実際、このケースは特別なものではありません。警察は事件を解決する際、監視カメラを通じて容疑者の関連画像を入手し、事件の発見を迅速化することができます。しかし、監視カメラで撮影した写真は拡大すると細部がぼやけてしまうことが多く、警察が重要な証拠を入手する効率が大幅に低下します。
超解像技術の発展により、これらの問題は好転し、徐々に解決されつつあります。
この記事では、概念から開始し、主流の超解像度アルゴリズムとその長所と短所を紹介し、公安、医療診断、衛星リモート センシング、デジタル エンターテイメントなどのさまざまなシナリオでのアプリケーションを実証します。さらに、HyperAI 公式 Web サイトでは、超解像度に関連する多数の公開チュートリアルと公開データ セットが公開されました。ぜひ始めて体験してください。
超解像とは何ですか?
超解像度 (SR) を簡単に言うと、アルゴリズムを通じて低解像度（LR）画像を高解像度（HR）にアップグレードすることです。低解像度の画像と比較して、高解像度の画像はピクセル密度が高く、テクスチャの詳細が豊かで、信頼性が高くなります。
この技術は、画像取得システムや取得環境自体の制限によって引き起こされるぼやけた画像や低画質などの問題を克服または補償することができ、特徴抽出や情報認識などの後続の画像処理に重要なサポートを提供します。
超解像アルゴリズムの分類
現在、超解像手法は主に、補間ベースの手法、再構成ベースの手法、学習ベースの手法の 3 つのカテゴリに分類されます。
※補間による方法
補間方法では、画像の元のピクセルの周囲に新しいピクセルを挿入し、これらのピクセルに値を割り当てることで画像のサイズを増やし、それによって画像の内容を復元し、画像の解像度を向上させます。
*ピクセル: 画像を構成する最も基本的な単位要素、つまりポイント。単位面積あたりのピクセルが多いほど、画像は鮮明になります。
※再構成による手法
再構成に基づく超解像度アルゴリズムは、通常、同じシーンで撮影された複数の低解像度画像を入力として使用し、これらの画像の周波数領域または空間領域の関係を分析し、再構成プロセスの制約をガイドおよびガイドするための事前情報を導入します。そして単一の高解像度画像を再構成します。
*周波数領域: 周波数領域における信号の特性を指します。
※空域：宇宙における信号の分布を指します。
*事前情報: この種の情報は「実験前」に入手可能であり、一般にドメイン知識として理解できます。
* 学習ベースのアプローチ
学習ベースの超解像手法は、通常、大量のトレーニング データを使用して、低解像度画像と高解像度画像の間のマッピング関係を学習することで、低解像度画像で失われた高周波の詳細情報を予測し、超解像を生成します。画像。
浅い学習に基づく手法には、主に機械学習、多様体学習、サンプル学習、スパースコーディングなどがあり、データ量が少ない場合に利用できます。
深層学習に基づく手法は、畳み込みニューラル ネットワークに基づく SR 手法、残差ネットワーク (ResNet) に基づく SR 手法、敵対的生成ネットワーク (GAN) に基づく SR 手法に分類できます。
出典：faxin.com
上記 3 つの方法の長所と短所は次のとおりです。
現在、超解像分野ではディープラーニングが主流となっています。
2014 年に、Dong らは画像超解像度再構成の分野に初めて深層学習を適用しました。SRCNN (超解像畳み込みニューラル ネットワーク) ネットワーク モデルを提案し、この結果は、「深層畳み込みネットワークを使用した画像超解像」というタイトルで arXiv に公開されました。それ以来、超解像再構成の分野ではディープラーニングの波が押し寄せています。
用紙のアドレス:
https://arxiv.org/pdf/1501.00092
SRCNN は、画像の超解像度に深層学習手法を適用した最初のモデルとして、3 つの畳み込み層のみを使用し、従来の手法をはるかに上回る PSNR 値を達成します。
具体的には、低解像度画像を入力し、バイキュービック補間を使用して画像をターゲット サイズに拡大し、3 層畳み込みニューラル ネットワークを使用して低解像度画像と高解像度画像の間の非線形性をフィッティングします。 .マッピングを行い、最後に再構成された高解像度画像を出力します。
*PSNR 値: ピーク信号対雑音比。値が大きいほど、出力される HR 画質が向上します。
シンプルさと効率性という利点により、SRCNN は画像超解像度の分野における重要なマイルストーンとなっています。それ以来、深層学習に基づく超解像技術は、畳み込みニューラル ネットワーク (CNN) に基づく初期の超解像技術から、敵対的生成ネットワークに基づく最新の技術まで、急速に発展してきました。
ディープラーニング + 超解像度: 公安からデジタル エンターテイメントまでの多様なアプリケーション
需要がテクノロジー開発を促進し、テクノロジーの反復がアプリケーションの実装に役立ちます。現在、超解像技術は公安、医療診断、衛星リモートセンシング、エンターテインメントメディアなどの分野で広く活用されています。
※公安分野
公共の監視ビデオは、天候や距離などの要因により、ぼやけたり、解像度が低くなったりすることがよくあります。超解像技術の応用により、警察は顔やナンバープレート番号などの重要な情報を明確に抽出することができ、事件の発見に役立ちます。
吉林警察大学の Feng Shuli 氏は、ESRGAN および BSRGAN ネットワークを使用して、さまざまな環境でポートレートや自然の風景を分析し、公安や裁判所における超解像技術の実現可能性を調査しました。
成果は「画像超解像復元技術の警察業務への応用」と題して『武装警察大学校誌』に掲載された。
用紙のアドレス:
https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106
まず、研究者らは ESRGAN モデルと BSRGAN モデルを再現、トレーニング、テストして、最適なモデル パラメーターを取得しました。次に、学習済みモデルを使用して、収集されたポートレートや自然風景などの低品質画像に対して超解像再構成を実行し、ESRGAN と BSRGAN の再構成結果が得られます。
研究者らは、ESRGAN および BSRGAN の再構成画像を元の画像と比較しました。結果は、正面、斜め、複雑なシーンにおいて、再構成されたポートレートの視覚的な品質と忠実度が大幅に向上していることを示しています。
自然風景の比較では、ESRGAN よりも BSRGAN の再構成効果が優れています。元の低品質画像から未知の複雑なノイズを効果的に除去し、鮮明なエッジと細かいディテールを生成できます。
※医療診断分野
画像機器の限界と複雑な臨床環境により、医療現場で取得される画像の解像度が不十分なことが多く、医師による病気の正確な診断と治療の決定に直接影響します。
四川人民病院のPeng Bo氏らは、基本的な手法として自然画像の超解像度再構成に敵対的生成ネットワーク(SRGAN)を使用した。2 つの入力チャンネルを削減し、1 つの残余ブロックを削除することにより、ネットワークの構造が変更され、ネットワーク損失関数が改善され、新しいぼかし処理データセットが追加され、鮮明なエッジとアーティファクトのない医療用超音波画像が 4 倍に拡大されました。再構築された。
「敵対的生成ネットワークに基づく超音波画像の超解像度再構成」と題されたこの結果は、Journal of Terahertz Science and Electronic Information Technologyに掲載されました。
用紙のアドレス:
http://www.iaeej.com/xxydzgc/article/abstract/202305015
研究者らは、改良された SRGAN を他の 3 つのアルゴリズムと比較しました。結果は、改良された SRGAN の再構成結果が全体的により滑らかになり、テクスチャのエッジがより鮮明になったことを示しています。
※衛星リモートセンシング分野
近年、リモートセンシング衛星画像は環境監視、資源探査、災害警報、軍事分野などで広く利用されています。ただし、大気の変化、伝送ノイズ、モーション ブラー、アンダーサンプリングされた光学センサーなどの要因により、リモート センシング衛星画像の鮮明さが大幅に制限されます。超解像度技術は、低解像度画像を処理およびアップグレードすることにより、衛星リモート センシング データの品質と使いやすさを向上させることができます。
ハルビン工業大学のYan Botiらは、リモートセンシング画像のローカルクラスターターゲット領域の詳細な特徴情報を完全なリモートセンシング画像のサンプリングと再構成に導入し、マルチレベルニューラルネットワークを通じてさまざまなスケールの画像特徴を抽出し、残差を使用しました。これらの特徴が融合され、再構築されます。この方法では、ローカル画像のピクセル情報を使用して、グローバルリモートセンシング画像の詳細効果を大幅に向上させ、クラスターターゲット領域の解像度能力を最適化できます。
「ローカル高解像度画像と組み合わせたリモートセンシングクラスターターゲットエリアの超解像度再構成」と題されたこの結果は、南京航空航天大学ジャーナルに掲載された。
用紙のアドレス:
https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002
研究で示された比較表は、この方法が視覚化効果の点で他の既存の方法よりも大幅に優れていることを示しています。都市部や屋外のシーンに適しており、より良い結果を示します。
※デジタルエンターテインメント分野
アニメーションは複数の静止画で構成されており、静止画の解像度が最終的なアニメーションの鮮明さに影響します。しかし、既存の手描きやデジタル描画では初稿の高解像度を保証できず、ユーザーの視覚体験にとって非常に不親切です。この低解像度の画像を超解像技術を応用して高解像度の画像に変換することで、よりディテールや質感を表現することができ、アニメーション作品の映像をより鮮明でリアルなものにすることができます。
ステーション B は、Real-CUGAN (Real Cascaded-U-Net-style Generative Adversarial Networks) と呼ばれるアニメーション品質復元モデルを開始しました。
まず研究者らは、このモデルを使用してアニメーション フレームをブロックに分割し、画質スコアリング モデルを使用して候補ブロックをスコアリングしてフィルタリングし、最終的に 100 万レベルの高品質アニメーション画像ブロックのトレーニング セットを取得しました。
次に、多段階の品質低減アルゴリズムを通じて、高精細画像ブロックがダウンサンプリングされて低品質画像が得られ、モデルが低品質画像から高品質画像への再構成プロセスを学習して最適化できるようになります。トレーニングが完了すると、モデルは実際の 2 次元の低品質画像を高解像度に処理できます。
さまざまなアルゴリズムの比較表は次のとおりです。
超解像度のオープンソース データセットとチュートリアル
現在のところ、HyperAI の公式 Web サイトでは、多数の超解像度リソースが公開されています。公開チュートリアルとデータセットが含まれます。
*公開チュートリアル
APISR は、アニメ画像とビデオの解像度を向上させるためのオープンソース プロジェクトであり、低品質、低解像度のアニメ画像とビデオ ソースを復元および強化し、さまざまな画像劣化の問題 (ぼやけ、ノイズ、圧縮アーティファクトなど) に対処できます。 。）。
オンライン実行アドレス:https://hyper.ai/tutorials/31383
SUPIR は、画像のディテールとリアリズムを維持しながら低解像度画像を高解像度にアップスケールし、さまざまな複雑な劣化状況に対処できます。
オンライン実行アドレス:https://hyper.ai/tutorials/30940
3. 潜在拡散を利用した画像超解像
このチュートリアルでは、ディフューザー ライブラリを使用した潜在拡散画像超解像度モデルの使用方法を説明します。
オンライン実行アドレス:https://hyper.ai/tutorials/26207
4. 効率的なサブピクセル CNN を使用して画像の超解像度を実現します
このチュートリアルでは、BSDS 500 データセット上の効率的なサブピクセル モデルを使用して超解像度を実装します。
オンライン実行アドレス:https://hyper.ai/tutorials/25044
* 公開データセット
1.MSU超解像データセット
データセットには屋内および屋外のビデオとアニメーションが含まれており、それらはすべて低い SI/TI 値とシンプルなテクスチャを持っています。発生する可能性のある圧縮アーティファクトを最小限に抑え、詳細を復元するように設計されています。
直接使用します:https://hyper.ai/datasets/20401
2.MSUビデオ超解像度データセット
このデータセットはビデオの超解像度タスクに使用され、顔、テキスト、QR コード、ナンバー プレート番号、パターンが表示されていないテクスチャ、細部などの詳細復元タスクで最も複雑なコンテンツが含まれています。ビデオには、バイキュービック補間、ガウス ブラー、ダウンサンプリングなど、さまざまな種類のモーションとさまざまな種類の減衰が含まれています。
直接使用します:https://hyper.ai/datasets/17212
3.DRealSR超解像画像データセット
このデータセットは、実際の画像劣化プロセスに関する超解像度画像データセットであり、従来のシミュレートされた画像劣化の制限を軽減します。データ セットは、広告ポスター、植物、オフィス、建物などの屋内および屋外のシーンをカバーしています。
直接使用します:https://hyper.ai/datasets/20446
4.TextZoom超解像度データセット
このデータセットは、低解像度 (LR) 画像と高解像度 (HR) 画像のペアで構成されます。画像は、さまざまな焦点距離のカメラを使用して野生で撮影されました。各画像ペアには、注釈、境界ボックスのタイプ、および大文字と小文字を区別する文字列 (句読点を含む) としての元の焦点距離が含まれます。
直接使用します:https://hyper.ai/datasets/19550
5.SR-RAW画像超解像データセット
このデータセットには、RAW センサー データ、高い光学ズーム レベルでキャプチャされたグラウンド トゥルースの高解像度画像が含まれています。その中で、各シーケンスには、異なる焦点距離で撮影された 7 枚の画像 (いくつかは 6 枚を含む) が含まれています。
直接使用します:
https://hyper.ai/datasets/19743
6.Set5、Set14 低複雑性単一画像超解像度データセット
これは、非負近傍埋め込みに基づく低複雑性の単一画像の超解像度データ セットです。このトレーニング セットは、単一画像の超解像度再構成に使用されます。高解像度画像は、低解像度画像に基づいて再構成されます。より詳細な情報を取得し、コンピュータ ビジョンおよびグラフィックス、医療画像、セキュリティ監視などの分野で広く使用されています。
直接使用します:
https://hyper.ai/datasets/5382
7.DIV2K単一画像超解像データセット
このデータセットには、さまざまな劣化タイプの 1,000 枚の低解像度画像が含まれており、低解像度画像から高解像度画像を再構成するために使用できます。
直接使用します:https://hyper.ai/datasets/15624
8.S2-NAIP アメリカの超解像度リモートセンシングデータセット
このデータセットには、米国本土の NAIP 画像と Sentinel-2 画像のペアが含まれています。地表モニタリング、資源管理、環境変化評価に関して高精度のデータサポートを提供します。
直接使用します:
https://hyper.ai/datasets/30427
9.Sun-Hays 80 Dataset 超解像度画像データセット
このデータ セットは、グローバル シーン記述を使用して、画像データベース内の関連シーンを比較および検索し、画像サンプリングの問題を制限するための理想的なテクスチャの例を提供します。
直接使用します:https://hyper.ai/datasets/5391
10.Urban100超解像復元データセット
このデータセットには、さまざまな周波数帯域の詳細を備えた困難な都市シーンが含まれています。 LR/HR 画像ペアは、バイキュービック補間を使用して実際の画像をダウンスケーリングし、トレーニング データ セットとテスト データ セットを取得することで取得できます。
直接使用します:
https://hyper.ai/datasets/5385
上記は HyperAI Super Neural 公式 Web サイトにある超解像度リソースの概要です。高品質のプロジェクトを見つけたら、バックグラウンドでメッセージを残してお勧めしてください。さらに、チュートリアル交換グループも設立しました。友人がグループに参加して、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりすることを歓迎します~
QR コードをスキャンしてチュートリアル交換グループに参加してください
