초고해상도 주제 | 3가지 방법, 4가지 튜토리얼, 10가지 데이터 세트, 하나의 기사에서 핵심 지식 포인트를 얻으세요
2010년 12월,청화대 전자공학과 수광다 교수는 특이한 전화를 받았다.내몽골자치구 준가르형사경찰대의 한 경찰관은 용의자의 흐릿한 얼굴 이미지를 이용해 수광다에게 도움을 요청했습니다.
"이 사진은 도로변 감시 카메라로 촬영한 것입니다. 픽셀이 매우 낮아 육안으로는 전혀 알아볼 수 없습니다."라고 수광다는 회상했습니다. 당시 그는 초고해상도 기술을 사용하여 흐릿한 이미지를 자신들이 개발한 소프트웨어에 넣고 재구성했습니다. 복원된 고화질 영상을 바탕으로 준가르 경찰은 신속하게 용의자를 확인하고 살인 사건을 해결했습니다.
사실 이 사례는 고립된 것이 아닙니다. 경찰이 사건을 수사할 때, 감시 카메라를 통해 용의자의 영상을 얻을 수 있어 사건 해결 과정을 신속하게 진행할 수 있습니다. 그러나 감시 카메라로 찍은 사진을 확대하면 세부 사항이 흐릿해지는 경우가 많아 경찰이 중요한 증거를 얻는 효율성이 크게 떨어집니다.
초고해상도 기술의 발달로 이러한 문제는 해결되고 있습니다.
이 글에서는 개념부터 시작하여 주류 초고해상도 알고리즘과 그 장단점을 소개하고, 공공 안보, 의료 진단, 위성 원격 감지, 디지털 엔터테인먼트 등 다양한 시나리오에서의 적용 사례를 보여줍니다. 또한, HyperAI Super Neural 공식 웹사이트에서는 초고해상도와 관련된 다수의 공개 튜토리얼과 공개 데이터 세트를 출시했습니다. 여러분도 한번 시도해 보세요!
초고해상도란 무엇인가요?
초고해상도(SR)는 간단히 말해서알고리즘을 통해 저해상도(LR) 이미지를 고해상도(HR)로 업그레이드하는 것입니다.저해상도 이미지와 비교했을 때, 고해상도 이미지는 픽셀 밀도가 더 높고 질감 세부 정보가 더 풍부하며, 더 안정적입니다.
본 기술은 영상 수집 시스템이나 수집 환경 자체의 한계로 인해 발생하는 영상 흐림, 화질 저하 등의 문제를 극복하거나 보완할 수 있으며, 특징 추출, 정보 인식 등의 후속 영상 처리에 중요한 지원을 제공합니다.
초고해상도 알고리즘의 분류
현재 초해상도 방법은 크게 보간 기반 방법, 재구성 기반 방법, 학습 기반 방법의 세 가지 범주로 나뉜다.
* 보간 기반 방법
보간법은 이미지의 원래 픽셀 주위에 새로운 픽셀을 삽입하고 이 픽셀에 값을 할당하여 이미지의 크기를 늘려서 이미지 내용을 복원하고 이미지 해상도를 향상시키는 효과를 얻습니다.
*픽셀: 이미지의 가장 기본적인 단위 요소, 즉 점. 각 픽셀은 고유한 색상 값을 갖습니다. 단위 면적당 픽셀이 많을수록 이미지가 더 선명해집니다.
* 재건 기반 접근 방식
재구성 기반 초고해상도 알고리즘은 일반적으로 동일한 장면에서 촬영한 여러 개의 저해상도 이미지를 입력으로 사용한 다음 이러한 이미지의 주파수 영역 또는 공간 영역 관계를 분석합니다. 재구성 과정은 사전 정보를 도입하여 안내되고 제한되며, 단일 고해상도 이미지가 재구성됩니다.
*주파수 영역 : 주파수 영역에서 신호의 특성을 말합니다.
*공간 영역: 공간에서의 신호 분포를 말합니다.
*사전 정보: 이 정보는 "실험 전에" 얻을 수 있으며 일반적으로 도메인 지식으로 이해될 수 있습니다.
* 학습 기반 방법
학습 기반 초고해상도 방법은 일반적으로 대량의 학습 데이터를 사용하여 저해상도 이미지와 고해상도 이미지 간의 매핑 관계를 학습하고, 저해상도 이미지에서 손실된 고주파 세부 정보를 예측하여 초고해상도 이미지를 생성합니다.
얕은 학습 기반 방법에는 주로 머신 러닝, 매니폴드 학습, 샘플 학습, 희소 코딩이 포함되며, 데이터 양이 적은 상황에서 사용할 수 있습니다.
딥러닝 기반 방법은 합성곱 신경망을 기반으로 한 SR 방법, 잔여 네트워크(ResNet)를 기반으로 한 SR 방법, 생성적 적대 네트워크(GAN)를 기반으로 한 SR 방법으로 나눌 수 있습니다.
이미지 출처: Faxin.com
위의 세 가지 방법의 장단점은 다음과 같습니다.
오늘날 딥러닝은 초고해상도 분야에서 주류를 이루는 방법이 되었습니다.
2014년에 Dong et al. 최초로 딥러닝을 이미지 초고해상도 재구성 분야에 적용했습니다.SRCNN(Super-Resolution Convolutional Neural Network) 네트워크 모델이 제안되었습니다.이 결과는 "딥 합성곱 네트워크를 이용한 이미지 초고해상도"라는 제목으로 arXiv에 게재되었습니다. 그 이후로 초고해상도 재구성 분야에서 딥러닝의 물결이 일었습니다.
서류 주소:
https://arxiv.org/pdf/1501.00092
SRCNN은 딥러닝 방법을 영상 초고해상도에 적용한 최초의 모델로, 단 세 개의 합성곱 계층만을 사용하여 기존 방법을 훨씬 뛰어넘는 PSNR 값을 달성했습니다.
구체적으로, 저해상도 이미지를 입력하고, 바이큐빅 보간을 사용하여 이미지를 대상 크기로 확대한 다음, 3층 합성곱 신경망을 사용하여 저해상도 이미지와 고해상도 이미지 간의 비선형 매핑을 맞춘 후, 마지막으로 재구성된 고해상도 이미지를 출력합니다.
*PSNR 값: 피크 신호 대 잡음비. 값이 클수록 출력 HR 이미지 품질이 좋아집니다.
SRCNN은 단순성과 높은 효율성으로 인해 이미지 초고해상도 분야에서 중요한 이정표가 되었습니다.그 이후로, 딥 러닝을 기반으로 한 초고해상도 기술은 초기의 합성곱 신경망(CNN)을 기반으로 한 초고해상도 기술부터 최근의 생성적 적대 신경망(GAN)을 기반으로 한 기술까지 빠르게 발전해 왔습니다.
딥러닝 + 초고해상도: 공공안보부터 디지털 엔터테인먼트까지 다양한 응용 분야
수요는 기술 개발을 촉진하고, 기술 반복은 애플리케이션 구현에 도움이 됩니다. 오늘날 초고해상도 기술은 공공 안보, 의료 진단, 위성 원격 감지, 엔터테인먼트 미디어 등 다양한 분야에 널리 활용되고 있습니다.
* 공공안전 분야
공공 감시 영상은 날씨나 거리 등의 요인에 영향을 받으며, 영상이 흐릿하고 해상도가 낮은 경우가 많습니다. 초고해상도 기술을 적용하면 경찰이 선명한 얼굴, 차량 번호판 및 기타 주요 정보를 추출하는 데 도움이 되어 사건 해결에 도움이 됩니다.
길림 경찰대학의 풍순리는 ESRGAN과 BSRGAN 네트워크를 사용하여 다양한 환경의 초상화와 자연경관을 분석하고, 공공 안보와 법원에 초고해상도 기술을 적용하는 가능성을 탐구했습니다.
해당 연구 결과는 "경찰 업무에서의 영상 초고해상도 재구성 기술의 응용"이라는 제목으로 군사경찰학원 저널에 게재되었습니다.
서류 주소:
https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106
먼저, 연구진은 ESRGAN과 BSRGAN 모델을 재생산하고, 학습시키고, 테스트하여 최적의 모델 매개변수를 얻었습니다. 이후, 훈련된 모델을 이용하여 수집된 저화질 이미지(초상화, 자연경관 등)에 대한 초고해상도 재구성을 수행하고, ESRGAN과 BSRGAN의 재구성 결과를 얻는다.
연구진은 ESRGAN과 BSRGAN에서 재구성된 이미지를 원본 이미지와 비교했습니다.연구 결과에 따르면 정면, 사선, 복잡한 장면에서 재구성된 초상화는 시각적 품질과 충실도가 크게 향상되었습니다.
자연 장면과의 비교에서 BSRGAN 재구성 효과는 ESRGAN보다 더 좋습니다.이 기술은 원래의 낮은 품질 이미지에서 알려지지 않은 복잡한 노이즈를 효과적으로 제거하고 선명한 모서리와 세부 사항을 생성할 수 있습니다.
* 의료 진단 분야
영상 장비의 한계와 복잡한 임상 환경으로 인해 의료 현장에서 얻는 영상은 해상도가 부족한 경우가 많고, 이는 의사의 정확한 진단과 질병 치료 결정에 직접적인 영향을 미칩니다.
쓰촨인민병원의 펭보와 다른 연구자들은 자연 이미지의 초고해상도 재구성을 위한 기본 방법으로 생성적 적대 신경망(SRGAN)을 사용했습니다.2개의 입력 채널을 줄이고 1개의 잔여 블록을 삭제하여 네트워크 구조를 변경하고, 네트워크 손실 함수를 개선했으며, 새로운 흐림 처리 데이터 세트를 추가하여 4배 확대된 선명한 가장자리와 아티팩트가 없는 의료용 초음파 영상을 재구성했습니다.
본 연구 결과는 "생성적 적대 신경망을 기반으로 한 초음파 영상의 초고해상도 재구성"이라는 제목으로 테라헤르츠 과학 및 전자정보기술 저널에 게재되었습니다.
서류 주소:
http://www.iaeej.com/xxydzgc/article/abstract/202305015
연구자들은 개선된 SRGAN을 다른 세 가지 알고리즘과 비교했습니다.결과에 따르면 개선된 SRGAN의 재구성 결과는 전반적으로 더 매끄러워졌고 텍스처 가장자리가 더 선명해졌습니다.
* 위성 원격탐사 분야
최근 들어 원격 감지 위성 이미지는 환경 모니터링, 자원 탐사, 재난 경보, 군사 등의 분야에서 널리 활용되고 있습니다. 그러나 대기 변화, 전송 노이즈, 모션 블러, 샘플링이 부족한 광학 센서와 같은 요소로 인해 원격 감지 위성 이미지의 선명도가 심각하게 제한됩니다. 초고해상도 기술은 저해상도 이미지를 처리하고 향상시킴으로써 위성 원격 감지 데이터의 품질과 가용성을 개선할 수 있습니다.
하얼빈 공업대학의 얀 보디(Yan Bodhi) 등은 원격 탐사 영상에서 로컬 클러스터 대상 지역의 세부적인 특징 정보를 도입하여 완전한 원격 탐사 영상의 샘플링과 재구성에 활용하고, 다층 신경망을 통해 다양한 규모의 영상 특징을 추출하고, 잔여 학습을 통해 이러한 특징을 융합하여 재구성했습니다.이 방법은 로컬 이미지의 픽셀 정보를 활용해 글로벌 원격 감지 이미지의 세부적인 효과를 크게 개선하고 클러스터 대상 영역의 해상도를 최적화할 수 있습니다.
"로컬 고화질 이미지와 결합된 원격 감지 클러스터 목표 영역의 초고해상도 재구성"이라는 제목의 이 업적은 난징 항공우주대학 저널에 게재되었습니다.
서류 주소:
https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002
본 연구에 제시된 비교 차트는 이 방법이 시각화 효과 측면에서 기존의 다른 방법보다 훨씬 더 우수하다는 것을 보여줍니다.도시와 야외 장면에 적합하며 좋은 결과를 보여줍니다.
* 디지털 엔터테인먼트
애니메이션은 여러 개의 정지 이미지를 연결한 것으로 구성되며, 정지 이미지의 해상도는 최종 애니메이션의 선명도에 영향을 미칩니다. 하지만 기존의 손으로 그린 그림이나 디지털 그림은 초안의 고해상도를 보장할 수 없으며, 이는 사용자의 시각적 경험에 매우 불편합니다. 초고해상도 기술을 적용하면 저해상도의 이미지를 고해상도 이미지로 변환할 수 있으며, 이를 통해 더욱 세부적인 묘사와 질감을 표현할 수 있어 애니메이션 작품의 이미지가 더욱 생생하고 사실적으로 표현됩니다.
빌리빌리는 Real-CUGAN(Real Cascaded-U-Net-style Generative Adversarial Networks)이라는 애니메이션 품질 복원 모델을 출시했습니다.
먼저 연구진은 이 모델을 사용하여 애니메이션 프레임을 분할하고, 이미지 품질 평가 모델을 사용하여 후보 블록의 점수를 매기고 필터링하여 최종적으로 수백만 개의 고품질 애니메이션 이미지 블록으로 구성된 훈련 세트를 얻었습니다.
그런 다음 다단계 저하 알고리즘을 통해 고화질 이미지 블록을 다운샘플링하여 낮은 품질의 이미지를 얻습니다. 이를 통해 모델은 낮은 품질의 이미지에서 높은 품질의 이미지로 재구성하는 프로세스를 학습하고 최적화할 수 있습니다. 훈련이 완료되면 모델은 실제 저품질 2차원 이미지를 고화질 이미지로 처리할 수 있습니다.
다양한 알고리즘의 비교 차트는 다음과 같습니다.
초고해상도 오픈소스 데이터세트 및 튜토리얼
현재,HyperAI의 공식 웹사이트는 수많은 초고해상도 리소스를 출시했습니다.공개 튜토리얼과 데이터세트가 포함되어 있습니다.
* 공개 튜토리얼
APISR은 애니메이션 이미지와 비디오의 해상도를 개선하기 위한 오픈 소스 프로젝트입니다. 낮은 품질, 낮은 해상도의 애니메이션 이미지와 비디오 소스를 복원하고 향상시키고, 다양한 이미지 저하 문제(흐림, 노이즈, 압축 아티팩트 등)를 처리할 수 있습니다.
온라인 운영 주소:https://hyper.ai/tutorials/31383
SUPIR은 이미지의 세부 사항과 사실성을 유지하면서 저해상도 이미지를 고해상도로 업스케일하고 다양하고 복잡한 저하 상황을 처리할 수 있습니다.
온라인 운영 주소:https://hyper.ai/tutorials/30940
3. 잠복 확산을 이용한 영상 초고해상도화
이 튜토리얼에서는 디퓨저 라이브러리를 사용하여 잠재 확산 이미지 초고해상도 모델을 구현하는 방법을 보여줍니다.
온라인 운영 주소:https://hyper.ai/tutorials/26207
4. 효율적인 서브픽셀 CNN을 이용한 이미지 초고해상도화
이 튜토리얼에서는 효율적인 하위 픽셀 모델을 사용하여 BSDS 500 데이터 세트에 대한 초고해상도를 구현합니다.
온라인 운영 주소:https://hyper.ai/tutorials/25044
* 공개 데이터 세트
1. MSU 초고해상도 데이터 세트
데이터 세트에는 실내 및 실외 비디오와 애니메이션이 포함되어 있으며, 모든 비디오는 낮은 SI/TI 값과 단순한 질감을 가지고 있습니다. 압축 아티팩트를 최소화하고 세부 정보를 복원하도록 설계되었습니다.
직접 사용:https://hyper.ai/datasets/20401
2. MSU 비디오 초고해상도 데이터 세트
이 데이터 세트는 비디오 초고해상도 작업에 사용되며 얼굴, 텍스트, QR 코드, 번호판, 패턴이 표시되지 않은 질감, 작은 세부 정보 등 세부 복원 작업에서 가장 복잡한 내용을 담고 있습니다. 이 영상에는 여러 유형의 모션과 여러 유형의 블러링(바이큐빅 보간, 가우시안 블러, 다운샘플링)이 포함되어 있습니다.
직접 사용:https://hyper.ai/datasets/17212
3. DRealSR 초고해상도 이미지 데이터 세트
이 데이터 세트는 실제 이미지 저하 과정에 대한 초고해상도 이미지 데이터 세트로, 기존 시뮬레이션 이미지 저하의 한계를 완화합니다. 이 데이터 세트는 광고 포스터, 식물, 사무실, 건물 등 실내 및 실외 장면을 다룹니다.
직접 사용:https://hyper.ai/datasets/20446
4. TextZoom 초고해상도 데이터 세트
이 데이터 세트는 저해상도(LR)와 고해상도(HR) 이미지 쌍으로 구성되어 있습니다. 이 사진은 다양한 초점거리를 가진 카메라로 야외에서 촬영되었습니다. 각 이미지 쌍에는 대소문자를 구분하는 문자열(구두점 포함), 경계 상자 유형 및 원래 초점 거리로 구성된 레이블이 있습니다.
직접 사용:https://hyper.ai/datasets/19550
5.SR-RAW 이미지 초고해상도 데이터 세트
이 데이터 세트에는 높은 광학 줌 수준에서 촬영한 실제 고해상도 이미지와 RAW 센서 데이터가 포함되어 있습니다. 각 시퀀스에는 서로 다른 초점 거리에서 촬영한 7개(일부는 6개)의 이미지가 포함되어 있습니다.
직접 사용:
https://hyper.ai/datasets/19743
6.Set5, Set14 복잡도가 낮은 단일 이미지 초고해상도 데이터 세트
이는 비음수 이웃 임베딩을 기반으로 한 복잡도가 낮은 단일 이미지 초고해상도 데이터 세트입니다. 훈련 세트는 단일 이미지 초고해상도 재구성에 사용되며, 저해상도 이미지를 기반으로 고해상도 이미지를 재구성하여 더욱 자세한 정보를 얻습니다. 컴퓨터 비전 및 그래픽, 의료 영상, 보안 모니터링 및 기타 분야에서 널리 사용됩니다.
직접 사용:
https://hyper.ai/datasets/5382
7.DIV2K 단일 이미지 초고해상도 데이터 세트
이 데이터 세트에는 다양한 저하 유형을 지닌 1000개의 저해상도 이미지가 포함되어 있으며, 이를 사용하여 저해상도 이미지에서 고해상도 이미지를 재구성할 수 있습니다.
직접 사용:https://hyper.ai/datasets/15624
8.S2-NAIP 미국 초고해상도 원격 감지 데이터 세트
이 데이터 세트에는 미국 본토의 NAIP와 Sentinel-2 영상이 함께 포함되어 있습니다. 표면 모니터링, 자원 관리, 환경 변화 평가에 있어 고정밀 데이터 지원을 제공합니다.
직접 사용:
https://hyper.ai/datasets/30427
9. Sun-Hays 80 데이터 세트 초고해상도 이미지 데이터 세트
이 데이터 세트는 글로벌 장면 설명을 사용하여 이미지 데이터베이스에서 관련 장면을 비교하고 검색합니다. 이 장면은 이미지 샘플링 문제를 제한하기 위한 이상적인 예제 텍스처를 제공합니다.
직접 사용:https://hyper.ai/datasets/5391
10. Urban100 초고해상도 재구성 데이터 세트
이 데이터 세트에는 다양한 주파수 대역의 세부 정보가 담긴 까다로운 도시 풍경이 포함되어 있습니다. 이중입방 보간법을 사용하여 실제 이미지를 축소하면 LR/HR 이미지 쌍을 얻어 훈련 및 테스트 데이터 세트를 얻을 수 있습니다.
직접 사용:
https://hyper.ai/datasets/5385
위의 내용은 HyperAI 공식 웹사이트에 있는 초고해상도 리소스를 요약한 것입니다. 고품질 프로젝트를 발견하시면, 배경에 메시지를 남겨서 추천해 주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 다양한 기술적인 문제를 논의하고 신청 결과를 공유하기 위해 그룹에 가입해 주세요~
QR 코드를 스캔하여 튜토리얼 교환 그룹에 참여하세요
