듀크 대학교, 품질 낮은 모자이크 이미지 저장해 몇 초 만에 고화질 이미지로 변환하는 AI 알고리즘 제안
"모자이크" 픽셀 수준의 헤드샷을 고화질 사진으로 변환하는 것은 어떤가요? 듀크 대학이 제안한 AI 알고리즘은 '모자이크 제거'만 할 수 있는 게 아니라, 모든 주름과 모든 털을 정확하게 감지할 수 있을 만큼 정확합니다. 시도해 보시겠습니까?
고화질 이미지 품질을 추구하는 이 시대에, 우리는 낮은 화질에 대한 관용을 점점 더 약화시키고 있습니다.
지후에서 "저해상도"와 "이미지 품질이 나쁨"을 검색하면 "저해상도 사진을 고해상도 사진으로 변환하는 방법", "선명도가 낮은 사진을 복구하는 방법", "저품질 이미지 저장 방법"과 같은 질문이 많이 나옵니다.
그렇다면 모자이크 수준의 사진을 몇 초 만에 고화질로 바꾸는 것은 과연 어떤 것일까? 듀크 대학의 연구자들은 AI 알고리즘을 사용하여 알려줍니다.
이 프로젝트는 이제 GitHub에서 사용할 수 있습니다.https://github.com/adamian98/pulse
전례 없는 "모자이크"가 즉시 고화질로 전환됩니다.
듀크 대학교 연구원들은 다음과 같은 AI 알고리즘을 제안했습니다. PULSE(잠재 공간 탐사를 통한 사진 업샘플링).
이 알고리즘은 흐릿하고 알아볼 수 없는 얼굴 이미지를 그 어느 때보다 더 정교하고 사실적인 세부 정보가 담긴 컴퓨터 생성 이미지로 변환할 수 있습니다.
이전 방법을 사용하여 흐릿한 "헤드샷"을 더 선명하게 만들 경우, 사진 크기를 원래 해상도의 최대 8배까지만 늘릴 수 있습니다.
하지만 듀크 대학의 한 팀은 새로운 접근 방식을 생각해냈습니다.단 몇 초 만에,16×16 픽셀 저해상도(LR) 이미지를 64배 확대하여 1024 x 1024 픽셀 고해상도(HR) 이미지로 만들 수 있습니다.
이들의 AI 도구는 존재하지 않는 기능을 "상상"합니다.원래 LR 사진에서는 볼 수 없었던 모공, 잔주름, 속눈썹, 머리카락, 수염 등의 세부 사항도 알고리즘으로 처리한 후에는 선명하게 볼 수 있습니다.
구체적인 예를 살펴보겠습니다.
듀크 대학교의 컴퓨터 과학자이자 이 팀을 이끈 신시아 루딘은 "이렇게 적은 픽셀을 사용해 이렇게 방대한 양의 세부 정보를 담은 초고해상도 이미지를 만드는 것은 지금껏 한 번도 가능하지 않았습니다."라고 말했습니다.
실제 적용 측면에서 논문의 공동 저자인 사치트 메논은 "이 연구에서 우리는 얼굴을 개념 증명으로만 사용했습니다.
하지만 이론상으로는 이 기술은 보편적이어서 의학, 현미경, 천문학, 위성 이미지 등 다양한 분야에서 이미지 품질을 개선하는 데 사용될 수 있습니다. "
최고의 결과를 얻기 위해 기존 운영 방식을 혁신합니다.
저화질 영상을 고화질로 변환하는 방법은 많이 있었지만, 업계 최초로 64배의 화소 확대율을 구현했습니다.
기존 방식: 픽셀 매칭, 버그 발생 가능성 높음
이러한 문제를 처리할 때 기존 방법에서는 일반적으로 LR 이미지를 가져와서 추가로 필요한 픽셀 수를 "추측"한 다음, 이전에 처리된 HR 이미지의 해당 픽셀을 LR 이미지와 일치시키려고 합니다.
단순히 픽셀을 일치시키면 머리카락이나 피부의 질감과 같은 영역의 픽셀이 일치하지 않게 됩니다.
더욱이 이 방법은 HR 이미지의 광과민성과 같은 지각적 세부 사항도 무시합니다. 결국에는 부드러움과 민감도에 문제가 생길 것이고, 결과는 여전히 흐릿하거나 비현실적으로 보일 것입니다.
새로운 방법: 저화질 이미지 "링크"
듀크 대학 연구팀이 제안한 새로운 방법은 새로운 아이디어를 열어 주었다고 할 수 있다.
LR 이미지를 얻은 후, PULSE 시스템은 새로운 세부 정보를 천천히 추가하지 않습니다.대신 AI가 생성한 HR 이미지를 탐색하고, 이 HR 이미지에 해당하는 LR 이미지를 원본 이미지와 비교하여 가장 가까운 이미지를 찾습니다.
비유적으로 표현하자면, LR 이미지로 "점을 연결하는" 게임을 하는 것과 같습니다. 가장 유사한 LR 버전을 찾은 다음 거꾸로 작업하는 것입니다. 이 LR 이미지에 해당하는 HR 이미지가 최종 출력 결과입니다.
해당 팀은 생성적 적대 신경망(GAN)을 사용했습니다.이는 동일한 사진 데이터 세트를 사용하여 학습된 생성기와 판별기라는 두 개의 신경망으로 구성됩니다.
생성기는 학습된 얼굴을 시뮬레이션하여 AI가 생성한 얼굴을 제공하고, 판별기는 해당 출력을 받아 가짜로 착각할 만큼 사실적인지 여부를 판별합니다.
경험이 쌓일수록 생성기는 점점 더 좋아지다가, 결국 판별기는 더 이상 차이점을 알 수 없게 됩니다.
그들은 실험을 위해 몇 가지 실제 이미지를 사용했으며, 그 효과 비교는 다음 그림에 나와 있습니다.
생성된 고해상도 이미지는 여전히 원본 이미지와 약간의 차이가 있지만, 이전 방법보다 훨씬 선명합니다.
평가: 다른 방법보다 성능이 뛰어나고 실제 사진에 가까운 점수를 받았습니다.
연구팀은 잘 알려진 고해상도 얼굴 데이터 세트인 CelebA HQ에서 알고리즘을 평가했으며, 64배, 32배, 8배의 스케일링 인자를 사용하여 실험을 수행했습니다.
연구자들은 40명에게 PULSE와 다른 5가지 스케일링 방법을 통해 생성된 1,440개의 이미지를 1~5점 척도로 평가해 달라고 요청했습니다.PULSE는 실제 고품질 사진과 거의 같은 높은 점수를 받아 가장 좋은 성과를 보였습니다.
HR은 실제 고화질 인물 사진 데이터 세트이며, 그 점수는 PULSE보다 0.14점만 높습니다.
팀원들은 PULSE가 원본 이미지가 눈과 입을 인식하지 못하더라도 노이즈가 많고 품질이 낮은 입력 데이터로부터 사실적인 이미지를 만들어낼 수 있다고 말했습니다. 이는 다른 방법으로는 달성할 수 없는 것입니다.
하지만 연구진은 이 시스템은 아직 신원 인식에는 사용할 수 없다고 말했다. "보안 카메라로 찍은 초점이 흐릿하고 알아볼 수 없는 사진을 실제 사람의 선명한 이미지로 변환할 수는 없습니다.실제로 존재하지 않지만 실제처럼 보이는 새로운 얼굴을 생성할 뿐입니다. "
구체적인 응용 시나리오 측면에서 볼 때, 위에 언급한 것 외에도 이 기술은 앞으로 의학과 천문학에도 활용될 가능성이 있습니다. 일반인의 경우, 이 검은 기술을 이용하면 N년 전에 찍은 오래된 사진을 고화질로 변환할 수 있습니다. 편집자들에게는 좋은 소식입니다. 고화질 일러스트레이션을 찾는 것에 대해 더 이상 걱정할 필요가 없으니까요.
따뜻한 알림: 연구원들은 현재 진행 중인 CVPR 2020(컴퓨터 비전 및 패턴 인식 컨퍼런스)에서도 자신들의 방법을 소개할 예정이므로, 주의를 기울여 주시기 바랍니다.
http://cvpr2020.thecvf.com/program/tutorials
서류 주소:
https://arxiv.org/pdf/2003.03808.pdf
참고문헌:
https://www.sciencedaily.com/releases/2020/06/200612111409.htm
-- 위에--