유튜브 스타 프로그래머, 미국, 일본, 러시아의 옛 거리 영상 복원

유튜브에는 역사 영상을 복원하는 데 중독된 업 마스터가 있습니다. 현재 그는 AI 기술을 활용해 100년 전 뉴욕, 도쿄 등지의 거리 영상을 복원하고 있습니다. 지난번에는 100년 전 옛 베이징의 거리 풍경을 경험해 보았는데, 이번에는 100년 전 도쿄와 뉴욕의 거리로 여행을 떠나볼까요!

100년 전 AI가 복원한 베이징 거리 풍경 영상이 인터넷에서 인기를 끌었던 걸 기억하시나요? (보다"AI가 복원한 중화민국 베이징 거리 풍경 영상, 인터넷에서 인기 만점, 시간 여행으로 안내합니다"）

같은 기간 동안 전 세계의 다른 도시들은 어떤 모습이었을까요? 러시아의 엔지니어인 데니스 시리아예프는 AI 기술을 사용하여 많은 오래된 영상을 복원하여 YouTube에서 인기를 얻었습니다.

1896년 모스크바에서 1911년 뉴욕, 그리고 1913년 도쿄까지, 데니스는 네티즌들이 100년 전 이 도시들의 관습을 느낄 수 있도록 했습니다.

"역 도착 열차" 복원 성공

올해 2월, 데니스 시리아예프는 AI 기술을 이용해 복원된 인류 역사상 최초의 영화인 "역에 도착하는 기차"의 영상을 유튜브에 업로드했습니다.

놀랍게도 그 영상은 하룻밤 사이에 큰 화제가 되었고, 복원된 영상은 지금까지 400만 번 이상 조회되었습니다. 

125년 후, 원래의 50초짜리 흑백 무성 영화는 데니스가 AI 기술을 사용하여 채색하고 4K, 60fps 화질의 고화질 버전으로 업그레이드하여 오늘날 우리는 더욱 사실적인 역사적 영상을 볼 수 있게 되었습니다.

뉴욕, 도쿄, 모스크바 영상 복원: 네티즌에게 숙제 제출

첫 번째 복원 작업이 큰 호응을 얻은 후, 데니스는 많은 네티즌의 요청에 따라 몇 개의 오래된 영상을 더 복원하여 모든 사람이 100년 전의 모스크바, 뉴욕, 도쿄를 경험할 수 있도록 했습니다.

 1896년 모스크바: 번화한 상업 거리 

데니스의 AI 타임머신은 1896년에 처음으로 모스크바를 선택했습니다. 이 도시는 1147년에 모스크바 강을 따라 건설되었으며, 거의 900년의 역사를 가지고 있습니다.

19세기 말, 러시아는 산업혁명을 막 끝냈고, 2만 개가 넘는 산업 및 상업 기업이 있었습니다.근로자 수는 12만 명에 이르렀다.

이 영상은 상점들이 늘어서 있고, 말이 끄는 마차, 경찰관, 상인들로 북적이는 모스크바의 트베르스카야 거리를 담고 있습니다.

2km도 안 되는 거리에 있는 이 거리를 따라 걸어가면 유명한 크렘린궁이 나옵니다. 당시 이곳은 차르의 거주지였으며, 현재는 러시아 대통령궁입니다.

 1911년 뉴욕: 유럽 이민자들의 미국 꿈 

데니스는 또한 1911년 뉴욕시의 유명한 영상을 복원 대상으로 선택했습니다.

8분 35초 분량의 이 영상은 미국이 급속한 도시화를 겪고 제2차 산업 혁명으로 미국에서 수많은 일자리가 창출되던 1911년으로 사람들을 데려갑니다.

원작 영화는 스웨덴 회사에서 촬영했고 "뉴욕으로의 여행"이라는 제목을 붙였습니다.

2018년 현대미술관 개관

19세기 말과 20세기 초, 사회적 침체로 인해 실업을 겪은 많은 유럽인들이 "미국의 꿈"을 좇아 바다를 건너는 여행을 선택했습니다.

유럽으로부터의 이민이 최고조에 달했다. 이 중 가장 유명한 것은 1912년 4월 영국에서 출항한 타이타닉호입니다.

"뉴욕 여행"의 시작 부분에서는 크루즈선이 높은 빌딩, 교통 체증, 사람들이 있는 번화한 뉴욕을 향해 천천히 항해합니다.

 1913-1915 도쿄: 메이지 유신 이후 안정적인 번영 

이 원본 영상은 1차 세계대전(1914-18)이 시작되기 직전인 1913년에서 1915년 사이에 일본 도쿄에서 외국 사진작가들이 촬영한 것입니다.

당시 일본은 메이지 유신 이후 수십 년간의 안정적인 발전을 거쳐 번영의 시대를 누리고 있었습니다.도쿄의 인구는 메이지 유신 이전 최고치인 200만 명을 넘어섰습니다.

정장을 입은 일본인 교사들과 거리에서 실크해트를 쓴 행인들은 모두 그 당시 일본이 서양과 동양 문화가 융합되는 변화의 순간을 겪고 있었음을 보여줍니다.

아직도 만족스럽지 않다면 Denis의 YouTube 홈페이지로 가서 시간 여행을 계속하세요.

https://www.youtube.com/c/DenisShiryaev/videos

데니스 시리아예프는 이러한 결과가 DAIN, ESRGAN, DeOldify와 같은 AI 기술 덕분에 달성되었다고 겸손하게 말했습니다. 이런 기술을 사용하면 누구나 할 수 있습니다.

오래된 비디오 복원을 위한 3단계 루틴: 이미지 품질 개선, 프레임 보간 및 채색

  기가픽셀 AI: 이미지 품질을 개선하는 강력한 도구

데니스에 따르면,그는 먼저 Topaz Labs에서 개발한 상업용 이미지 편집 소프트웨어인 Gigapixel AI를 사용하여 원래의 매우 낮은 해상도의 비디오를 600%로 확장하여 4K 화질로 만들었습니다.

기가픽셀 AI는 초고해상도 복원 기술인 ESRGAN과 유사하게 작동하며, 독점적인 보간 알고리즘을 사용하여 이미지를 분석하고 세부 사항과 구조를 식별하여 이미지를 더욱 "완성"합니다.

확대된 이미지가 흐릿해지는 것을 방지하기 위해 이 소프트웨어는 딥 합성 신경망 기술을 사용하여 수백만 쌍의 이미지를 분석하고, 이미지에서 세부 정보가 어떻게 손실되었는지 파악한 다음 새 이미지에 세부 정보를 채웁니다.

  프레임 충전 모델: DAIN

다음으로, 데니스는 깊이 인식 비디오 프레임 보간 모델 DAIN을 사용하여 기존 비디오 클립의 키 프레임 사이에 비디오에 존재하지 않았던 프레임을 생성하여 삽입했습니다. 모델의 "상상력"에 의지하여 비디오의 프레임 속도를 초당 60프레임으로 높였습니다.

DAIN(Depth-Aware Video Frame Interpolation)은 상하이 교통대학교 박사과정생인 바오 웬보가 개발한 프레임 보간 알고리즘입니다.이 알고리즘은 30프레임 비디오를 480프레임으로 "상상적으로" 변환하여 비디오를 더 부드럽게 만들 수 있습니다.

프로젝트 주소: https://github.com/baowenbo/DAIN

  컬러링: DeOldify

저자는 색칠 과정을 위해 오래된 사진에 색칠을 하기 위해 개발된 기술인 DeOldify를 사용했습니다. 원리는 NoGAN 기술을 사용하는 것입니다. 이 기술은 GAN 학습의 장점인 뛰어난 색상 효과를 결합하는 동시에 불안정하고 깜빡이는 색상과 같은 몇 가지 부작용을 제거합니다.

프로젝트 주소: https://github.com/jantic/DeOldify

마지막으로, 초기의 몇몇 무성 영상의 경우, 데니스는 영상에 맞는 음향 효과를 추가하여 전반적인 시청각적 효과를 더욱 현실적으로 만들었습니다.

데니스는 머신 러닝 기술 분야를 좋아한다고 말했으며, 오래된 비디오를 복원하는 것은 이 기술을 적용한 그의 사례를 보여주는 한 예일 뿐이라고 말했습니다. 그는 앞으로도 GitHub에서 이러한 기술을 찾아볼 것이며, 자신의 블로그에서 학습 결과를 계속 공유할 것입니다.

-- 위에--