YouTube の有名プログラマーが米国、日本、ロシアの古代の街路風景のビデオを復元

YouTube のアップマスターは、歴史的なビデオを復元することに夢中です。現在、彼はAI技術を活用して、100年前のニューヨークや東京などの街頭ビデオを復元している。前回、100年前の古き北京の街並みを体験した後は、100年前の東京とニューヨークの街並みへ戻ってみましょう！

AI で復元され、インターネット上で人気となった 100 年前の北京の街並みビデオをまだ覚えていますか? （見る「AI が中華民国時代の北京のストリートビュー動画を復元し、インターネット上で人気を博し、タイムスリップさせてくれます。」)

同じ時期に、世界中の他の都市はどのような様子でしたか?ロシア出身のエンジニア、デニス・シルヤエフ氏は、AI テクノロジーを使用して多くの古いビデオを修復し、YouTube で人気を博しました。

1896 年のモスクワから 1911 年のニューヨーク、そして 1913 年の東京まで、デニスはネチズンに 100 年前の都市のスタイルを感じさせます。

「電車が駅に到着」を修理して有名になる

今年2月、デニス・シリャエフは人類史上初の映画「列車が到着」のビデオをYouTubeにアップロードし、AI技術を使って復元した。

驚いたことに、このビデオは一夜にして人気を博し、これまでに復元されたフィルムは 400 万回以上視聴されています。 

125 年後、デニスは AI テクノロジーを使用してオリジナルの 50 秒のサイレント白黒フィルムに色を加え、4K、60 fps の高解像度バージョンにアップグレードし、より本物の歴史を見ることができるようになりました。 。

ニューヨーク、東京、モスクワのビデオ修復：ネチズンに宿題を提出

最初の修復作業が大きな反響を呼んだ後、デニスは多くのネチズンの要望に応え、100年前のモスクワ、ニューヨーク、東京の様子を皆に見せるために数多くの古いビデオを修復した。

 1896 年のモスクワ: 活気のある商店街 

デニスの AI タイムマシンが最初に選んだのは 1896 年でした。この都市は 1147 年にモスクワ川沿いに設立され、900 年近くの歴史があります。

19 世紀末、ロシアは産業革命が完了したばかりで、20,000 を超えるさまざまな種類の工業および貿易企業がありました。従業員数は12万人に達した。

映像に記録されているのは、商店が立ち並び、馬車や警官、ビジネスマンで賑わうモスクワのトヴェルスカヤ通り。

この通りに沿って 2 キロメートル以内を歩くと、当時の皇帝の邸宅であり、現在はロシア大統領宮殿である有名なクレムリンに到着します。

 1911 年のニューヨーク: ヨーロッパ移民にとってのアメリカン ドリーム 

デニスはまた、修復のために 1911 年にニューヨーク市から撮影された有名なビデオを選択しました。

この 8 分 35 秒のビデオは、米国が急速な都市化の時期にあり、第二次産業革命によって米国に多数の雇用機会が創出された 1911 年に人々を思い出させます。

オリジナルの映画はスウェーデンの会社によって撮影され、「ニューヨークへの旅」と呼ばれていました。

2018年にニューヨーク近代美術館が公開

19世紀末から20世紀初頭、社会の停滞で失業に陥った多くのヨーロッパ人は、「アメリカン・ドリーム」を求めて海を渡る道を選んだ。

ヨーロッパからの移民がピークに達します。その中で最も有名なのは、1912 年 4 月にイギリスを出発したタイタニック号です。

『ニューヨークへの旅』の冒頭でも、高層ビルが立ち並び、交通量が多く、賑やかなニューヨークに向けてクルーズ船がゆっくりと航行している。

 1913～1915年 東京：明治維新後の安定と繁栄 

このオリジナル素材は、第一次世界大戦 (1914 ～ 1918 年) が始まったばかりの 1913 年から 1915 年にかけて、日本の東京で外国人写真家によって撮影されました。

この頃、日本は明治維新後の数十年にわたる着実な発展を経て、繁栄の状態にありました。東京の人口は200万人を超え、明治維新前の最高水準に戻った。

スーツ姿の日本語教師やシルクハットをかぶった街行く人々の姿は、当時の日本が西洋文化と東洋文化が融合する変革の瞬間を迎えていたことを物語っています。

それでも十分ではないと感じる学生は、Denis の YouTube ホームページにアクセスして、時間の旅を続けることができます。

https://www.youtube.com/c/DenisShiryaev/videos

Denis Shiryaev 氏は、これらの結果を達成できたのは、すべて DAIN、ESRGAN、DeOldify などの AI テクノロジーのおかげだと謙虚に述べました。これらのテクニックを使えば誰でもできます。

古いビデオを修復するための 3 ステップの方法: 画質の向上、フレームの挿入、着色

  画質向上のための強力なツール: Gigapixel AI

デニスさんによると、彼はまず、Topaz Labs が開発した商用画像編集ソフトウェアである Gigapixel AI を使用して、元の超低解像度ビデオを 600% で拡大し、4K 品質にアップグレードしました。

ギガピクセル AI の動作原理は ESRGAN (超解像度復元テクノロジー) に似ており、独自の補間アルゴリズムを使用して画像を分析し、詳細と構造を特定して画像をさらに「完成」させることができます。

拡大後の画像のぼやけを避けるために、このソフトウェアはディープ畳み込みニューラル ネットワーク テクノロジーを使用して何百万もの画像のペアを分析し、画像内の細部がどのように失われているかを理解し、新しい画像で細部を埋めます。

  フレームパッチモデル：DAIN

次に、Denis は、深度を考慮したビデオ フレーム補間モデル DAIN を使用して、モデルの「想像力」に頼って、既存のビデオ クリップのキー フレーム間に、以前はビデオに存在しなかったフレームを作成して挿入し、フレーム レートを向上させました。 1 秒あたり 60 フレームのビデオ。

DAIN (Depth-Aware Video Frame Interpolation) は、上海交通大学の博士課程学生 Bao Wenbo によって開発されたフレーム補間アルゴリズムです。このアルゴリズムは、30 フレームのビデオを 480 フレームのビデオに「ブレインフィル」して、ビデオをより滑らかにすることができます。

プロジェクトアドレス: https://github.com/baowenbo/DAIN

  色: DeOldify

着色プロセスでは、古い写真を着色することを目的として開発された技術「DeOldify」を使用しました。原理は、優れた着色効果などの GAN トレーニングの利点を組み合わせた NoGAN テクノロジーを使用することで、不安定な着色や画像のちらつきなどの副作用を排除します。

プロジェクトアドレス: https://github.com/jantic/DeOldify

最後に、初期のサイレント ビデオの場合、デニスはビデオに対応する音響効果素材も追加して、全体的な視聴覚効果をよりリアルにしました。

デニス氏は、機械学習テクノロジーの分野が大好きで、古代のビデオの復元は、このテクノロジーの応用結果のデモンストレーションにすぎないと述べました。彼は今後も GitHub でそのようなテクノロジーを探し、学習結果をブログで共有し続けるつもりです。

- 以上 -