AI が中華民国時代の北京のストリートビュー動画を修復し、インターネット上で人気を博し、時間を経て見ることができる

Weibo ブロガー @大谷Spitzer が 5 月 8 日にビデオをアップロードすると、インターネット上で再投稿の波が起こりました。彼は、1920 年から 1929 年にかけてカナダ人写真家によって撮影された中華民国時代の北京の街路風景の白黒ビデオを使用し、AI を使用して色付け、フレーム レートの修復、超解像度を使用してネチズンを取り戻しました。百年前、かつての繁栄を体験してください。

Weibo ブロガー @大谷Spitzer が 5 月 8 日にビデオをアップロードすると、インターネット上で再投稿の波が起こりました。

彼は、1920 年から 1929 年にかけてカナダ人写真家によって撮影された中華民国時代の北京の街路風景の白黒ビデオを使用し、AI を使用して色付け、フレーム レートの修復、超解像度を使用してネチズンを取り戻しました。百年前、かつての繁栄を体験してください。

中華民国への旅: AI が 100 年前の北京の街並みを復元

元のビデオは4年前に人民日報が公開したアーカイブ映像からのもので、ちょうど100年前の1920年から1929年にかけてカナダ人写真家によって撮影されたものである。

オリジナル映画は現在、カナダ国立映画委員会のコレクションにあります。

グレゴリオ暦の 1920 年は中華民国 9 年であり、中華民国北洋政府の時代です。

この時期、中国でも「二十一運動の廃止」「孫文の死」「段祺瑞の臨時政府宣言」などの重要な歴史的出来事が起きた。

第一次世界大戦の終わりに、中国はしばしの休息を得た。また、国内の初期段階の産業が大きな成長の機会を得たのもこの頃だった。

90年代生まれのインディーズゲーム開発者 @大谷Spitzer

このプロジェクトの作者は、1990 年代生まれの独立系ゲーム開発者です。彼は北京で生まれ、中国人民大学で美術の学位を取得し、ニューヨークの視覚芸術大学院で学位を取得しました。現在はニューヨークでインディペンデントゲームの開発に携わっている。

Hu Wengu (Weibo: @大谷Spitzer) アーティスト、ミュージシャン、プログラマー、ゲームデザイナーとして、10 年以上ゲーム開発と音楽の仕事に従事してきました。

代表作：『Comic Con Simulator』、『Eddy Violet』など。Eddy Violet は彼の 50 以上のゲーム作品の 1 つであり、中国では 10 万回ダウンロードされています。

ポートフォリオ: http://dgspitzer.my\-style.in/gameportfolio/

この映像はAIによりカラー化、フレームレート修復、超解像化が完了しました。

効果音はインターネットから、バックグラウンド トラックは北京の民俗音楽の達人の作品、そして道教音楽は北京の百龍寺の録音から来ています。技術パイプラインは、Denis Shiryae の画像復元チュートリアルに基づいています。

著者は、フレーム レート修復部分に、上海交通大学の Bao Wenbo 博士によってオープンソース化された DAIN フレーム補間アルゴリズムを使用しています。 (プロジェクトアドレス: https://github.com/baowenbo/DAIN)

2 つの瞬間の入力フレームが与えられると、最初にオプティカル フローと深度マップが推定され、次に提案された深度認識フロー投影レイヤーを使用して中間フローが生成されます。

解像度の向上部分的に使用エスガン、GAN に基づいた強化された超解像手法。

ビデオぬりえ部分的に使用古いものを取り除く、古い画像やビデオを色付けして復元するためのディープラーニング プロジェクト。カリフォルニアを拠点とするアーティスト兼エンジニアによる Github でのオープンソース化 (プロジェクトアドレス: https://github.com/jantic/DeOldify)

DeOldify は、新しく効率的なイメージ間の GAN トレーニング方法である NoGAN を使用します。細部の処理が改善され、レンダリングがよりリアルになります。

VirtualDub ソフトウェアもビデオを処理して、古い映画からのノイズを軽減するために使用されました。

最後に、このような 10 分間のビデオは、オープンソースのアルゴリズムとソフトウェアの完璧な組み合わせによって私たちに提供され、ネチズンが中華民国に戻り、北京の賑やかな街並みを体験するようになりました。

- 以上 -