HyperAIHyperAI

Command Palette

Search for a command to run...

NeRV:動画のためのニューラル表現

Hao Chen Bo He Hanyu Wang Yixuan Ren Ser-Nam Lim Abhinav Shrivastava

概要

我々は、動画をニューラルネットワーク内で符号化する新しいニューラル表現(NeRV)を提案する。従来の方法が動画をフレームの連続として扱うのに対し、NeRVはフレームインデックスを入力とするニューラルネットワークとして動画を表現する。指定されたフレームインデックスに対して、NeRVは対応するRGB画像を出力する。NeRVにおける動画符号化は、動画フレームにニューラルネットワークを適合させることに帰着し、復号処理は単純な前向き伝播(feedforward)操作で実現される。画像単位の暗黙的表現としてのNeRVは、全画像を出力するため、ピクセル単位の暗黙的表現と比較して極めて高い効率を示し、符号化速度を25倍から70倍、復号速度を38倍から132倍向上させながら、より優れた動画品質を達成している。このような表現により、動画をニューラルネットワークとして扱うことが可能となり、複数の動画関連タスクを簡素化できる。たとえば、従来の動画圧縮手法は、特定のタスクに特化した長く複雑なパイプラインに制限されている。これに対してNeRVを用いることで、任意のニューラルネットワーク圧縮手法を動画圧縮の代理として利用でき、従来のフレームベースの動画圧縮手法(H.264、HEVCなど)と同等の性能を達成することが可能である。さらに、圧縮に加えて、NeRVの汎化能力を動画ノイズ除去に応用することも示した。ソースコードおよび事前学習済みモデルは、https://github.com/haochen-rye/NeRV.git にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています