11日前

RAPIQUE:ユーザ生成コンテンツの高速かつ高精度な動画品質予測

Zhengzhong Tu, Xiangxu Yu, Yilin Wang, Neil Birkbeck, Balu Adsumilli, Alan C. Bovik
RAPIQUE:ユーザ生成コンテンツの高速かつ高精度な動画品質予測
要約

ユーザーゲネレーテッドコンテンツ(UGC)に対する視覚的盲目的または参照なしの動画品質評価は、近年注目される課題であり、これまで解決されていない困難な問題として浮上している。このようなコンテンツに適した正確かつ効率的な動画品質予測モデルの開発は、UGC動画のより知能的な分析・処理を実現するために強く求められている。従来の研究では、自然シーン統計(natural scene statistics)と深層学習特徴の両方が、空間的歪みを十分に捉えることができ、UGC動画品質の主要な要因の一つであることが示されている。しかしながら、これらのモデルは実用的な応用において、複雑で多様なUGC動画の品質を予測する上で、能力不足あるいは効率の悪さという課題を抱えていた。本研究では、ユーザーゲネレーテッドコンテンツ向けに効果的かつ効率的な動画品質評価モデルを提案する。このモデルは「Rapid and Accurate Video Quality Evaluator(RAPIQUE)」と命名し、最先端(SOTA)モデルと同等の性能を発揮しつつ、実行時間において数桁の高速化を達成することを示した。RAPIQUEは、品質に敏感なシーン統計特徴と意味に敏感な深層畳み込み特徴の両方の利点を統合・活用することで、動画品質モデリングにおける初めての汎用的かつ効率的な空間・時間(空間時間)帯域通過統計モデルの構築を可能にした。最近の大規模UGC動画品質データベースを用いた実験結果から、RAPIQUEはすべてのデータセットにおいてトップクラスの性能を発揮しつつ、計算コストを著しく低減していることが明らかになった。本研究が、実時間・低遅延を想定した動画品質問題の実用的モデリングに向けたさらなる研究を促進・啓発することを期待する。公開を目的として、RAPIQUEの実装コードをオンラインで無料公開している:\url{https://github.com/vztu/RAPIQUE}。

RAPIQUE:ユーザ生成コンテンツの高速かつ高精度な動画品質予測 | 最新論文 | HyperAI超神経