HyperAIHyperAI

Command Palette

Search for a command to run...

UGC動画向けの深層学習ベースの非参照品質評価モデル

Wei Sun Xiongkuo Min Wei Lu Guangtao Zhai

概要

ユーザー生成コンテンツ(UGC)動画の品質評価は、最終ユーザーの視聴体験を確保する上で重要な役割を果たしている。従来のUGC動画品質評価(VQA)研究では、フレームレベルの特徴を抽出するために画像認識モデルや画像品質評価(IQA)モデルが用いられてきたが、これらの手法は、タスク間のドメインシフトのため、最適解とは見なされていない。本論文では、動画フレームの生のピクセルから品質に敏感な空間特徴表現を直接学習できるエンドツーエンドの空間特徴抽出ネットワークを訓練することで、この問題に取り組む非常にシンプルながら効果的なUGC VQAモデルを提案する。また、空間特徴では表現できない時間的歪みを評価するために運動特徴も抽出する。提案手法では、空間特徴の抽出に非常に稀なフレームを、運動特徴の抽出には非常に低い空間解像度を持つ密集フレーム(すなわち動画チャンク)を用いるため、計算コストが低く抑えられる。より優れた品質に敏感な特徴を活用することで、単純な多層パーセプトロン(MLP)ネットワークを用いてチャンクレベルの品質スコアを回帰し、その後、時間方向の平均プーリング戦略を適用して動画レベルの品質スコアを算出する。さらに、異なる空間解像度間でのVQAにおける課題を解決するため、人間の視覚系のコントラスト感度関数から得られるマルチスケール重みを用いたマルチスケール品質統合戦略を導入する。実験結果から、提案モデルは5つの代表的なUGC VQAデータベースにおいて最良の性能を達成しており、本手法の有効性が示された。コードは公開予定である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています