深層学習に基づく圧縮UGC動画向けのフルレファレンスおよびノーレファレンス品質評価モデル

本稿では、圧縮されたユーザー生成コンテンツ（UGC）動画の品質を評価するための深層学習に基づく動画品質評価（VQA）フレームワークを提案する。提案するVQAフレームワークは、特徴抽出モジュール、品質回帰モジュール、品質プーリングモジュールの3つのモジュールから構成されている。特徴抽出モジュールにおいて、畳み込みニューラルネットワーク（CNN）の中間層から抽出された特徴を統合し、最終的な品質感知特徴表現を生成することで、低レベルから高レベルまでの視覚情報の有効活用を可能にする。具体的には、全中間層から抽出された特徴マップの構造的およびテクスチャ的類似性を、完全参照（FR）VQAモデル用の特徴表現として用い、中間特徴マップによって融合された最終特徴マップのグローバルな平均値と標準偏差を、参照なし（NR）VQAモデル用の特徴表現として計算する。品質回帰モジュールでは、全結合（FC）層を用いて品質感知特徴をフレーム単位のスコアに回帰する。最後に、主観的な評価を想起させる時間的プーリング戦略を採用し、フレーム単位のスコアを動画単位のスコアに統合する。提案モデルは、圧縮UGC VQAデータベースにおいて、最先端のFRおよびNR VQAモデルと比較して最高の性能を達成しており、また、実環境におけるUGC VQAデータベースにおいても良好な性能を示した。