HyperAIHyperAI

Command Palette

Search for a command to run...

CONVIQT:対照的ビデオ品質推定器

Pavan C. Madhusudana Neil Birkbeck Yilin Wang Balu Adsumilli Alan C. Bovik

概要

視覚的動画品質評価(VQA)は、多数のストリーミングおよび動画共有プラットフォームにおいて不可欠な要素である。本研究では、自己教師学習(self-supervised)の枠組みで、人間の知覚に関連する動画品質表現を学習する問題に取り組む。深層学習モデルに、空間特徴を抽出する深層畳み込みニューラルネットワーク(CNN)と、時間的情報を捉える再帰型ユニットを組み合わせ、歪みタイプの識別および劣化レベルの決定を補助タスクとして用いる。モデルはコントラスト損失(contrastive loss)を用いて学習され、この学習フレームワークおよび得られたモデルを「CONtrastive VIdeo Quality EstimaTor(CONVIQT)」と呼ぶ。テスト段階では、学習済みモデルの重みを固定し、線形回帰器を用いて学習された特徴量を、参照なし(no-reference, NR)設定下での品質スコアにマッピングする。複数のVQAデータベース上で包括的な評価を実施し、モデルの予測値と真値品質スコアとの相関関係を分析した結果、既存の最先端NR-VQAモデルと比較しても競争力のある性能を達成した。なお、本モデルはこれらのデータベースで訓練されていないにもかかわらずである。アブレーション実験により、学習された表現が合成歪みおよび現実的な歪みの両方にわたって極めて高いロバスト性と一般化能力を有していることが示された。本研究の結果から、自己教師学習を用いることで、人間の知覚に根ざした強力な表現を獲得可能であることが明らかになった。本研究で使用した実装コードは、https://github.com/pavancm/CONVIQT にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CONVIQT:対照的ビデオ品質推定器 | 記事 | HyperAI超神経