HyperAIHyperAI

Command Palette

Search for a command to run...

学習品質を意識した動的メモリのビデオオブジェクトセグメンテーションへの応用

Yong Liu Ran Yu Fei Yin Xinyuan Zhao Wei Zhao Weihao Xia Yujiu Yang

概要

最近、いくつかの時空間記憶に基づく手法が、中間フレームとそのマスクを記憶として保存することで、ビデオ内の対象物体のセグメンテーションに役立つことを確認しています。しかし、これらの手法は主に対象フレームと記憶フレームとの間のより良いマッチングに焦点を当てており、明示的に記憶の品質に注意を払っていません。そのため、分割マスクが不十分なフレームが記憶されやすくなり、これがセグメンテーションマスクの誤差蓄積問題につながり、さらにセグメンテーション性能に影響を与える可能性があります。また、フレーム数の増加とともに記憶フレームが線形で増加することも、モデルが長時間ビデオを処理する能力を制限しています。これを解決するために、我々は各フレームのセグメンテーション品質を評価し、正確に分割されたフレームを選択的に記憶バンクに保存して誤差蓄積問題を防ぐための品質認識型動的記憶ネットワーク(Quality-aware Dynamic Memory Network: QDMN)を提案します。次に、セグメンテーション品質と時間的一貫性を組み合わせて記憶バンクを動的に更新することで、モデルの実用性を向上させます。特別な工夫なしで、我々のQDMNはDAVISおよびYouTube-VOSベンチマークにおいて新しい最先端の性能を達成しました。さらに、広範な実験により提案した品質評価モジュール(Quality Assessment Module: QAM)が一般的なプラグインとしてメモリベース手法に適用できること、そして性能が大幅に向上することを示しています。当方のソースコードはhttps://github.com/workforai/QDMN で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
学習品質を意識した動的メモリのビデオオブジェクトセグメンテーションへの応用 | 記事 | HyperAI超神経