HyperAIHyperAI

Command Palette

Search for a command to run...

時空間ピクセルレベル対照学習を用いたソースフリー領域適応による動画セマンティックセグメンテーション

Shao-Yuan Lo Poojan Oza Sumanth Chennupati Alejandro Galindo Vishal M. Patel

概要

セマンティックセグメンテーションにおける教師なしドメイン適応(Unsupervised Domain Adaptation: UDA)は、ソースドメインのラベル付きデータとターゲットドメインのラベルなしデータの両方へのアクセスを前提として、ソース領域の知識をターゲット領域に転移する手法である。しかし、実世界のシナリオでは、ソースデータへのアクセスが制限されたり、不可能な場合が多く、そのような条件下ではUDAの実用性が著しく低下する。これを解決するため、近年の研究ではソースデータにアクセスせずに、事前に学習されたソースモデルをターゲットドメインに適応させる「ソースフリー・ドメイン適応(Source-Free Domain Adaptation: SFDA)」の枠組みが注目されている。しかし、既存のSFDA手法は適応に画像レベルの情報のみを用いるため、動画処理の文脈では最適な性能を発揮できないという課題がある。本研究では、時間的情報を活用することで動画適応を改善する「動画セマンティックセグメンテーション(Video Semantic Segmentation: VSS)」におけるSFDAを考察する。具体的には、空間時間的領域におけるピクセルレベルの明示的相関を学習する新しい手法である「空間時間的ピクセルレベル対照学習(Spatio-Temporal Pixel-Level, STPL)」を提案する。STPLは、空間時間的領域におけるピクセル間の意味的関係を明示的に学習することで、ラベルなしターゲットドメインへの適応に強力な自己教師信号を提供する。広範な実験により、STPLは現在のUDAおよびSFDA手法と比較して、VSSベンチマークにおいて最先端の性能を達成することが示された。コードは以下のURLで公開されている:https://github.com/shaoyuanlo/STPL


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
時空間ピクセルレベル対照学習を用いたソースフリー領域適応による動画セマンティックセグメンテーション | 記事 | HyperAI超神経