HyperAIHyperAI

Command Palette

Search for a command to run...

ShareCMP: 偏光を意識したRGB-Pセマンティックセグメンテーション

Zhuoyan Liu Bo Wang Lizhi Wang Chenyu Mao Ye Li

概要

マルチモーダル意味セグメンテーションは急速に発展しているが、RGB-偏光(RGB-Polarization)モダリティは依然として十分に探求されていない。この課題に取り組むため、我々は12の典型的な水中意味クラスを含むUPLight RGB-Pセグメンテーションベンチマークを構築した。本研究では、共有双枝構造(shared dual-branch architecture)を採用したRGB-P意味セグメンテーションフレームワーク「ShareCMP」を提案する。この構造により、従来の双枝モデルと比較してパラメータ数を約26~33%削減できる。また、エンコーダに richer な偏光特性を持つ偏光モダリティ画像を生成するための「偏光生成注意機構(Polarization Generate Attention: PGA)モジュール」を設計した。さらに、クラス偏光意識損失(Class Polarization-Aware Loss: CPALoss)を導入し、エンコーダが偏光モダリティ情報をより効果的に学習・理解できるようにするとともに、PGAモジュールの最適化を実現した。3つのRGB-Pベンチマークを対象とした広範な実験の結果、ShareCMPはUPLight(92.45%(+0.32%))、ZJU(92.7%(+0.1%))、MCubeS(50.99%(+1.51%))の各データセットにおいて、パラメータ数が少ないながらも、既存の最良手法を上回る最先端のmIoU性能を達成した。コードは https://github.com/LEFTeyex/ShareCMP にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています