HyperAIHyperAI

Command Palette

Search for a command to run...

チャネル化された軸方向アテンションによるセマンティックセグメンテーション ― 空間アテンション内におけるチャネル関係の考慮

Ye Huang Di Kang Wenjing Jia Xiangjian He Liu Liu

概要

空間的およびチャネル的アテンションは、それぞれ空間次元およびチャネル次元における意味的依存関係をモデル化するものとして、近年、セマンティックセグメンテーションの分野で広く利用されている。しかし、空間的アテンションとチャネル的アテンションを別々に計算する手法は、特に困難なケースにおいて誤差を生じる場合がある。本論文では、計算負荷をほとんど増加させることなく、チャネルアテンションと空間アテンションを単一の演算としてシームレスに統合する「チャネル化軸向アテンション(Channelized Axial Attention: CAA)」を提案する。具体的には、空間アテンションにおけるドット積演算を二つの部分に分解し、その間にチャネル間の関係を挿入することで、各空間位置において独立して最適化されたチャネルアテンションを実現する。さらに、グループ化ベクトル化(grouped vectorization)を導入し、実行速度を低下させることなく極めて少ないメモリ消費でモデルを実行可能にした。Cityscapes、PASCAL Context、COCO-Stuffなど複数のベンチマークデータセット上で実施した比較実験の結果、本手法は、二重アテンション(dual attention)を含む多数の最先端セグメンテーションモデルを、すべてのテストデータセットで上回ることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています