HyperAIHyperAI

Command Palette

Search for a command to run...

軽量型ビジョンTransformerにおけるローカルな認識の再考

Qihang Fan Huaibo Huang Jiyang Guan Ran He

概要

ビジョントランスフォーマー(ViTs)は、さまざまな視覚タスクにおいて有効であることが示されている。しかし、モバイル向けに小型化する際には、性能の著しい低下が生じる。そのため、軽量なビジョントランスフォーマーの開発は重要な研究課題となっている。本論文では、コンテキストに応じた局所強調を活用する軽量ビジョントランスフォーマー「CloFormer」を提案する。CloFormerは、従来の畳み込み演算子でよく用いられるグローバルに共有される重みと、アテンション機構において現れるトークン固有のコンテキストに応じた重みの関係に着目し、高周波の局所情報を効果的かつ簡潔に捉えるためのモジュールを提案している。CloFormerでは、アテンションスタイルの畳み込み演算子「AttnConv」を導入する。このAttnConvは、局所情報を集約する際に共有重みを用い、さらに設計されたコンテキストに応じた重みを用いて局所特徴を強化する。CloFormerでは、AttnConvと従来のアテンションを組み合わせ、プーリングを用いてFLOPsを削減することで、高周波と低周波の情報を同時に捉える能力を実現している。画像分類、物体検出、セマンティックセグメンテーションの多様な実験を通じて、CloFormerの優位性が実証された。コードは以下のURLで公開されている:\url{https://github.com/qhfan/CloFormer}。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています