HyperAIHyperAI

Command Palette

Search for a command to run...

FlowFormer:光流用Transformerアーキテクチャ

Zhaoyang Huang Xiaoyu Shi Chao Zhang Qiang Wang Ka Chun Cheung Hongwei Qin Jifeng Dai Hongsheng Li

概要

我々は、光流(optical flow)の学習を目的としたTransformerベースのニューラルネットワークアーキテクチャである「FlowFormer」を提案する。FlowFormerは、画像ペアから構築された4次元コストボリュームをトークン化し、新たな潜在空間において、交替グループTransformer(Alternate-Group Transformer: AGT)層を用いてコストトークンをコストメモリに符号化する。その後、動的位置コストクエリを用いた再帰的Transformerデコーダにより、このコストメモリをデコードする。Sintelベンチマークにおいて、FlowFormerはクリーンパスおよびファイナルパスでそれぞれ1.159および2.088の平均終点誤差(AEPE)を達成し、既存で最も優れた結果(1.388および2.47)に対して、それぞれ16.5%および15.5%の誤差低減を実現した。さらに、FlowFormerは優れた汎化性能も示している。Sintelデータセット上で訓練を行わずに、Sintelトレーニングセットのクリーンパスにおいても1.01のAEPEを達成し、既存で最も優れた結果(1.29)を21.7%の改善で上回った。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています