HyperAIHyperAI

Command Palette

Search for a command to run...

FlowFormer:一种用于光流的Transformer架构

Zhaoyang Huang Xiaoyu Shi Chao Zhang Qiang Wang Ka Chun Cheung Hongwei Qin Jifeng Dai Hongsheng Li

摘要

我们提出了一种基于Transformer的神经网络架构——光流变换器(FlowFormer),用于学习光流。FlowFormer将由图像对构建的4D代价体(cost volume)进行分词处理,利用一种新颖的隐空间中的交替分组Transformer(Alternate-Group Transformer, AGT)层,将代价令牌编码为代价记忆(cost memory),并采用带有动态位置代价查询的循环Transformer解码器对代价记忆进行解码。在Sintel基准测试中,FlowFormer在clean pass和final pass上的平均端点误差(AEPE)分别达到1.159和2.088,相较于此前最优公开结果(1.388和2.47),分别降低了16.5%和15.5%。此外,FlowFormer还展现出优异的泛化能力:在未在Sintel数据集上进行训练的情况下,其在Sintel训练集clean pass上的AEPE达到1.01,优于此前最优结果(1.29),性能提升达21.7%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供