HyperAIHyperAI

Command Palette

Search for a command to run...

用于高效光流估计的循环部分核网络

Xu-Cheng Xiangyang; Yin Xiaobin; Ji Henrique; Zhu Morimitsu

摘要

光流估计是一项具有挑战性的任务,旨在预测图像间每个像素的运动向量。近年来,许多方法通过采用更大、更复杂的模型来提升估计精度,但这在一定程度上限制了光流算法的广泛应用,同时也增加了训练通用模型的难度,因为高质量的光流数据难以获取。本文提出了一种小型且高效的光流估计模型。我们设计了一种新型的空间递归编码器,能够在显著减小模型规模的同时提取具有判别性的特征。与传统的循环单元不同,我们引入了部分核卷积(Partial Kernel Convolution, PKConv)层,仅通过一个共享模块即可生成具有可变多尺度特性的特征。此外,我们还设计了高效的可分离大核(Separable Large Kernels, SLK),在计算开销极低的前提下捕捉大范围上下文信息。在多个公开基准测试中的实验结果表明,我们的方法在保持极低参数量和内存占用的同时,实现了当前最先进的泛化性能。在Spring基准测试中,无需微调即可排名第一,性能提升超过10%,且所需浮点运算次数(FLOPs)比次优方法少一个数量级,内存占用也减少了四倍以上。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供