HyperAIHyperAI

Command Palette

Search for a command to run...

FlowFormer : Une architecture Transformer pour le flux optique

Zhaoyang Huang Xiaoyu Shi Chao Zhang Qiang Wang Ka Chun Cheung Hongwei Qin Jifeng Dai Hongsheng Li

Résumé

Nous introduisons Optical Flow Transformer, surnommé FlowFormer, une architecture de réseau neuronal basée sur les transformateurs pour l’apprentissage du flux optique. FlowFormer découpe en tokens le volume de coût 4D construit à partir d’une paire d’images, encode ces tokens de coût dans une mémoire de coût à l’aide de couches de transformateurs à groupes alternés (AGT) dans un espace latent original, puis décode cette mémoire de coût à l’aide d’un décodeur récurrent basé sur les transformateurs et des requêtes de position dynamiques pour le coût. Sur le benchmark Sintel, FlowFormer atteint des erreurs moyennes au point final (AEPE) de 1,159 et 2,088 respectivement sur les passes propre et finale, soit une réduction de 16,5 % et 15,5 % par rapport au meilleur résultat publié (1,388 et 2,47). En outre, FlowFormer démontre également une excellente capacité de généralisation. Sans avoir été entraîné sur Sintel, il atteint une AEPE de 1,01 sur la passe propre de l’ensemble d’entraînement Sintel, surpassant ainsi le meilleur résultat publié (1,29) de 21,7 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp