Les correspondances entre les images encodent des informations riches sur le contenu dynamique dans les vidéos. Cependant, il est difficile de capturer et d'apprendre efficacement ces correspondances en raison de leur structure irrégulière et de leurs dynamiques complexes. Dans cet article, nous proposons un nouveau réseau neuronal qui apprend des représentations vidéo en agrégant des informations provenant de correspondances potentielles. Ce réseau, nommé $CPNet$CPNet, peut apprendre des champs 2D évoluant avec une cohérence temporelle. En particulier, il peut apprendre efficacement des représentations pour les vidéos en combinant l'apparence et le mouvement à longue portée à partir d'une entrée uniquement RGB. Nous fournissons de nombreuses expériences d'ablation pour valider notre modèle. CPNet montre une performance supérieure aux méthodes existantes sur Kinetics et atteint la performance de pointe sur Something-Something et Jester. Nous analysons le comportement de notre modèle et démontrons sa robustesse face aux erreurs dans les propositions.