CT-Net : Réseau de tensorisation de canal pour la classification vidéo

La convolution 3D est puissante pour la classification vidéo, mais elle est souvent coûteuse en termes de calcul. Les études récentes se concentrent principalement sur la décomposition de cette opération selon les dimensions spatiale, temporelle et/ou canal. Malheureusement, la plupart des approches échouent à atteindre un équilibre optimal entre efficacité de la convolution et richesse des interactions entre caractéristiques. Afin de surmonter cette limitation, nous proposons un réseau novateur et concis, nommé Channel Tensorization Network (CT-Net), en traitant la dimension canal des caractéristiques d’entrée comme un produit de K sous-dimensions. D’un côté, cette approche factorise naturellement la convolution de manière multi-dimensionnelle, réduisant ainsi la charge computationnelle. De l’autre, elle renforce efficacement les interactions entre caractéristiques provenant de différents canaux, tout en élargissant progressivement le champ réceptif 3D de ces interactions, ce qui améliore la précision de classification. En outre, nous intégrons à notre module CT-Module un mécanisme de Tensor Excitation (TE), capable d’apprendre à exploiter de manière hautement dimensionnelle l’attention spatiale, temporelle et canal, afin de renforcer la coopération entre toutes les dimensions des caractéristiques dans le module CT-Net. Enfin, nous adaptons de manière flexible le modèle ResNet pour construire notre CT-Net. Des expériences étendues sont menées sur plusieurs benchmarks vidéo exigeants, tels que Kinetics-400, Something-Something V1 et V2. Notre CT-Net surpasser plusieurs approches récentes de pointe (SOTA) en termes de précision et/ou d’efficacité. Les codes et modèles seront disponibles à l’adresse suivante : https://github.com/Andy1621/CT-Net.