LIGAR : Reconnaissance d’actions générales léger

Une quantité croissante de tâches pratiques dans le domaine de la compréhension vidéo soulève un défi majeur : concevoir une solution universelle, accessible à un large public et adaptée à l’inférence orientée vers les bords (edge-oriented inference). Dans ce travail, nous nous concentrons sur la conception d’une architecture de réseau et d’un pipeline d’entraînement capables de relever ces défis. Notre architecture intègre les meilleurs éléments des approches précédentes et permet d’obtenir des résultats satisfaisants non seulement sur des tâches de reconnaissance d’actions basées sur l’apparence, mais également sur des problèmes reposant sur le mouvement. Par ailleurs, nous formulons le problème du bruit d’étiquetage induit et proposons un cadre appelé Adaptive Clip Selection (ACS) pour y remédier. Ensemble, ces composants constituent le cadre LIGAR, une solution universelle pour la reconnaissance d’actions. Nous présentons également une analyse approfondie sur des jeux de données généraux et dédiés aux gestes, mettant en évidence un excellent compromis entre performance et efficacité par rapport aux solutions de pointe. Le code d’entraînement est disponible à l’adresse suivante : https://github.com/openvinotoolkit/training_extensions. Pour assurer une inférence efficace sur les dispositifs embarqués, tous les modèles entraînés peuvent être exportés au format OpenVINO.