Apprentissage des Changements d'Action en Mesurant les Relations Textuelles Verbe-Adverbe

L'objectif de ce travail est de comprendre la manière dont les actions sont réalisées dans les vidéos. Autrement dit, étant donné une vidéo, nous visons à prédire un adverbe indiquant une modification appliquée à l'action (par exemple, couper « finement »). Nous abordons ce problème comme une tâche de régression. Nous mesurons les relations textuelles entre les verbes et les adverbes pour générer une cible de régression représentant le changement d'action que nous souhaitons apprendre. Nous testons notre approche sur plusieurs ensembles de données et obtenons des résultats d'état de l'art tant pour la prédiction des adverbes que pour la classification des antonymes. De plus, nous surpassons les travaux précédents lorsque nous levons deux conditions généralement supposées : la disponibilité des étiquettes d'action lors des tests et le couplage des adverbes en tant qu'antonymes. Les ensembles de données existants pour la reconnaissance des adverbes sont soit bruyants, ce qui rend l'apprentissage difficile, soit contiennent des actions dont l'apparence n'est pas influencée par les adverbes, ce qui rend l'évaluation moins fiable. Pour remédier à cela, nous collectons un nouveau jeu de données de haute qualité : Adverbs in Recipes (AIR). Nous nous concentrons sur des vidéos de recettes instructives, sélectionnant un ensemble d'actions qui présentent des modifications visuelles significatives lorsqu'elles sont réalisées différemment. Les vidéos d'AIR sont plus serrées et ont été revues manuellement par plusieurs annotateurs pour garantir une qualité d'étiquetage élevée. Les résultats montrent que les modèles apprennent mieux à partir d'AIR grâce à ses vidéos plus propres. En même temps, la prédiction des adverbes sur AIR est complexe, démontrant qu'il y a encore beaucoup de place pour amélioration.