HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage des Changements d'Action en Mesurant les Relations Textuelles Verbe-Adverbe

Davide Moltisanti Frank Keller Hakan Bilen Laura Sevilla-Lara

Résumé

L'objectif de ce travail est de comprendre la manière dont les actions sont réalisées dans les vidéos. Autrement dit, étant donné une vidéo, nous visons à prédire un adverbe indiquant une modification appliquée à l'action (par exemple, couper « finement »). Nous abordons ce problème comme une tâche de régression. Nous mesurons les relations textuelles entre les verbes et les adverbes pour générer une cible de régression représentant le changement d'action que nous souhaitons apprendre. Nous testons notre approche sur plusieurs ensembles de données et obtenons des résultats d'état de l'art tant pour la prédiction des adverbes que pour la classification des antonymes. De plus, nous surpassons les travaux précédents lorsque nous levons deux conditions généralement supposées : la disponibilité des étiquettes d'action lors des tests et le couplage des adverbes en tant qu'antonymes. Les ensembles de données existants pour la reconnaissance des adverbes sont soit bruyants, ce qui rend l'apprentissage difficile, soit contiennent des actions dont l'apparence n'est pas influencée par les adverbes, ce qui rend l'évaluation moins fiable. Pour remédier à cela, nous collectons un nouveau jeu de données de haute qualité : Adverbs in Recipes (AIR). Nous nous concentrons sur des vidéos de recettes instructives, sélectionnant un ensemble d'actions qui présentent des modifications visuelles significatives lorsqu'elles sont réalisées différemment. Les vidéos d'AIR sont plus serrées et ont été revues manuellement par plusieurs annotateurs pour garantir une qualité d'étiquetage élevée. Les résultats montrent que les modèles apprennent mieux à partir d'AIR grâce à ses vidéos plus propres. En même temps, la prédiction des adverbes sur AIR est complexe, démontrant qu'il y a encore beaucoup de place pour amélioration.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp