Alles über Wissensgraphen für Aktionen

Aktuelle Action-Recognition-Systeme erfordern große Mengen an Trainingsdaten, um Aktionen zu erkennen. In jüngster Zeit wurden Paradigmen des Zero-Shot- und Few-Shot-Lernens untersucht, um Klassifizierer für bisher nicht gesehene Kategorien oder Kategorien mit nur wenigen Beschriftungen zu lernen. Anlehnend an ähnliche Ansätze in der Objekterkennung nutzen diese Methoden externe Wissensquellen (z. B. Wissensgraphen aus sprachlichen Domänen). Im Gegensatz zu Objekten ist jedoch unklar, welche die beste Wissensrepräsentation für Aktionen ist. In diesem Paper zielen wir darauf ab, ein besseres Verständnis dafür zu entwickeln, welche Wissensgraphen (KGs) für die Zero-Shot- und Few-Shot-Action-Recognition genutzt werden können. Insbesondere untersuchen wir drei verschiedene Konstruktionsmechanismen für Wissensgraphen: Action-Embeddings, Action-Object-Embeddings und visuelle Embeddings. Wir präsentieren eine umfassende Analyse des Einflusses verschiedener Wissensgraphen unter unterschiedlichen experimentellen Setup. Schließlich schlagen wir ein verbessertes Evaluierungsparadigma vor, das auf den Datensätzen UCF101, HMDB51 und Charades basiert, um einen systematischen Studienansatz für Zero-Shot- und Few-Shot-Ansätze zu ermöglichen, wobei der Wissenstransfer von Modellen, die auf Kinetics trainiert wurden, untersucht wird.