Zu einer universellen Repräsentation für die Erkennung unbekannter Aktionen

Die Erkennung von unbekannten Aktionen (Unseen Action Recognition, UAR) hat das Ziel, neue Aktionskategorien ohne Trainingsbeispiele zu erkennen. Während bisherige Methoden sich auf die Aufteilung gesehener/nicht gesehener Daten innerhalb eines Datensatzes konzentrieren, schlägt dieser Artikel einen Prozess vor, der eine umfangreiche Trainingsquelle nutzt, um eine Universelle Darstellung (Universal Representation, UR) zu erreichen, die in einem realistischeren Szenario der Querdatensatz-UAR (Cross-Dataset UAR, CD-UAR) verallgemeinert werden kann. Zunächst wird UAR als ein Problem des verallgemeinerten Mehrfachinstanz-Lernens (Generalised Multiple-Instance Learning, GMIL) betrachtet und es werden „Bausteine“ aus dem umfangreichen ActivityNet-Datensatz mit Hilfe von Verteilungskernen entdeckt. Wesentliche visuelle und semantische Komponenten werden in einem gemeinsamen Raum bewahrt, um die UR zu erreichen, die effizient auf neue Datensätze übertragen werden kann. Die vorhergesagten UR-Beispiele können durch eine einfache semantische Anpassung verbessert werden und dann kann eine nicht gesehene Aktion während des Tests direkt mithilfe der UR erkannt werden. Ohne weitere Trainingsschritte zeigen umfangreiche Experimente erhebliche Verbesserungen bei den Benchmarks UCF101 und HMDB51.