HAKE: Human Activity Knowledge Engine HAKE: Wissensmotor für menschliche Aktivitäten

Das Verständnis menschlicher Aktivitäten ist entscheidend für die Entwicklung automatisierter intelligenter Systeme. Mit der Hilfe des Deep Learnings wurde in diesem Bereich kürzlich erheblicher Fortschritt erzielt. Dennoch bestehen einige Herausforderungen wie ein ungleichmäßige Datenverteilung, Handlungsambiguität und komplexe visuelle Muster. Um diese Herausforderungen zu bewältigen und das Verständnis von Aktivitäten zu fördern, haben wir einen groß angelegten Wissensmotor für menschliche Aktivitäten (HAKE) basierend auf den Zuständen von Körperteilen entwickelt. Auf Basis vorhandener Aktivitätsdatensätze haben wir die Zustände aller aktiven Personen in allen Bildern annotiert, um so eine Beziehung zwischen Instanzaktivität und Körperteilzuständen herzustellen. Darüber hinaus schlagen wir ein HAKE-basiertes Modell zur Erkennung von Körperteilzuständen vor, das einen Wissensextraktor namens Activity2Vec und ein entsprechendes Netzwerk zur inferenzbasierten Analyse von Körperteilzuständen umfasst. Mit HAKE kann unser Ansatz die durch die langschwänzige Datenverteilung verursachte Lernschwierigkeit reduzieren und Interpretierbarkeit erhöhen. Derzeit enthält unser HAKE mehr als 7 Millionen Körperteilzustandsannotierungen und befindet sich noch im Aufbau. In dieser vorläufigen Arbeit validieren wir unseren Ansatz zunächst an einem Teil von HAKE, wobei wir eine Leistungssteigerung von 7,2 mAP bei der Erkennung von Mensch-Objekt-Interaktionen und eine Steigerung von 12,38 mAP bei den One-Shot-Teilmengen zeigen.