Hierarchischer Neurosymbolischer Ansatz für umfassende und erklärbare Bewertung der Aktionenqualität

Die Bewertung der Aktionen (Action Quality Assessment, AQA) nutzt Computer Vision, um die Leistung oder Ausführung einer menschlichen Aktion quantitativ zu bewerten. Aktuelle Ansätze für AQA sind End-to-End-Neuronale Modelle, die an Transparenz mangeln und oft voreingenommen sind, da sie auf subjektiven menschlichen Beurteilungen als Grundwahrheit trainiert werden. Um diese Probleme anzugehen, stellen wir ein neu-symbolisches Paradigma für AQA vor, das neuronale Netze verwendet, um interpretierbare Symbole aus Videodaten abstrahieren zu können und durch Anwendung von Regeln auf diese Symbole die Qualitätsbewertung durchführt. Als Fallstudie haben wir uns auf Tauchen konzentriert. Wir fanden heraus, dass Domänenexperten unser System bevorzugen und es informativer finden als rein neuronale Ansätze zur AQA im Tauchen. Unser System erreicht zudem den aktuellen Stand der Technik in der Aktionserkennung und der zeitlichen Segmentierung und generiert automatisch einen detaillierten Bericht, der den Sprung in seine Elemente zerlegt und objektive Bewertungen mit visuellen Beweisen liefert. Wie eine Gruppe von Domänenexperten bestätigte, kann dieser Bericht dazu dienen, Richter bei der Bewertung zu unterstützen, Richter auszubilden sowie Rückmeldungen an Springer zu geben. Annotierte Trainingsdaten und Code: https://github.com/laurenok24/NSAQA.