RICA2: Rubrikinformierte, kalibrierte Bewertung von Aktionen

Die Fähigkeit, die Qualität einer ausgeführten Aktion zu quantifizieren, auch bekannt als Aktionen-Qualität-Bewertung (AQA), hat in der Vision-Gemeinschaft kürzlich großes Interesse gefunden. Leider ignorieren bisherige Methoden oft das Bewertungsschema, das von menschlichen Experten verwendet wird, und können die Unsicherheit der Modellvorhersage nicht ausreichend quantifizieren. Um diese Lücke zu schließen, stellen wir RICA² vor – ein tiefes probabilistisches Modell, das das Bewertungsschema integriert und die Vorhersageunsicherheit berücksichtigt.Kernstück unserer Methode sind stochastische Einbettungen der Aktionsschritte, die auf einem Graphenstruktur definiert sind, welche das Bewertungsschema kodiert. Diese Einbettungen verbreiten eine wahrscheinliche Dichte im latente Raum und ermöglichen es unserer Methode, die Modellunsicherheit darzustellen. Der Graph kodiert die Bewertungskriterien, basierend auf denen die Qualitätsbewertungen dekodiert werden können. Wir zeigen, dass unsere Methode neue Standarts auf öffentlichen Benchmarks wie FineDiving, MTL-AQA und JIGSAWS etabliert, wobei sie sich durch überlegene Leistung bei der Punktvorhersage und der Unsicherheitskalibrierung auszeichnet. Unser Code ist unter https://abrarmajeedi.github.io/rica2_aqa/ verfügbar.