IndustReal: Ein Datensatz zur Erkennung von Prozessschritten und Behandlung von Ausführungsfehlern in egozentrischen Videos in einer industriellen Umgebung

Obwohl die Aktionserkennung für prozedurale Aufgaben erhebliche Aufmerksamkeit gefunden hat, weist sie einen grundlegenden Mangel auf: Es wird kein Erfolgsmaßstab für Aktionen bereitgestellt. Dies begrenzt die Anwendbarkeit solcher Systeme insbesondere im industriellen Bereich, da das Ergebnis prozeduraler Aktionen oft wesentlich wichtiger ist als ihre bloße Ausführung. Um diese Einschränkung zu beheben, definieren wir die neue Aufgabe der Prozedurschritterkennung (PSR), wobei der Fokus auf der Erkennung des richtigen Abschlusses und der Reihenfolge von prozeduralen Schritten liegt. Neben dieser neuen Aufgabe stellen wir auch den multimodalen IndustReal-Datensatz vor. Im Gegensatz zu den momentan verfügbaren Datensätzen enthält IndustReal sowohl prozedurale Fehler (wie Auslassungen) als auch Ausführungsfehler. Ein erheblicher Teil dieser Fehler ist ausschließlich in den Validierungs- und Testsets vorhanden, was IndustReal geeignet macht, um die Robustheit von Algorithmen gegenüber neuen, bisher unbekannten Fehlern zu bewerten. Zudem, um Wiederholbarkeit zu fördern und skalierte Ansätze, die auf synthetischen Daten trainiert wurden, zuzulassen, sind die 3D-Modelle aller Teile öffentlich zugänglich. Annotationen und Benchmark-Leistungen werden sowohl für die Aktionserkennung und den Zustandsdetektion von Montagevorgängen als auch für die neue PSR-Aufgabe bereitgestellt. IndustReal sowie Code und Modellgewichte sind unter folgender URL verfügbar: https://github.com/TimSchoonbeek/IndustReal .