Das MECCANO-Datensatz: Verstehen von Mensch-Objekt-Interaktionen aus egozentrischen Videos in einem industriellen Bereich

Tragbare Kameras ermöglichen es, Bilder und Videos von Menschen zu sammeln, die mit der Welt interagieren. Während Mensch-Objekt-Interaktionen in der dritten Person Perspektive gründlich untersucht wurden, ist das Problem in egozentrischen Szenarien und in industriellen Kontexten weniger erforscht worden. Um diese Lücke zu schließen, stellen wir MECCANO vor, den ersten Datensatz von egozentrischen Videos zur Untersuchung von Mensch-Objekt-Interaktionen in industriellen Umgebungen. MECCANO wurde von 20 Teilnehmern erfasst, die gebeten wurden, ein Motorradmodell zusammenzubauen, wobei sie mit winzigen Objekten und Werkzeugen interagieren mussten. Der Datensatz wurde explizit für die Aufgabe des Erkennens von Mensch-Objekt-Interaktionen aus einer egozentrischen Perspektive beschriftet. Insbesondere wurde jede Interaktion sowohl zeitlich (mit Aktionssegmenten) als auch räumlich (mit aktiven Objekt-Bounding Boxes) annotiert. Mit dem vorgestellten Datensatz untersuchen wir vier verschiedene Aufgaben: 1) Aktionserkennung, 2) Erkennung aktiver Objekte, 3) Klassifizierung aktiver Objekte und 4) Egocentric Human-Object Interaction Detection (Egocentric Human-Object Interaction Detection), eine überarbeitete Version der Standard-Aufgabe zur Erkennung von Mensch-Objekt-Interaktionen. Die Baseline-Ergebnisse zeigen, dass der MECCANO-Datensatz eine anspruchsvolle Benchmark für die Untersuchung von egocentrishen Mensch-Objekt-Interaktionen in industriellen Szenarien darstellt. Wir veröffentlichen den Datensatz unter https://iplab.dmi.unict.it/MECCANO.