HyperAIHyperAI

Command Palette

Search for a command to run...

Das MECCANO-Datensatz: Verstehen von Mensch-Objekt-Interaktionen aus egozentrischen Videos in einem industriellen Bereich

Francesco Ragusa Antonino Furnari Salvatore Livatino Giovanni Maria Farinella

Zusammenfassung

Tragbare Kameras ermöglichen es, Bilder und Videos von Menschen zu sammeln, die mit der Welt interagieren. Während Mensch-Objekt-Interaktionen in der dritten Person Perspektive gründlich untersucht wurden, ist das Problem in egozentrischen Szenarien und in industriellen Kontexten weniger erforscht worden. Um diese Lücke zu schließen, stellen wir MECCANO vor, den ersten Datensatz von egozentrischen Videos zur Untersuchung von Mensch-Objekt-Interaktionen in industriellen Umgebungen. MECCANO wurde von 20 Teilnehmern erfasst, die gebeten wurden, ein Motorradmodell zusammenzubauen, wobei sie mit winzigen Objekten und Werkzeugen interagieren mussten. Der Datensatz wurde explizit für die Aufgabe des Erkennens von Mensch-Objekt-Interaktionen aus einer egozentrischen Perspektive beschriftet. Insbesondere wurde jede Interaktion sowohl zeitlich (mit Aktionssegmenten) als auch räumlich (mit aktiven Objekt-Bounding Boxes) annotiert. Mit dem vorgestellten Datensatz untersuchen wir vier verschiedene Aufgaben: 1) Aktionserkennung, 2) Erkennung aktiver Objekte, 3) Klassifizierung aktiver Objekte und 4) Egocentric Human-Object Interaction Detection (Egocentric Human-Object Interaction Detection), eine überarbeitete Version der Standard-Aufgabe zur Erkennung von Mensch-Objekt-Interaktionen. Die Baseline-Ergebnisse zeigen, dass der MECCANO-Datensatz eine anspruchsvolle Benchmark für die Untersuchung von egocentrishen Mensch-Objekt-Interaktionen in industriellen Szenarien darstellt. Wir veröffentlichen den Datensatz unter https://iplab.dmi.unict.it/MECCANO.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp