EgoExoLearn-Datensatz Zum Perspektivenübergreifenden Erlernen Von Fertigkeiten

Der Datensatz wurde gemeinsam von führenden Institutionen wie dem Shanghai Artificial Intelligence Laboratory, der Universität Nanjing und den Shenzhen Institutes of Advanced Technology der Chinesischen Akademie der Wissenschaften sowie von Studenten und Forschern vieler Universitäten veröffentlicht, darunter der Universität Tokio, der Universität Fudan, der Universität Zhejiang und der University of Science and Technology of China. Ziel von EgoExoLearn ist es, Robotern die Fähigkeit zu geben, durch Beobachtung anderer neue Aktionen zu erlernen.

Die Einzigartigkeit des EgoExoLearn-Datensatzes besteht darin, dass er Videomaterial sowohl aus der Ich- als auch aus der Erfahrungsberichten-Perspektive sammelt.Das Video aus der Ich-Perspektive zeichnet den gesamten Prozess auf, in dem die Teilnehmer die Demonstrationsaktionen aus der dritten Person erlernen. Diese Perspektivkonvertierung und -fusion liefert wertvolle Datenressourcen für Maschinen, um menschliche Lernmuster nachzuahmen.

Der Umfang der Erstellung dieses Datensatzes deckt nicht nur verschiedene Szenarien des täglichen Lebens ab, sondern beinhaltet auch komplexe Vorgänge in professionellen Laboren. EgoExoLearn enthält insgesamt 120 Stunden Perspektiv- und Demonstrationsvideos mit dem Ziel, Maschinen effektives Lernen in einer Vielzahl von Umgebungen zu ermöglichen.

Zusätzlich zu den Videos zeichneten die Forscher auch hochwertige Blickdaten auf und stellten detaillierte multimodale Anmerkungen bereit. Diese Daten bilden zusammen mit Anmerkungen eine Plattform, die den menschlichen Lernprozess umfassend simuliert und so dazu beiträgt, das Problem der maschinellen Modellierung asynchroner Aktionsprozesse aus verschiedenen Perspektiven zu lösen.

Um den Wert des EgoExoLearn-Datensatzes umfassend zu bewerten, schlugen die Forscher eine Reihe von Benchmarktests vor, wie etwa perspektivenübergreifende Assoziation, perspektivenübergreifende Aktionsplanung und perspektivenübergreifende Bewertung von Referenzfähigkeiten, und führten eine eingehende Analyse durch. Mit Blick auf die Zukunft wird EgoExoLearn zu einem wichtigen Eckpfeiler für die Verknüpfung perspektivübergreifender Aktionen und bietet Robotern solide Unterstützung beim nahtlosen Erlernen menschlichen Verhaltens in der realen Welt.