Demo2Vec: Reasoning von Objekt-Affordanzen aus Online-Videos

Das Beobachten von Expertendemonstrationen ist eine wichtige Methode, um bei Menschen und Robotern die Affordanzen unbekannter Objekte zu erschließen. In diesem Paper betrachten wir das Problem der Ableitung von Objektaffordanzen durch die Merkmalsembeddings von Demonstrationen. Wir entwickeln das Demo2Vec-Modell, das lernt, eingebettete Vektoren aus Demonstrationen zu extrahieren und auf einem Zielbild des gleichen Objekts sowohl die Interaktionsregion als auch die Aktion bezeichnet. Wir stellen die Online Product Review dataset for Affordance (OPRA) vor, indem wir diverse YouTube-Produktbewertungsvideos sammeln und annotieren. Unser Demo2Vec-Modell erreicht eine bessere Leistung als verschiedene rekurrente neuronale Netzwerk-Baselines auf dem gesammelten Datensatz.