Lernen von Aktionen durch die Messung von Verbal-Adverbiale Beziehungen im Text

Das Ziel dieser Arbeit besteht darin, das Ausführen von Aktionen in Videos zu verstehen. D.h., gegeben ein Video, wollen wir ein Adverb vorhersagen, das eine Modifikation der Aktion angibt (z.B. schneiden „fein“). Wir formulieren dieses Problem als Regressionsaufgabe. Wir messen textuelle Beziehungen zwischen Verben und Adverben, um ein Regressionsziel zu generieren, das die Änderung der Aktion repräsentiert, die wir lernen möchten. Wir testen unseren Ansatz auf einer Reihe von Datensätzen und erzielen den aktuellen Stand der Technik sowohl bei der Vorhersage von Adverben als auch bei der Klassifizierung von Antonymen. Darüber hinaus übertreffen wir frühere Arbeiten, wenn wir zwei häufig angenommene Bedingungen aufheben: die Verfügbarkeit von Aktionsetiketten während des Testens und die Paarung von Adverben als Antonymen. Bestehende Datensätze für die Erkennung von Adverben sind entweder verrauscht, was das Lernen erschwert, oder sie enthalten Aktionen, deren Erscheinungsbild nicht durch Adverbe beeinflusst wird, was die Bewertung weniger zuverlässig macht. Um dies anzugehen, sammeln wir einen neuen hochwertigen Datensatz: Adverbs in Recipes (AIR). Wir konzentrieren uns auf instruktive Rezeptvideos und erstellen eine Sammlung von Aktionen, die sinnvolle visuelle Änderungen aufweisen, wenn sie unterschiedlich ausgeführt werden. Die Videos im AIR-Datensatz wurden enger geschnitten und wurden von mehreren Annotatoren manuell überprüft, um eine hohe Etikettierungsqualität sicherzustellen. Die Ergebnisse zeigen, dass Modelle aus dem AIR-Datensatz mit seinen saubereren Videos besser lernen. Gleichzeitig ist die Vorhersage von Adverben im AIR-Datensatz herausfordernd und zeigt, dass es noch viel Verbesserungspotential gibt.