Video-basiertes generatives Leistungsbewertung (zeitliche Verständnis)

"Video-basierte Generative Performance-Benchmarking (Temporales Verständnis)" ist eine Benchmark-Aufgabe, die entwickelt wurde, um die Fähigkeiten generativer Video-Dialogmodelle im Bereich des zeitlichen Verständnisses zu bewerten. Diese Aufgabe erstellt einen Testdatensatz auf Basis des ActivityNet-200-Datasets, das umfangreiche, dicht beschreibende Untertitel und von Menschen annotierte Frage-Antwort-Paare enthält. Die mit dem GPT-3.5-Modell entwickelte Evaluationspipeline gibt den generierten Vorhersagen eine relative Bewertung von 1 bis 5, wobei das Ziel ist, die Fähigkeit des Modells, Inhalte entlang der Videzeitachse zu verstehen und zu generieren, umfassend zu messen. Dies trägt dazu bei, die Mensch-Computer-Interaktionserfahrung zu verbessern.