Video Based Generative Performance

Video-basierte Generative Performance-Benchmarking ist eine Evaluationsaufgabe, die entwickelt wurde, um die generative Leistung von Video-Dialogmodellen umfassend anhand fünf wesentlicher Aspekte zu bewerten: Informationsgenauigkeit, Detailorientierung, Kontextverständnis, zeitliche Verständnis und Konsistenz. Diese Aufgabe erstellt einen Testdatensatz basierend auf dem ActivityNet-200-Datensatz, der reichhaltige und dicht beschriebene Videos sowie zugehörige von Menschen annotierte Frage-Antwort-Paare enthält. Zudem nutzt sie das GPT-3.5-Modell, um eine Bewertungspipeline zu entwickeln, die relative Bewertungen von 1 bis 5 für die generierten Vorhersagen bereitstellt. Diese Benchmark-Aufgabe fördert die Entwicklung und Optimierung von Video-Dialogmodellen und verbessert ihre Leistung in realen Anwendungen.