M3-Bench ist ein langer Benchmark-Datensatz mit Videofragen und Antworten, der 2025 vom ByteDance Seed Team veröffentlicht wurde. Die zugehörigen Ergebnisse sind „Sehen, Zuhören, Erinnern und Denken: Ein multimodaler Agent mit Langzeitgedächtnis“, dessen Ziel es ist, das Langzeitgedächtnis und die Denkfähigkeit multimodaler intelligenter Agenten zu bewerten.

Der Datensatz enthält 1.020 Videobeispiele, die jeweils Untertitel, Zwischenausgaben und Speicherkarten enthalten. M3-Bench verwendet als Kernaufgabe die Beantwortung langer offener Fragen (VQA) zu Videos, wobei jedes Video von einer Reihe offener Fragen begleitet wird.

Datenzusammensetzung:

• M3-Bench-Roboter: 100 neue First-Person-Videos von realen Szenarien (aus der Perspektive des Roboters), aufgenommen vom Forschungsteam

• M3-Bench-Web: 920 lange Videos aus dem Internet, die ein breiteres Spektrum an Inhalten und Szenarien abdecken