Bösartig oder harmlos? Hin zum effektiven Inhaltsschutz für Kindervideos

Online-Videoplattformen erhalten jede Minute Hunderte von Stunden an hochgeladenen Inhalten, wodurch eine manuelle Inhaltsmoderation unmöglich wird. Leider sind die empfindlichsten Opfer von schädlichem Videoinhalts besonders Kinder im Alter von 1 bis 5 Jahren, deren Aufmerksamkeit leicht durch plötzliche Farb- und Klangexplosionen gefesselt wird. Betrüger, die ihre Inhalte monetarisieren möchten, können schädliche Kindervideos erstellen, die oberflächlich ähneln, aber in Wirklichkeit pädagogische Inhalte vortäuschen. Solche Videos enthalten oft beunruhigende und abscheuliche Figuren, gewaltsame Bewegungen, laute Musik und störende Geräusche. Große Video-Hosting-Plattformen wie YouTube haben Maßnahmen ergriffen, um schädlichen Inhalt auf ihren Plattformen zu reduzieren, doch diese Videos entgehen häufig den aktuellen Moderationswerkzeugen, die sich vor allem auf die Entfernung von pornografischem oder urheberrechtlich geschütztem Inhalt konzentrieren. In diesem Paper stellen wir unser Toolkit Malicious or Benign vor, das die Forschung zu automatisierten Methoden der Inhaltsmoderation für Kindervideos fördern soll. Wir präsentieren 1) ein anpassbares Annotationstool für Videos, 2) eine neue Datensammlung mit schwer zu erkennenden Testfällen schädlichen Inhalts sowie 3) eine Benchmark-Suite state-of-the-art-Video-Klassifikationsmodelle.