恶意还是良性？面向儿童视频的有效内容审核

在线视频平台每分钟接收数百小时的视频上传，使得人工内容审核变得完全不可行。然而，最容易受到恶意视频内容侵害的群体正是1至5岁的儿童，他们极易被突如其来的色彩与声音吸引。一些企图通过内容变现的诈骗者，会制作表面看似教育类、实则包含恐怖怪诞角色、暴力动作、刺耳音乐及令人不安声响的恶意儿童视频。尽管YouTube等主流视频平台已采取措施以减少平台上的恶意内容，但现有内容审核工具主要针对色情或侵权内容，往往难以识别此类隐蔽性较强的恶意视频。本文介绍了我们的工具集“恶意或良性”（Malicious or Benign），旨在推动儿童视频自动化内容审核领域的研究。该工具集包含三部分：1）可定制的视频标注工具；2）包含难以检测的恶意内容测试案例的新数据集；3）一套涵盖当前最先进视频分类模型的基准测试套件。