悪意あるか否か？子ども向け動画における効果的なコンテンツモデレーションへの道標

オンライン動画プラットフォームは毎分数百時間もの動画がアップロードされるため、手動によるコンテンツモデレーションは不可能である。残念なことに、悪質な動画コンテンツの最も脆弱な被害者は、1〜5歳の幼児であり、彼らの注意は一時的な色や音に簡単に引き寄せられる。収益化を図ろうとする詐欺犯は、教育動画に表面的に類似した形で作成された悪質な子ども向け動画を作成する。これらは、怖いキャラクター、不快な描写、暴力的な動き、騒々しい音楽、不快な音響を含んでおり、子どもに悪影響を与える恐れがある。YouTubeなどの主要な動画ホスティングプラットフォームは、悪質コンテンツの拡散を抑えるための対策を講じているが、現在のコンテンツモデレーションツールは主にポルノや著作権侵害コンテンツの削除に焦点を当てており、こうした悪質な子ども向け動画はしばしば検出されない。本論文では、子ども向け動画の自動コンテンツモデレーションに関する研究を促進するためのツールキット「Malicious or Benign」を紹介する。本ツールキットは、1）動画用にカスタマイズ可能なアノテーションツール、2）検出が困難な悪質コンテンツのテストケースを含む新規データセット、および3）最先端の動画分類モデルを評価するためのベンチマークスイートを提供する。