ハートフル・ミームチャレンジ：マルチモーダル・ミームにおける差別的発言の検出

本研究は、マルチモーダル・ミームにおける嫌悪表現の検出を焦点とした新しいチャレンジセットを提案する。このデータセットは、単一モーダルモデルでは困難であり、マルチモーダルモデルのみが成功を収められるように構築されている。具体的には、単一モーダル信号に依存することを困難にする「良性の混同要因（benign confounders）」と呼ばれる難易度の高いサンプルをデータセットに追加している。このタスクは微細な推論を要するが、二値分類問題として評価が容易である。本研究では、単一モーダルモデルおよびさまざまな複雑さを持つマルチモーダルモデルに対するベースライン性能を提供している。その結果、最先端の手法は人間の性能（84.7％）に対して著しく劣り（64.73％）、このタスクの難しさを示し、この重要な課題がコミュニティに提起する挑戦の大きさを浮き彫りにしている。