16 天前

Vilio:应用于仇恨表情包的前沿视觉-语言模型

Niklas Muennighoff
Vilio:应用于仇恨表情包的前沿视觉-语言模型
摘要

本工作介绍了 Vilio,一个基于前沿视觉-语言模型的实现,并将其应用于仇恨表情包数据集(Hateful Memes Dataset)。所实现的模型均被整合至统一的代码框架中,并经过优化以提升性能。Vilio 的目标是为各类视觉-语言任务提供一个用户友好的起点。在共计 3,300 名参赛者参与的仇恨表情包挑战赛(Hateful Memes Challenge)中,Vilio 中集成的 5 种不同视觉-语言模型的集成方法取得了第二名的成绩。相关代码已开源,地址为:https://github.com/Muennighoff/vilio。