17 天前

基于AutoML的多模态图像情感分析方法

Vasco Lopes, António Gaspar, Luís A. Alexandre, João Cordeiro
基于AutoML的多模态图像情感分析方法
摘要

情感分析是一项聚焦于从数据中提取情感信息的研究课题,旨在识别和理解文本或多媒体内容所引发的情感倾向。该技术应用广泛,涵盖推荐系统、市场营销以及客户满意度分析等多个领域。近年来,主流方法普遍采用机器学习技术,基于大规模语料库对文本内容进行情感评估。然而,随着社交媒体的迅猛发展,除文本外,图像等非文本数据也以海量形式涌现。研究表明,图像情感分析可作为文本数据的有力补充,通过构建上下文关联,帮助推断内容背后的情感极性。多模态情感分析方法正是旨在融合文本与图像信息,实现更全面的情感评估。尽管近年来取得一定进展,现有方法在整合图像与文本信息以分类社交媒体内容时仍面临诸多挑战,主要源于情感判断的主观性、类别间同质性以及多模态数据融合差异等问题。本文提出一种基于自动化机器学习(AutoML)的融合方法,将文本与图像的独立情感分析结果进行整合,最终实现统一分类。该方法采用随机搜索策略,自动筛选最优模型结构。实验结果表明,所提方法在B-T4SA数据集上取得了95.19%的准确率,达到当前最优水平,验证了其在多模态情感分析任务中的有效性与先进性。