HyperAIHyperAI

Command Palette

Search for a command to run...

控制台
2 天前

IF-Bench:基于生成视觉的红外图像MLLMs基准测试与增强

Tao Zhang Yuyang Hong Yang Xia Kun Ding Zeyu Zhang Ying Wang Shiming Xiang Chunhong Pan

IF-Bench:基于生成视觉的红外图像MLLMs基准测试与增强

摘要

近年来,多模态大语言模型(MLLMs)取得了显著进展,在多个基准测试中表现优异。然而,其在红外图像理解方面的能力仍鲜有研究。为填补这一空白,我们提出了IF-Bench,这是首个专为评估红外图像多模态理解能力而设计的高质量基准数据集。IF-Bench包含来自23个红外图像数据集的499张图像,以及680对经过精心构建的视觉问答对,覆盖图像理解的10个核心维度。基于该基准,我们系统性地评估了40余种开源与闭源的MLLMs,采用循环评估、双语评估及混合判断策略,以提升结果的可靠性。我们的分析揭示了模型规模、架构设计以及推理范式对红外图像理解能力的影响,为该领域提供了重要洞见。此外,我们提出了一种无需训练的生成式视觉提示方法(GenViP),该方法利用先进的图像编辑模型,将红外图像转化为在语义和空间上对齐的RGB图像,从而有效缓解域分布偏移问题。大量实验表明,该方法在多种MLLMs上均能持续带来显著的性能提升。

用 AI 构建 AI

从构思到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格加速您的 AI 开发。

AI 协同编码
可直接使用的 GPU
最佳价格

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供