从阅读时的眼动中解码开放式信息检索目标

在阅读时，我们通常对文本中的某些特定信息感兴趣。例如，您可能正在阅读这篇论文是因为对用于阅读的眼动（eye movements）的大语言模型（LLMs）感到好奇，或者对实验设计感兴趣，又或许您只关心“但它是否有效？”这个问题。更广泛地说，在日常生活中，人们带着各种与文本相关的具体目标来阅读，这些目标指导着他们的阅读行为。在这项研究中，我们首次提出问题：是否可以从阅读过程中的眼动自动解码出开放式的阅读目标。为了解答这一问题，我们引入了目标分类和目标重建任务及其评估框架，并使用了包含数百个文本特定信息检索任务的英语大规模眼动追踪数据。我们开发并比较了几种结合眼动和文本进行目标分类和目标重建的判别性和生成性多模态大语言模型。实验结果表明，在这两项任务上取得了显著的成功，这表明大语言模型可以从眼动中提取关于读者文本特定目标的有价值信息。