一句话总结

针对“所有提取的社交媒体声明具有同等可靠性”这一假设，作者提出了一种基于 LLM 的不确定性感知框架。该框架利用情境感知模式对帖子进行分类，结合外部代理数据（美国地质调查局 PAGER 影响摘要）评估声明的合理性，并显式获取模型置信度。该框架处理了超过 20 万条与地震相关的 Twitter/X 帖子，最终生成同时报告事件及其相关确定性的危机报告。

核心贡献

• 本文提出了一种用于自动化情境感知报告的不确定性感知框架，显式评估社交媒体声明的合理性，而非假设灾害响应流中的可靠性完全一致。
• 该框架集成了一层不确定性评估模块，该模块基于外部代理数据对声明合理性进行条件化以获取模型置信度，进而驱动基于象限的报告生成流程，同时传达情境信息与相应的确定性水平。
• 通过对六个地震案例研究进行评估，该框架处理了超过 20 万条 Twitter/X 帖子，并利用美国地质调查局 PAGER 影响摘要作为外部参考数据以区分信号可靠性，从而验证了该方法的有效性。

引言

社交媒体已成为灾害期间至关重要的实时情境感知来源，使应急响应人员能够跟踪不断演变的影响并高效协调资源。近期的自动化报告流水线利用 LLM 对社交媒体流进行分类和摘要，但它们通常假设所有过滤后的提取声明具有同等合理性。这一局限性存在问题，因为灾害信息往往碎片化、相互矛盾或缺乏验证，这意味着对所有信号一视同仁可能会放大噪声或掩盖真实但非典型的报告。为弥补这一空白，作者利用不确定性感知框架，将 LLM 的条件设定同时基于单个社交媒体帖子和外部代理数据，以评估声明的合理性。通过在合理性评分之外显式获取模型置信度，该系统围绕不同的不确定性轮廓构建下游危机报告的结构，使人类分析师能够在时间紧迫的情况下对信息进行分类并优先处理可操作的见解。

数据集

• 数据集构成与来源

  • 作者使用来自 X（前身为 Twitter）的短篇用户生成帖子作为主要社交媒体来源。
  • 核心集合是由 Li 等人最初整理并精心策划的地震语料库，该语料库已被广泛应用于危机信息学基准测试中。
  • 外部真实世界代理数据来源于美国地质调查局 PAGER 系统和 ShakeMap，提供近实时的影响估算和震动强度指标。

• 各子集的关键细节

  • 社交媒体子集包含带有地理位置信息的地震推文，涵盖多个具有不同震级、地理背景和影响特征的事件。
  • 代理数据子集提供结构化的定量影响指标，在空间上与所研究的事件保持一致。
  • 未详细列出明确的大小指标或过滤规则，但该语料库依赖于先前经过同行评审的策划工作，并与美国地质调查局的强度估算直接映射。

• 使用与处理流程

  • 作者将精心策划的推文及相应的美国地质调查局代理数据输入到零样本 LLM 提示框架中，以在灾害响应期间评估声明的合理性。
  • 该数据不依赖传统的训练划分或混合比例，而是用于直接评估和不确定性建模，且该框架明确设计为保持平台无关性。
  • 处理过程涉及将推文级别的情境报告与事件级别的上下文证据对齐，使模型能够系统地交叉引用社交媒体声明与独立的物理影响估算。

• 元数据构建与输出格式化

  • 处理后的数据集按推文组织为标准化的 JSON 架构。
  • 每个条目包含原始索引、唯一推文 ID、情境类别、1 至 5 分的李克特合理性评分、0 至 100 的置信度指标、差异评估以及简短的推理对齐说明。
  • 该流水线还支持合成或模拟的社交媒体流，允许在数据受限的条件下进行评估。

方法

提出的用于不确定性感知危机报告的框架作为一个模块化流水线运行，旨在将原始社交媒体数据转换为结构化报告，显式传达情境声明的认识论不确定性。整体架构包含三个连续阶段：情境感知（SA）分类、不确定性评估和报告生成。如图所示，该流程始于数据收集和原始推文的提取，随后由 SA 分类模型处理以分配一个或多个情境感知标签。此步骤利用零样本 LLM 提示，将分类视为多标签任务，允许单条推文关联多个 SA 类别，从而捕捉危机相关内容的全方位性质。该阶段的输出是带有 SA 标签的推文数据集。

第二阶段不确定性评估构成了核心的方法论贡献。该模块评估每条带有 SA 标签推文的合理性与置信度。合理性定义为推文的情境声明与独立可用的、特定于事件的上下文证据相一致的程度，而置信度则反映模型对其自身合理性判断的自我表达确定性。为执行此评估，框架整合了结构化的外部代理数据，为危机事件提供空间对齐的影响估算。对于每条推文，模型接收一个提示，该提示结合推文的文本内容、分配的 SA 标签以及代理数据的地理位置特定摘要。该结构化提示使模型能够对声明和外部上下文进行联合推理。不确定性评估采用置信度引出框架实现，将任务分解为三个关键组件：提示策略、采样策略和聚合策略。提示策略指导模型在五点李克特量表上生成分级合理性评分，并在 0 至 100 的量表上生成置信度评分。采样策略为每条推文生成多个独立响应，以捕捉推理过程中的变异性。最后，聚合策略将这些多个响应结合，以产生稳定的合理性与置信度估算。采样和聚合的具体技术（如 Top-K 和基于一致性的方法）改编自先前关于 LLM 置信度引出的研究。

不确定性评估阶段的输出一组推文，每条推文均标注有一对代表合理性与置信度的分数。随后，这些分数被输入到最终阶段即危机报告模型中，该模型将不确定性感知的情境声明合成为结构化报告。报告生成流程利用合理性与置信度估算来区分不同确定程度的信息，使系统生成的摘要不仅能陈述所声明的内容，还能透明地传达不确定性存在的位置。这使下游用户能够更有效地对信息进行优先级排序。该框架进一步通过将合理性与置信度空间划分为四个象限来实现其操作化，从而为比较和分析不同类型的情境信号提供可解释的结构。

实验

评估利用 LLM 流水线在六个地震案例研究中展开，将基于不确定性条件的危机报告与统一基线进行比较。第一个实验验证了该框架是否通过为情境声明分配分级合理性与置信度分数来引入结构化的认识论差异，成功揭示了不同不确定性轮廓之间可测量的离散度。第二个实验考察了这种推文级别的变异性是否会传播到下游报告生成中，证明不确定性条件设定有意义地改变了语义构成和内部连贯性。最终，该框架充当一种诊断工具，将认识论差异转化为结构化的叙事路径，尽管主导的危机主题有时会限制下游的差异化发展。

作者评估了一种将不确定性感知结构化引入情境感知系统的框架，考察其是否在情境声明中产生可测量的变异性并影响下游报告构成。结果表明，该框架根据输入数据的不确定性轮廓生成具有独特语义特征的报告，包括内部连贯性和跨报告相似性的差异。该框架在推文级别引入不确定性估算的结构化变异，导致情境声明的差异化。由不同不确定性轮廓生成的报告在内部连贯性和语义相似性方面表现出可测量的差异。不确定性条件设定的影响因事件而异，部分报告与基线摘要相比显示出显著差异。

作者通过考察推文级别的不确定性估算如何影响下游报告构成，评估了危机报告中不确定性感知情境感知框架。结果表明，该框架在认识论评估中引入结构化变异，并导致生成报告的语义内容和内部连贯性出现可测量的差异，尽管差异程度因事件而异。该框架在推文级别引入不确定性估算的结构化变异，导致情境声明的差异化。由不同不确定性条件推文子集生成的报告在语义内容和内部连贯性方面表现出可测量的差异。不确定性对报告生成的影响因事件而异，部分案例显示显著差异，而其他案例则因主导危机主题而保持相似。

作者评估了危机报告中不确定性感知情境感知框架，重点关注不确定性估算是否在情境声明中引入结构化变异，以及这种变异是否影响下游报告构成。结果表明，该框架在不同不确定性条件下生成的报告的语义内容和内部连贯性方面均产生可测量的差异。该框架在推文级别引入不确定性估算的结构化变异，导致情境声明的差异化。在不同不确定性条件下生成的报告在语义内容和内部连贯性方面表现出可测量的差异。不确定性对报告构成的影响因事件而异，部分案例显示显著差异，而其他案例则因主导危机主题而保持相似。

作者通过考察该框架是否在情境声明中引入结构化变异以及这种变异是否影响生成报告的语义构成，评估了危机报告中用于情境感知的不确定性感知框架。结果表明，该框架在推文级别的不确定性估算区分度以及下游报告的信息结构和内部连贯性方面均产生可测量的差异，事件间的变异程度取决于底层数据分布。该框架在推文级别引入不确定性估算的结构化变异，基于合理性与置信度区分声明。在不确定性轮廓条件下生成的报告在语义内容和内部连贯性方面表现出可测量的差异。不确定性对报告构成的影响因事件而异，部分报告呈现独特摘要，而其他报告则因主导主题内容而保持相似。

作者通过考察不确定性估算是否在情境声明中引入结构化变异以及这种变异是否影响生成危机报告的构成，评估了用于不确定性感知情境感知的框架。结果表明，该框架在不确定性估算的熵和报告的语义结构方面均产生可测量的差异，部分报告与基线摘要相比展现出独特内容和更高的内部连贯性。该不确定性感知框架在不同事件中对合理性和置信度估算引入了可测量的变异。由不确定性条件输入生成的报告与基线摘要相比显示出独特的语义结构。部分不确定性条件报告表现出更高的内部连贯性，表明信息组织更加集中。

作者通过将生成摘要的条件设定为推文级别的不确定性估算，评估了用于危机报告的不确定性感知框架，以考察其对情境声明和下游构成的影响。实验验证了整合结构化不确定性轮廓是否有意义地改变了自动化报告的语义内容和组织连贯性。定性结果表明，不确定性条件设定成功区分了声明并产生了独特的语义结构，尽管与基线摘要的差异程度仍取决于事件并受主导主题内容的影响。