HyperAIHyperAI

Command Palette

Search for a command to run...

FAIR GraphRAG:一种面向语义数据分析的检索增强生成方法

Marlena Fluh Soo-Yon Kim Carolin Victoria Schneider Sandra Geisler

摘要

检索增强生成(RAG)解决了大语言模型(LLMs)在回答特定领域问题时的局限性。基于图的RAG方法,如GraphRAG,通过捕捉知识图谱(KGs)中的语义关系来增强检索。尽管FAIR原则(可发现性、可访问性、互操作性和可重用性)在科学数据管理中日益普及,尤其是在医学等复杂领域,但现有的RAG方法缺乏对底层知识资源的结构化FAIR化处理。这一不足限制了它们在这些领域进行FAIR信息检索的潜力。为弥补这一差距,我们提出了FAIR GraphRAG,这是一个新颖的框架,将FAIR数字对象(FDOs)集成为基于图的检索系统的基本单元。每个图节点代表一个FDO,包含核心数据、元数据、持久标识符和语义链接。我们利用LLMs支持模式构建以及从数据源中自动提取内容和元数据。该框架由医生和计算机科学家共同设计,以确保技术和临床的相关性。我们将FAIR GraphRAG应用于胃肠病学领域的生物医学数据集,展示了其对RNA测序数据的适用性。除了确保遵循FAIR原则外,FAIR GraphRAG还显著提高了问答的准确性、覆盖范围和可解释性,特别是对于涉及元数据和本体链接的复杂查询。这项工作展示了将FAIR数据实践与基于图的检索技术相结合的可行性。我们认为该方法有潜力应用于教育和商业等其他专业领域。

一句话总结

亚琛工业大学及亚琛工业大学医院的研究人员提出 FAIR GraphRAG,这是一个将 FAIR 数字对象作为图节点集成到检索增强生成中的框架,并利用大语言模型进行模式构建和元数据提取,以提升在胃肠病学 RNA 测序等生物医学数据上的问答准确性、覆盖范围和可解释性。

核心贡献

  • FAIR GraphRAG 是一个基于图的检索框架,使用 FAIR 数字对象作为节点,嵌入核心数据、元数据、持久标识符和语义链接,从而在整个知识图谱中贯彻 FAIR 原则。
  • 该框架利用大语言模型自动构建模式并提取内容和元数据,实现了领域特定知识资源的可扩展 FAIR 化。
  • 在胃肠病学 RNA 测序数据集上的实验表明,FAIR GraphRAG 在问答准确性、覆盖范围和可解释性方面均优于基线方法,尤其是在涉及元数据和本体链接的复杂查询上,同时实现了更高的 FAIR 合规性。

引言

在临床环境中,AI 系统必须将患者记录与 SNOMED CT 等标准化本体关联起来,才能正确回答药物剂量查询,但自定义诊断术语与正式词汇表之间的不匹配会导致结果不完整或错误。大语言模型可以从多种来源提取信息,但当其训练数据中缺少领域特定知识时,会产生幻觉。检索增强生成通过提供外部知识来解决这一问题,而基于图的检索增强生成则进一步利用知识图谱来捕捉语义关系。然而,现有方法并未系统地将 FAIR(可查找、可访问、可互操作、可重用)原则应用于支撑 RAG 系统的知识,限制了异构数据的自动发现、链接和重用。作者提出了 FAIR GraphRAG,该框架将每个知识图谱节点建模为具有持久标识符、元数据和核心数据的 FAIR 数字对象,并利用大语言模型自动化模式设计和实体提取。这种方法将 FAIR 化与基于图的检索统一起来,提高了互操作性和答案质量,并在生物医学数据集上得到了验证。

数据集

作者描述了一个灵活的流水线,可将用户提供的数据集转换为 FAIR 知识图谱。数据集本身并非固定的基准测试;它是用户提供的任何结构化或非结构化文档的集合,以及用户对感兴趣实体(例如,患者、疾病)的简短描述。该流水线按如下方式处理此输入:

  • 模式构建 – 大语言模型在输入数据集上使用少样本提示,为每个用户定义的实体提取相关特征(例如,“患者”的姓名、性别),生成一个 JSON 模式,作为提取的蓝图。
  • 信息提取 – 对于结构化数据,基于规则的方法将字段直接映射到模式。对于非结构化数据,大语言模型使用单样本提示,一次处理一个文档,用实体实例填充模式。
  • FAIR 数字对象创建 – 每个填充后的模式成为一个数据集 FDO,每个实体实例成为一个单独的实体 FDO。此步骤增加了:
    • 用于可查找性的持久标识符。
    • 由大语言模型从提供的元数据文件中提取、并与领域特定标准对齐的元数据。
    • 通过存储库 API(例如 Bio-Portal)进行的本体术语映射,以增强互操作性。
  • 关系丰富 – 基于元数据或核心数据的相似性(在数据集内部和跨数据集之间)识别 FDO 之间的语义关系,并将其添加到模式中。
  • 知识图谱集成 – FDO 成为节点,关系成为边,生成的属性图存储在图形数据库中,可使用标准语言(Cypher/SPARQL)进行查询。

该流水线不会将数据拆分为训练/测试集;它逐文档处理整个用户提供的集合,以生成结构化的、符合 FAIR 标准的知识图谱。

方法

作者提出了一个新颖的 FAIR GraphRAG 框架,专为分析领域特定数据集而设计。与通常忽略互联结构的传统检索增强生成方法不同,此方法构建了一个知识图谱,其中每个节点代表一个 FAIR 数字对象。这确保了图的每个组成部分本质上都是可查找、可访问、可互操作和可重用的。

该框架利用大语言模型,既用于从原始数据集构建知识图谱,也用于通过自然语言查询进行用户交互。

底层结构采用属性图模型,选择该模型是因为其与大语言模型输出(如 JSON 结构)的对齐性。作者将 FAIR 属性图形式化地定义为一个元组: G=(F,E,ρ,λ,σ,ϕ)G = (F, E, \rho, \lambda, \sigma, \phi)G=(F,E,ρ,λ,σ,ϕ) 其中,FFF 表示一组有限的 FDO(节点),EEE 表示边。函数 ρ\rhoρ 将边与 FDO 对关联起来,而 λ\lambdaλσ\sigmaσ 则为节点和边分配标签和属性(元数据)。函数 ϕ\phiϕ 分配节点类型,例如“数据集”或“实体”(如患者、疾病)。

如上图所示,图中包含一个提供概述的中央数据集节点,周围环绕着用户定义的实体节点。关系指示了核心数据或元数据之间的相互联系,例如匹配的疾病标签。

FAIR 知识图谱的构建遵循一个集成了 FAIR 原则的多阶段流水线。

该过程始于模式定义,用户指定实体类型,大语言模型提取相关特征以创建 JSON 蓝图。接下来,在信息提取阶段,系统填充此模式。对于结构化数据,使用基于规则的映射;而非结构化数据则由大语言模型使用单样本提示进行处理。然后,提取的信息被转换为 FAIR 数字对象。这包括生成用于可查找性的持久标识符、提取元数据,以及将模式条目映射到领域特定的本体术语以确保互操作性。随后,基于元数据或核心数据的相似性在 FDO 之间建立关系,允许数据集内部和跨数据集的链接。最后,这些 FDO 及其关系被集成到属性图数据库中,形成 FAIR 知识图谱。

检索机制超越了简单的基于嵌入的相似性搜索,转向基于查询的方法以获得更高的灵活性。

当用户提出问题时,系统准备一个提示,将图模式作为上下文。此提示被输入到图检索引擎中的大语言模型,该模型生成一个图数据库查询(例如,使用 Cypher 或 SPARQL)。查询在图数据库上执行,并检索出结果 FDO。最后,引擎解释这些结果,并将其翻译成自然语言答案返回给用户,同时显示原始查询和检索到的 FDO 元数据以保证透明度。

实验

本研究在一个生物医学 RNA 测序数据集上评估了 FAIR GraphRAG 方法,并将其与省略了持久标识符、元数据和本体术语的非 FAIR 基线进行比较。FAIR 系统满足除许可外的所有 FAIR 标准,并实现了显著更高的准确性和完全的可解释性,尤其是在元数据和本体问题上,而基线在这些类型的问题上完全失败。结果证实,用 FAIR 原则丰富知识图谱能显著提高合规性以及问答的语义丰富度,提供更强的来源和可追溯性。

具备 FAIR 意识的 GraphRAG 方法满足除许可外所有已评估的 FAIR 指标,而基线由于缺少持久标识符、丰富的元数据和本体映射,在可查找性、互操作性和可重用性方面均不达标。两个系统都支持开放、标准化的访问协议和认证,但只有具备 FAIR 意识的系统提供了全球唯一的标识符、丰富的元数据和清晰的数据-元数据链接。具备 FAIR 意识的方法满足从 F1 到 A1.2 的所有标准,唯独许可(R1.1)除外,而基线则缺少标识符和元数据(F1–F3:否),并且仅被部分索引(F4:部分)。两种实现均可通过开放、免费和普遍可实施的协议访问(A1, A1.1),并支持认证和授权(A1.2)。

使用 gpt-4o-mini 的 FAIR 意识系统实现了最高的总体准确率(92.86%),在通用、元数据和本体问题上均表现强劲,而基线系统在元数据和本体问题上完全失败。gpt-4o-mini 的覆盖范围与准确率相匹配,并且在 FAIR 设置下可解释性是完美的,这表明符合 FAIR 标准的知识图谱显著提高了答案质量。Llama-3.3-70B 在 FAIR 设置下显示出一些改进,但仍然落后,经常生成无效查询。gpt-4o-mini 的总体准确率从基线的 42.86% 提高到 FAIR 设置下的 92.86%,提升了一倍多。在基线中,两个模型在元数据和本体问题上的准确率均为 0%,但在 FAIR 系统中,gpt-4o-mini 提高到 90%,Llama-3.3-70B 提高到 20%。

第一个实验评估 FAIR 合规性,显示具备 FAIR 意识的 GraphRAG 满足除许可外的所有评估指标,而基线由于缺少持久标识符和元数据,在可查找性、互操作性和可重用性方面均不达标。第二个实验评估问答性能,揭示符合 FAIR 标准的知识图谱显著提高了准确率,尤其是在元数据和本体问题上,gpt-4o-mini 达到了 92.86% 的总体准确率和完美的可解释性,而基线在这些问题类型上完全失败。这些结果表明,将 FAIR 原则嵌入知识图谱对于实现可靠且可解释的检索增强生成至关重要。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供