一句话总结

HKUST 提出 GOLDCOIN，这是一个通过利用语境完整性理论合成符合 HIPAA 等法规场景，从而将 LLM 锚定在隐私法律中的框架。它能够在真实法庭案件中实现超出狭窄预设隐私模式限制的隐私违规司法评估。

核心贡献

• 本文提出 GOLDCOIN，这是一个将大型语言模型锚定在隐私法律中的框架。该框架把 HIPAA 隐私规则等法律条文翻译为语境完整性规范，这些规范对发送者、接收者、信息主体、信息类型和传输原则进行建模。

• 本文构建了面向 HIPAA 的合成案例生成与评估流水线，产出 GOLDCOIN-HIPAA 数据集，以及一个来源于 Caselaw Access Project 中真实美国法院案例的基准。该流程使用自动过滤和多样性排序来提升生成案例质量。

• 基于指令微调的 Transformer LLM 实验表明，GOLDCOIN 在真实法院案例上的 HIPAA 适用性评估相比基线提升 8% 到 23%，隐私风险检测提升 8% 到 18%。同时，消融实验和人工分析支持语境完整性组件与数据质量组件的贡献。

引言

自动隐私合规之所以重要，是因为违规通常产生于医疗、教育和就业等受监管语境中不当的信息传输，而 HIPAA、COPPA 和 GDPR 等法律对何时允许这些信息流动设定了规范。已有方法通常依赖预设模式、人工规则或形式化法律逻辑，这些方法范围狭窄且依赖专家；在法规或稀缺公开法院案例上训练的法律 LLM 泛化能力较差，并且在隐私任务上带来的改进不稳定。作者利用语境完整性将隐私条款抽象为涉及发送者、接收者、信息主体、信息类型和传输原则的结构化规范。该 GOLDCOIN 框架使用 GPT-4、自动过滤和多样性排序，从隐私法种子规范生成类似法院案件的合成背景，并且指令微调的 LLM 使 HIPAA 适用性判断相比基线提升 8% 到 23%，隐私风险检测提升 8% 到 18%。

数据集

• 作者使用 GOLDCOIN-HIPAA，这是一个由两种来源构建的法律锚定数据集：HIPAA 隐私规则法规文本，以及来自 Caselaw Access Project 的真实隐私相关法院案例。

• 对于法规来源，作者从官方联邦法规网站下载 HIPAA 隐私规则，并将其转换为结构化图。节点表示法规章节，每个节点包含一个带标签的章节标识符和段落内容。边表示两种关系类型：subsume 用于层级章节关系，refer 用于章节间交叉引用。

• 作者沿图中每条从根到叶的路径聚合内容，以推导法律规范。每条规范被标记为 permit、forbid 或 other。只有 permit 和 forbid 规范被保留用于案例生成。最终种子集包含 269 条 permit 规范和 40 条 forbid 规范。

• 对于合成案例子集，作者使用 GPT-4 从每条过滤后的规范生成多个案例。每个案例被解析为包含五个部分的固定模式：背景描述、语境特征、相关法律规范、适用性结论和合规结论。

• 语境特征包括关键隐私传输要素，例如发送者、发送者角色、接收者、接收者角色、主体、主体角色和信息类型。该结构化元数据用于保持每个生成案例与 HIPAA 隐私语境对齐。

• 作者对合成案例应用三个后处理步骤。第一，移除遗漏关键语境特征的案例。第二，移除其解析后的规范、适用性结论或合规结论与种子规范冲突的案例。第三，使用基于 ROUGE-L 的多样性排序为每条规范选择一个案例。过滤后，合成子集包含 309 个案例。

• 对于真实法院案例，作者从哈佛法学院开发的语料库 Caselaw Access Project 中收集隐私相关案例。作者使用 GPT-4 和人工标注将这些真实案例转换为与合成案例相同的模式。

• 真实案例子集按标签划分。作者收集 309 个与 HIPAA 无关的隐私违规案例，作为负样本用于训练适用性任务。对于评估，作者识别出 107 个与 HIPAA 相关的法院案例作为合规评估的 ground truth，并采样等量与 HIPAA 无关的案例，与这 107 个相关案例共同组成适用性测试集。

• 作者将合成的规范锚定案例与真实法院案例池合并为最终的 GOLDCOIN-HIPAA 数据集。这些案例用于适用性和合规任务，其中模型或系统判断某个案例是否适用于 HIPAA 隐私规则，以及相关法律规范是否允许或禁止所描述的隐私传输。

• 论文没有报告合成案例和真实案例之间的显式混合比例，也没有描述裁剪策略。数据集构建主要依赖基于图的规范抽取、GPT-4 生成、模式解析、一致性过滤、语境特征过滤和基于多样性的选择。

方法

GOLD-COIN 是一个法律锚定流水线，用于生成隐私判断数据，并在法律适用性和合规任务上指令微调语言模型。该方法针对两种决策：适用性，即判断某部隐私法律 $\mathcal{L}$L 是否适用于案例背景 $s$s；以及合规性，即判断 $s$s 中描述的信息传输是否满足 $\mathcal{L}$L。该框架结合法规预处理、法律锚定案例生成、质量过滤、真实案例对齐和分步指令构建。如下图所示：

第一个模块在合成任何案例之前对法律条文进行预处理。作者将该方法应用于 HIPAA 隐私规则，并将法律文本转换为结构化图 $\mathcal{G}$G。节点对应法定章节，边编码两类关系。subsume 关系捕获层级包含关系，refer 关系捕获章节之间的交叉引用。每个节点包含带标签的标识符和相应段落内容。从叶子节点 $v_i^l$vil​ 开始，系统递归向上遍历父节点直到根节点，并聚合该路径上的所有内容。这样一条从叶到根的路径被视为一条规范，随后用作案例生成的法律种子。

规范构建过程如下图所示：

在提取规范之后，流水线会对规范进行分类和过滤。作者使用 GPT-4 标记叶子规范，并保留在法律下表达许可或禁止的规范。定义一般术语、例外或要求的规范被排除在生成之外，因为它们不直接说明某次传输是否允许或禁止。最终规范集合 $\mathcal{N}=\{n_1,n_2,\dots,n_m\}$N={n1​,n2​,…,nm​} 成为合成案例创建的源材料。每个案例 $k_i\in\mathcal{K}$ki​∈K 锚定于一条选定规范 $n_i$ni​，从而使下游法律锚定过程显式化。

案例生成由语境完整性理论指导，该理论通过结构化传输特征对隐私违规进行建模。给定一条种子规范及其相关结论类型，作者编写指令，指示 GPT-4 生成与法律规则一致的案例背景。提示词要求模型保留传输语境，包括实体、角色、信息类型和传输原则。对每条规范采样多个响应，并将输出解析为固定模式。解析后的组件包括背景描述 $s_i$si​、语境特征 $\{(\mathcal{P}_i,\mathcal{R}_i),\mathcal{T}_i,\Omega_i\}${(Pi​,Ri​),Ti​,Ωi​}、相关法律规范 $n_i$ni​、适用性结论 $c_i^{appl}$ciappl​ 以及合规结论 $c_i^{comp}$cicomp​。

后处理模块提升一致性、完整性和多样性。首先，语境特征完整性过滤器移除遗漏必要传输要素的案例，例如发送者、发送者角色、接收者、接收者角色、主体、主体角色或信息类型。这可确保每个背景包含足够结构，以便进行语境完整性推理。其次，一致性过滤器检查生成的案例是否与其种子规范和预期结论对齐。作者定义

$$f_{\mathrm{norm}}(n,\hat{n})=\mathbb{1}(n=\hat{n}),$$fnorm​(n,n^)=1(n=n^),

其中 $n$n 是种子规范，$\hat{n}$n^ 是生成案例中识别出的规范。作者还要求适用性结论和合规结论与预期法律类别一致：

$$f_{\mathrm{conc}}(c^{appl})=\mathbb{1}(c^{appl}=\mathrm{applicable}),\qquad f_{\mathrm{conc}}(n^{+/-},c^{comp})=\mathbb{1}(n^{+/-}=c^{comp}).$$fconc​(cappl)=1(cappl=applicable),fconc​(n+/−,ccomp)=1(n+/−=ccomp).

未通过检查的案例被丢弃。第三，多样性排序步骤使用成对 ROUGE-L 相似度减少冗余背景，并保留生成案例之间的语义变化。

为了验证和锚定，作者还检索涉及 HIPAA 隐私规则的真实法院案例，并将它们转换为与合成案例相同的结构化格式。这些案例使用模型辅助抽取和人工标注进行处理。此外，作者还收集不属于 HIPAA 范畴的隐私相关案例，为适用性任务提供负样本，并防止 HIPAA 判断过度泛化。

最终训练阶段从过滤后的案例池中整理指令响应对。指令被设计为多步思维链提示词。对于适用性任务，目标响应首先提取语境特定特征，然后判断 HIPAA 是否适用。对于合规任务，响应提取相关传输特征，检索相关法律规范，并判断该规范是否允许或禁止该传输。这些结构化指令数据集用于对 LLM 进行指令微调，使其通过显式法律推理步骤执行两类隐私判断任务。

实验

实验使用合成案例和真实法院案例评估 GOLDCOIN 将 LLM 锚定到 HIPAA 判断中的效果，并在适用性和合规任务上比较指令微调的开源模型与基线模型以及 GPT 系列模型。结果表明，合成的法律锚定案例调优和多步推理提升了 LLM 判断 HIPAA 相关性和法律结果的能力，而较简单的基线模型带来的提升有限或不稳定。消融实验进一步证明，语境特征过滤、一致性检查、多样性排序和语境完整性特征对高质量判断很重要。

专家人工审查表明，合成案例与 HIPAA 高度一致，并且与种子规范紧密对齐。评估还显示，合规标签和字段有效性几乎总是正确。所有案例都被判定属于 HIPAA 范畴。案例几乎总是与其种子规范强相关。合规判断和字段有效性几乎完全一致。

相对于 zero-shot、法条复述和直接提示，GOLDCOIN 通常在四个开源 LLM 的 HIPAA 适用性任务上提升所报告的 accuracy 和 Macro F1。对于合规任务，它也带来显著的 Macro F1 提升，尽管收益因模型而异，且不如适用性任务均匀。这些结果表明，将模型对齐锚定到与法律一致合成案例中，比依赖抽象法律文本或仅靠提示词更有效。在比较方法中，GOLDCOIN 在报告的适用性表现上最强，尤其对 Mistral-7B 和 Llama2-13B。尽管基线表现较弱，MPT-7B 在使用 GOLDCOIN 时仍表现出明显的 Macro F1 提升。直接提示可以提升部分适用性得分，但在合规判断上不够可靠。仅有详细指令，在没有案例锚定对齐的情况下，无法稳定性能。

消融结果表明，语境特征过滤、一致性检查和多样性排序有助于保持隐私法律判断中的 Macro F1 性能。移除这些组件会降低适用性和合规任务的得分，其中在所有保障措施都被禁用时出现最大下降。结论过滤和多样性排序对稳定的适用性判断尤其重要，而规范一致性支持可靠的合规判断。缺少关键语境特征的案例会产生较弱的适用性和合规性能。错误结论和案例多样性下降会导致更明显的性能下降，尤其是在适用性判断中。

省略语境特征提取会降低所有列出的开源 LLM 的规范检索 accuracy，也会降低结论的 Macro F1 得分。Llama2-13B 在包含语境特征时表现出最强的规范检索能力，并且在移除这些特征时出现明显的结论性能下降。结果表明，语境特征帮助模型将案例细节与相关隐私规范连接起来，并作出更好的合规判断。语境特征提取提升了 MPT-7B、Llama2-7B、Mistral-7B 和 Llama2-13B 的规范检索 accuracy。移除语境特征也降低了所有模型的结论 Macro F1 得分。Llama2-13B 在包含语境特征时具有最佳规范检索效果，而在没有语境特征时出现明显的结论性能下降。

专家审查验证了生成的 HIPAA 案例与种子规范紧密对齐，其中合规标签和字段有效性在几乎所有实例中都被判定为正确。在多个开源 LLM 中，通过 GOLDCOIN 利用法律相关合成案例进行锚定对齐，比仅依赖提示的方法更能提升 HIPAA 适用性和合规判断，尤其是在适用性任务上。消融实验进一步表明，语境特征、一致性过滤和多样性保持对稳定性能很重要，因为移除它们会降低规范检索和判断质量。