一句话总结

卡内基梅隆大学和南加利福尼亚大学提出 DPD-BiReconstructor，这是一种用于原始语重构的半监督神经架构，纳入历史比较法的一项洞见，即重构形式必须能够确定性地变换回其对应的后代词；该架构利用少量带标注同源词集和大量未标注数据，超越较强的半监督基线。

核心贡献

• 论文将半监督历史重构作为原始语重构的一项新任务，在一小部分带有原始形式的带标注同源词集和一个更大的不带原始形式的未标注同源词集上训练模型。

• DPD-BiReconstructor 是一种用于比较重构的神经架构，将“后代到原始形式”重构与后代形式预测相结合。该设计将一项洞见落地为可训练目标：重构得到的原始形式应当能够确定性地变换回后代语后代形式。

• 实验表明，DPD-BiReconstructor 能够利用未标注同源词集超越较强的半监督基线，尤其在原始形式标注稀缺时表现更突出。将 DPD 与现有半监督策略结合，在几乎所有设置下都显著优于基线策略；分析还表明，后代形式预测监督可能有助于监督式重构。

引言

历史语言学家通过比较同源词集并应用规律音变模式，使用历史比较法重构未被文献记录的祖先语言，也就是原始语。这很重要，因为它揭示人类迁徙、文化接触和语言演化。该方法之所以复杂，是因为需要在多种语言之间平衡语音相似性与确定性音变规则。以往计算系统主要依赖全监督序列到序列模型。这类模型需要每个同源词集的标准原始形式，因此仅限于较晚阶段的重构。为应对这一问题，该研究引入半监督原始形式重构，其中只需要少量带标注同源词集，同时还可以利用大量未标注集合。该研究使用 DPD-BiReconstructor，这是一个多任务模型，先重构原始形式，再从中间表示预测后代形式。后代形式预测损失被反向传播回重构网络，使模型能够从未经标注的同源词集中学习，并在原始形式标注稀缺时超越基线策略。

数据集

• 来源与构成：研究采用两个完全标注的同源词数据集进行历史语言重构。WikiHan 用于中古汉语重构，Romphon 用于拉丁语重构，后者是 Meloni et al. (2021) 罗曼语数据集的语音版本。

• 子集规模与标签控制：对于每个数据集，研究从完全标注的训练集中随机隐藏一部分原始形式标签，构造半监督训练子集。保留标签比例定义标注设置。在 10% 标注设置下，子集分别包含约 516 个 WikiHan 带标注同源词集和 870 个 Romphon 带标注同源词集。在 5%、10%、20% 和 30% 标注设置下，WikiHan 的带标注同源词集范围为 181 到 1,084，Romphon 为 304 到 1,821。

• 处理与过滤规则：为减少标签选择噪声，研究采用单调嵌套子集选择规则。随着保留标签比例增加，较小的带标注集合必须是较大带标注集合的子集。同时，研究为每个数据集生成四个随机半监督训练集以进行重复评估，并且在每个生成的集合内对每种策略进行多次测试。

• 在模型中的使用：这些子集用于在固定和变化的带标注目标数据量下评估重构策略。固定 10% 带标注的半监督训练集也用于超参数调优。所提供文本未描述除隐藏标签和嵌套子集选择之外的裁剪、额外元数据构造或来源过滤。

方法

所提出方法将原始形式重构表述为双向、自监督重构问题。核心部分包含“后代到原始形式”子网络，记为 D2P，用于从观察到的后代语后代形式重构假设的原始形式；以及“原始形式到后代”子网络，记为 P2D，用于预测应当能从原始形式推导出的后代形式。两个子网络共享音素嵌入，使重构和后代形式预测能够在共同语音表示空间中运行。关键训练思想是，当可用原始形式标注缺失时，P2D 可以通过评估重构的原始形式能否经预测的音变映射生成观察到的后代形式，为 D2P 提供弱监督。该设计直接反映了方法学约束：有效重构应与其所导出的后代形式相兼容。

参见下方框架图：

在整体流程中，D2P 接收拼接后的后代形式序列的嵌入表示，并输出原始形式预测。对于带标注样本，D2P 使用标准交叉熵损失 $L_{\mathrm{D2P}}$LD2P​，以标准原始形式为目标进行训练。独立地，P2D 也可在带标注数据上训练：将标准原始形式作为输入并预测目标后代形式，使用记为 $L_{\mathrm{P2D}}^{\mathrm{gold}}$LP2Dgold​ 的监督损失。该监督路径向模型传授从原始形式到后代形式的方向性音变关系。

核心架构要求是，即使未观察到原始形式，D2P 也必须能够从 P2D 提供的反馈中学习。直接将 D2P 的离散 token 预测传入 P2D 是不可微分的，因此该方法转而将 D2P 的最终层解码器状态视为重构原始形式的连续潜在表示。一个可训练的稠密组件，称为桥接网络，将该潜在状态映射到 P2D 的编码器输入。这允许来自后代形式预测分支的梯度反向传播到重构分支。

为保持桥接网络表示与真实音素级原始形式嵌入一致，该方法在桥接网络输出与 D2P 预测出的原始形式的实际音素嵌入之间加入余弦相似度损失，记为 $L_{\mathrm{BRIDGE}}$LBRIDGE​。实际上，桥接网络被训练为重构原始形式的替代嵌入层。这为 P2D 提供稳定且可解释的重构输入表示。

对于带标注和未标注数据，P2D 还会评估从预测原始形式推断出的后代形式。它对预测原始形式的后代形式输出应用交叉熵损失，记为 $L_{\mathrm{P2D}}^{\mathrm{CE,pred}}$LP2DCE,pred​。此外，一种对比惩罚损失，称为 CRINGE 损失，记为 $L_{\mathrm{P2D}}^{\mathrm{CR,pred}}$LP2DCR,pred​，用于抑制 P2D 在输入原始形式不正确时生成看似合理的后代形式。该损失对负监督尤为重要：如果原始形式错误，但 P2D 仍预测出看起来正确的后代形式序列，该损失会惩罚这种行为。结果是，当 D2P 提出的重构产生误导时，它能获得更具信息量的梯度。

最终训练目标为重构损失、监督后代形式预测损失、预测原始形式后代形式损失、CRINGE 损失以及桥接网络余弦损失的加权组合。从概念上看，该目标的形式如下：

$$\mathcal{L} = \lambda_{\mathrm{D2P}} L_{\mathrm{D2P}} + \lambda_{\mathrm{P2D}}^{\mathrm{gold}} L_{\mathrm{P2D}}^{\mathrm{gold}} + \lambda_{\mathrm{P2D}}^{\mathrm{CE,pred}} L_{\mathrm{P2D}}^{\mathrm{CE,pred}} + \lambda_{\mathrm{P2D}}^{\mathrm{CR,pred}} L_{\mathrm{P2D}}^{\mathrm{CR,pred}} + \lambda_{\mathrm{BRIDGE}} L_{\mathrm{BRIDGE}}$$L=λD2P​LD2P​+λP2Dgold​LP2Dgold​+λP2DCE,pred​LP2DCE,pred​+λP2DCR,pred​LP2DCR,pred​+λBRIDGE​LBRIDGE​

其中权重系数为可调超参数。

DPD 架构本身是模块化的，可以使用编码器-解码器变体实例化。本实现中使用基于 GRU 和基于 Transformer 的骨干模型，但双向重构策略定义在训练和接口层面，而不是绑定到某一种特定网络类型。

为利用未标注同源词集，该方法还纳入了额外的半监督策略。一个基线仅保留带标注数据并进行标准监督训练。自训练过程将模型在未标注数据上最自信的原始形式预测作为伪标签，按置信度筛选，并限制每轮数量。一个 $\Pi$Π-model 正则化路径创建同一同源词集的两个随机增强，并最小化两个模型输出之间的均方差。由于音素级噪声会破坏音变背后的规律性假设，增强在同源词集层面实现，方法包括打乱后代语顺序以及随机删除后代语。这些组件可以组合，因此自训练可以叠加在其他策略之上，DPD 双向模型也可以与一致性正则化合并，形成更完整的半监督训练流程。

实验

实验在语音罗曼语和汉语数据集上评估半监督原始形式重构，通过隐藏随机原始形式标签子集，并在不同架构、标注比例和统计显著性检验下比较重构策略。在多数设置中，基于 DPD 的策略，尤其是与 Pi-model 和自训练结合的策略，优于监督基线和弱基线，对标签子集和架构高度敏感，并随标注规模非线性提升，在较高标注比例下接近监督水平性能。补充分析表明，这些增益依赖有效利用未标注数据，与具有语言学意义的音素表示相一致，并且即便在监督训练中也仍然有用。

示意图使用 Tangkhulic 形式说明，后代到原始语模型可能会过度规则化未标注重构，方法是从后代词中选择一个统一形式。在带有参考标签的示例中，D2P 和 DPD 均与原始形式匹配；但在未标注的“笑”示例中，D2P 预测出在其他示例中使用的相同形式，而 DPD 预测出不同的元音。这支持了“后代到原始再到后代”训练的更广泛动机：避免机械地套用单一重构模式。当参考原始形式带有标注时，表格显示 D2P 和 DPD 都与重构形式一致。在一个未标注示例中，D2P 产生统一重构，而 DPD 预测出不同的元音，暴露出后代到原始语建模的局限。

在 10% 标注 WikiHan 和 Rom-phon 半监督重构任务上，基于 DPD 的方法总体优于标准监督和弱半监督基线，最佳方法取决于数据集和架构。在 WikiHan 上，采用基于 DPD 方法的 Transformer 配置取得最强结果；而在 Rom-phon 上，Transformer 和 GRU 分别偏好不同的基于 DPD 的变体。跨数据集组的性能也明显变化，表明带标注子集选择和架构交互会影响结果。基于 DPD 的策略通常优于弱基线。在 WikiHan 上，Transformer 与基于 DPD 方法结合表现更好。在 Rom-phon 上，GRU 偏好 DPD-BST，而 Transformer 偏好 DPD-PiM-BST。在多数策略下，Transformer 在 WikiHan 上优于 GRU，但在 Rom-phon 上并不如此。性能在不同数据集组间差异显著。

后代形式预测准确率随标注数量增加而上升，但在报告设置中，低标注设置下的后代形式预测结果比重构结果更接近全监督性能。最佳策略和架构因数据集而异，基于 DPD 的模型频繁出现在性能领先模型中。报告中的分析还指出，P2D 子网络帮助 D2P 训练并不要求在标准原始形式上获得很高的 P2D 准确率。即便标注有限，半监督后代形式预测仍可接近监督性能。在报告的数据集和标注设置中，DPD 变体反复成为性能强劲的模型。最佳策略和架构取决于数据集以及带标注数据量。

实验通过定性 Tangkhulic 示例验证了后代到原始再到后代训练，显示后代到原始语模型可能过度规则化未标注重构，而 DPD 变体能够避免这一陷阱。在 WikiHan 和 Rom-phon 的半监督重构中，基于 DPD 的方法总体优于标准基线和弱基线，尽管最佳架构和策略会随数据集、带标注子集以及架构交互而变化。后代形式预测准确率也随标注增加而提升，并在低标注数量时仍相对接近全监督性能；DPD 变体经常表现良好，而且高精度的原始形式预测并非帮助后代到原始语训练所必需。