摘要
基于Transformer的模型（如BERT）已在自然语言处理的众多任务中达到最先进的性能水平。通过在大规模语料库上进行通用预训练，Transformer模型即使在任务特定微调时仅使用少量训练数据，也能表现出优异的性能。在本研究中，我们将BERT应用于电子商务中的商品匹配任务，并证明其在训练数据效率方面显著优于其他先进方法。此外，我们通过一个中间训练阶段进一步提升了模型的有效性，该阶段利用了大规模的商品信息集合。经过这一中间训练后，模型在全新、未见过的商品上即可实现优异性能（F1值超过90%），且无需进行任何针对特定商品的微调。在此基础上进行进一步的微调，可带来额外性能提升，尤其在小规模训练集下，F1值最高可提高12%。若在中间训练阶段引入掩码语言建模（masked language modeling）目标，以进一步将语言模型适配至应用领域，则可实现额外3%的F1值提升。