Unsupervised Pre Training

无监督预训练是指在未标记数据上通过自监督辅助任务对神经网络进行预训练的方法。其目标是利用大量未标注数据学习通用特征表示，提高模型在下游任务中的泛化能力和性能。无监督预训练能够有效缓解标注数据不足的问题，增强模型的鲁棒性和适应性，在自然语言处理、计算机视觉等领域具有重要应用价值。