预训练语言模型在低资源语言方面展现出巨大潜力，因为它们仅需要未标注数据。然而，训练现有模型需要大量的计算资源，而预训练的跨语言模型在低资源语言上的表现往往不尽如人意。我们提出了一种多语言语言模型微调（MultiFiT）方法，使研究人员能够高效地在其目标语言中训练和微调语言模型。此外，我们还提出了一种零样本方法，利用现有的预训练跨语言模型。我们在两个广泛使用的跨语言分类数据集上评估了这些方法，结果显示它们在数据量和计算资源远少于现有预训练模型的情况下仍能取得更好的性能。我们已公开所有模型和代码。