Ces dernières années, divers modèles pré-entraînés sur des domaines spécifiques (PLM) ont été proposés et ont dépassé les modèles pré-entraînés sur des domaines généraux dans des domaines spécialisés tels que le domaine biomédical, scientifique et clinique. Par ailleurs, des PLM financiers ont été étudiés en raison de l’impact économique élevé de l’analyse des données financières. Toutefois, nous avons constaté que les PLM financiers n’avaient pas été pré-entraînés sur des données financières suffisamment diversifiées. Ce manque de diversité dans les données d’entraînement entraîne une performance de généralisation insuffisante, ce qui fait que des PLM généraux, tels que BERT, surpassent souvent les PLM financiers sur de nombreuses tâches en aval. Pour remédier à ce problème, nous avons collecté une large gamme de corpus financiers et avons entraîné un modèle linguistique financier, nommé FiLM, sur ces jeux de données diversifiés. Nos résultats expérimentaux confirment que FiLM surpasse non seulement les PLM financiers existants, mais aussi les PLM généraux. En outre, nous fournissons des preuves empiriques selon lesquelles cette amélioration peut être obtenue même pour des groupes de corpus inédits.