LiLT : Un Transformateur de disposition simple mais efficace, indépendant du langage, pour la compréhension des documents structurés

La compréhension de documents structurés a attiré une attention considérable et connu des progrès significatifs récemment, en raison de son rôle crucial dans le traitement intelligent des documents. Cependant, la plupart des modèles existants ne peuvent traiter que les données de documents d'une langue spécifique (généralement l'anglais) incluses dans la collection de pré-entraînement, ce qui est extrêmement limité. Pour remédier à ce problème, nous proposons un Transformers de disposition de document (Layout Transformer) indépendant du langage (Language-independent Layout Transformer, LiLT) simple mais efficace pour la compréhension de documents structurés. Le LiLT peut être pré-entraîné sur des documents structurés d'une seule langue, puis directement affiné sur d'autres langues grâce aux modèles textuels pré-entraînés mono ou multilingues correspondants. Les résultats expérimentaux sur huit langues ont montré que le LiLT peut atteindre des performances compétitives voire supérieures sur diverses évaluations downstream largement utilisées, permettant ainsi un avantage indépendant du langage grâce au pré-entraînement de la structure de disposition des documents. Le code et le modèle sont librement disponibles à l'adresse https://github.com/jpWang/LiLT.