Nous présentons ViT5, un modèle préentraîné basé sur le Transformer pour la langue vietnamienne. Avec un préentraînement auto-supervisé à la manière de T5, ViT5 est formé sur un corpus important et diversifié de textes vietnamiens de haute qualité. Nous évaluons ViT5 sur deux tâches de génération de texte en aval : la résumation abstraite et la reconnaissance d'entités nommées. Bien que la résumation abstraite ait été largement étudiée pour la langue anglaise grâce à sa riche et vaste source de données, il y a eu très peu de recherches sur cette même tâche en vietnamien, une langue beaucoup moins dotée en ressources. Dans ce travail, nous menons des expériences exhaustives sur la résumation abstraite vietnamienne et la reconnaissance d'entités nommées, validant les performances de ViT5 par rapport à de nombreux autres modèles préentraînés basés sur le Transformer avec encodeur-décodeur. Nos expériences montrent que ViT5 dépasse significativement les modèles existants et obtient des résultats d'avant-garde en résumation de texte vietnamien. Pour la tâche de reconnaissance d'entités nommées, ViT5 se montre compétitif par rapport aux meilleurs résultats précédents obtenus par des modèles préentraînés basés sur l'encodeur du Transformer. Une analyse supplémentaire souligne l'importance de la longueur du contexte lors du préentraînement auto-supervisé pour les performances en aval dans différents contextes.