私たちはViT5（ベトナム語向けの事前学習済みTransformerベースのエンコーダー-デコーダーモデル）を紹介します。ViT5は、T5スタイルの自己監督型事前学習により、高品質で多様なベトナム語テキストの大規模なコーパス上で訓練されています。本研究では、ViT5を2つの下流タスクである抽象的要約と固有表現認識において評価しました。抽象的要約は豊富で大規模なデータソースのおかげで英語では広く研究されてきましたが、リソースが少ないベトナム語では同タスクに関する研究がほとんど行われていませんでした。本研究では、ベトナム語の抽象的要約と固有表現認識に対して網羅的な実験を行い、ViT5の性能を他の多くの事前学習済みTransformerベースのエンコーダー-デコーダーモデルと比較検証しました。実験結果は、ViT5が既存のモデルを大幅に上回り、ベトナム語テキスト要約において最先端の成果を達成していることを示しています。また、固有表現認識タスクにおいても、ViT5は事前学習済みエンコーダーベースのTransformerモデルによる従来の最良結果と競争力があることが確認されました。さらに分析した結果、自己監督型事前学習中のコンテキスト長が異なる設定での下流タスクにおける性能に重要な影響を与えることが明らかになりました。