Nous présentons RobeCzech, un modèle de représentation linguistique RoBERTa monolingue entraîné sur des données en tchèque. RoBERTa est une méthode d'entraînement préalable basée sur le Transformer, optimisée de manière robuste. Nous démontrons que RobeCzech surpasse significativement les modèles de représentation linguistique contextuelle de taille équivalente, tant multilingues que spécifiquement entraînés sur le tchèque, et atteint l'état de l'art dans toutes les cinq tâches d'analyse linguistique naturelle évaluées, en établissant des résultats de pointe dans quatre d'entre elles. Le modèle RobeCzech est mis à disposition publiquement à l'adresse suivante : https://hdl.handle.net/11234/1-3691 et https://huggingface.co/ufal/robeczech-base.