Bidirektionale Encoder-Repräsentationen von Transformers (BERT) haben erstaunliche Verbesserungen bei verschiedenen NLP-Aufgaben gezeigt, und nachfolgende Varianten wurden vorgeschlagen, um die Leistung der vortrainierten Sprachmodelle weiter zu verbessern. In dieser Arbeit untersuchen wir die vortrainierten chinesischen Sprachmodelle, um ihre Effektivität in einer nicht-englischen Sprache zu prüfen, und stellen eine Serie von vortrainierten chinesischen Sprachmodellen der Community zur Verfügung. Zudem schlagen wir ein einfaches, aber effektives Modell namens MacBERT vor, das RoBERTa in mehreren Aspekten verbessert, insbesondere durch die Maskierungsstrategie, die MLM als Korrektur (Mac) verwendet. Wir führten umfangreiche Experimente an acht chinesischen NLP-Aufgaben durch, um sowohl die bestehenden als auch das vorgeschlagene MacBERT-Modell zu überprüfen. Die experimentellen Ergebnisse zeigen, dass MacBERT auf vielen NLP-Aufgaben den aktuellen Stand der Technik erreichen kann. Darüber hinaus diskutieren wir detaillierte Analysen mit mehreren Erkenntnissen, die zukünftige Forschung unterstützen können. Ressourcen verfügbar: https://github.com/ymcui/MacBERT