Die neuesten Arbeiten zu Sprachrepräsentationen integrieren kontextualisierte Merkmale sorgfältig in den Trainingsprozess von Sprachmodellen, was eine Reihe von Erfolgen insbesondere bei verschiedenen Aufgaben des maschinellen Lesens und der natürlichen Sprachinferenz ermöglicht. Allerdings berücksichtigen bestehende Sprachrepräsentationsmodelle wie ELMo, GPT und BERT lediglich einfache kontextsensitive Merkmale, beispielsweise Zeichen- oder Wortembeddings. Sie greifen selten auf strukturierte semantische Informationen zurück, die reichhaltige Semantik für die Sprachrepräsentation liefern könnten. Um die Verständnisfähigkeit natürlicher Sprache zu fördern, schlagen wir vor, explizite kontextuale Semantik aus vortrainierten Semantik-Rollen-Zuordnungsmodellen einzubeziehen, und stellen ein verbessertes Sprachrepräsentationsmodell namens Semantics-aware BERT (SemBERT) vor, das in der Lage ist, kontextuale Semantik explizit über einer BERT-Grundstruktur zu integrieren. SemBERT behält die praktische Handhabbarkeit seines BERT-Vorgängers bei, indem es lediglich eine leichte Feinabstimmung erfordert, ohne wesentliche, auf die Aufgabe zugeschnittene Modifikationen. Im Vergleich zu BERT ist SemBERT konzeptionell ebenso einfach, aber leistungsfähiger. Es erreicht neue SOTA-Ergebnisse oder deutliche Verbesserungen auf zehn Aufgaben des Leseverständnisses und der Sprachinferenz.