In dieser Arbeit stellen wir eine fortschrittliche russische Bewertungsbasis für allgemeine Sprachverarbeitung – RussianGLUE – vor. Die jüngsten Fortschritte im Bereich universeller Sprachmodelle und Transformer erfordern die Entwicklung einer Methodik zur umfassenden Diagnostik und zum Testen allgemeiner intellektueller Fähigkeiten, wie der Erkennung von natürlicher Sprachinferenz, dem常识推理 (commonsense reasoning) und der Durchführung einfacher logischer Operationen, unabhängig vom Textthema oder Vokabular. Zum ersten Mal wurde ein Benchmark mit neun Aufgaben für die russische Sprache entwickelt, der analog zur SuperGLUE-Methode aufgebaut ist. Wir liefern Baselines, menschliche Bewertungsstandards, einen Open-Source-Rahmen zur Modellbewertung (https://github.com/RussianNLP/RussianSuperGLUE) sowie eine Gesamtrangliste von Transformer-Modellen für die russische Sprache. Darüber hinaus präsentieren wir die ersten Ergebnisse des Vergleichs multilingualer Modelle in dem angepassten diagnostischen Testset und schlagen erste Schritte vor, um den weiteren Ausbau oder die unabhängige Bewertung der neuesten Modelle über die Sprache hinaus zu fördern.