RussianSuperGLUE：俄语理解评估基准

本文介绍了一项先进的俄语通用语言理解评估基准——RussianGLUE。近年来，通用语言模型和变压器领域的进展需要开发一种方法论，以广泛诊断和测试这些模型的综合智力技能，包括自然语言推理检测、常识推理以及在不同文本主题或词汇下执行简单逻辑运算的能力。首次为俄语从零开始开发了一个包含九个任务的基准，其收集和组织方式类似于SuperGLUE方法论。我们提供了基线结果、人类水平的评估、一个用于评估模型的开源框架（https://github.com/RussianNLP/RussianSuperGLUE），以及俄语变压器模型的整体排行榜。此外，我们展示了多语言模型在适应性诊断测试集中的初步比较结果，并提出了进一步扩展或独立于语言评估最先进模型的第一步。