Event2Mind für Russisch: Verständnis von Emotionen und Absichten in Texten. Korpus und Modell zur Evaluation
{Tabisheva A. O Mironenko F. D. Filipetskaya D. V. Tikhonova M. I. Fenogenova A. S.}
Abstract
Der Artikel bietet eine umfassende Übersicht über die Korpusdaten für die russische Sprache im Kontext der commonsense-Inferenz-Aufgabe. Insbesondere konstruieren wir Ereignisphrasen, die eine breite Palette alltäglicher Situationen abdecken und jeweils mit annotierten Absichten und Reaktionen des Hauptakteurs sowie mit Emotionen anderer Beteiligter versehen sind. Das Datensatz besteht aus zwei Teilen: einem von der Community gesammelten Korpus mit 6.756 Beispielen aus russischen Quellen sowie einem in die russische Sprache übersetzten Teil des ursprünglichen Korpus mit 23.409 Beispielen. Darüber hinaus nutzen wir die gesammelten Daten, um das Event2Mind-Modell für die russische Sprache zu trainieren. Der Artikel präsentiert eine sorgfältige Beschreibung des besten russischen Modells sowie die Ergebnisse der durchgeführten Experimente.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| common-sense-reasoning-on-russian-event2mind | ruscorpora fasttext + GRU | recall@10: 0.822 |
| common-sense-reasoning-on-russian-event2mind | ruscorpora fasttext + LSTM | recall@10: 0.821 |
| common-sense-reasoning-on-russian-event2mind | araneum fasttext + LSTM | recall@10: 0.818 |
| common-sense-reasoning-on-russian-event2mind | araneum word2vec (skipgram) + LSTM | recall@10: 0.816 |
| common-sense-reasoning-on-russian-event2mind | ruscorpora word2vec (skipgram) + GRU | recall@10: 0.825 |
| common-sense-reasoning-on-russian-event2mind | araneum fasttext + GRU | recall@10: 0.819 |
| common-sense-reasoning-on-russian-event2mind | araneum word2vec (skipgram) + GRU | recall@10: 0.827 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.