IDOL: indicatororientiertes Logik-Vortraining für logisches Schließen

Im Bereich des maschinellen Leseverständnisses (Machine Reading Comprehension, MRC) haben bestehende Systeme in vielen Aufgaben, wie beispielsweise SQuAD, bereits die durchschnittliche Leistung menschlicher Leser übertroffen. Bei logischer Schlussfolgerung bleibt jedoch noch ein erheblicher Forschungsbedarf bestehen. Obwohl einige Ansätze zur Verbesserung der logischen Schlussfolgerung vorgeschlagen wurden, sind diese entweder äußerst komplex gestaltet oder zu stark auf externe Strukturen angewiesen. In diesem Paper stellen wir IDOL (InDicator-Oriented Logic Pre-training) vor – eine einfach verständliche, aber hochwirksame Weiter-Prätrainingsaufgabe, die prätrainierte Modelle mithilfe von sechs Arten logischer Indikatoren und eines logisch reichen Datensatzes namens LGP (LoGic Pre-training) logisch stärkt. IDOL erzielt Spitzenleistungen auf ReClor und LogiQA, den zwei repräsentativsten Benchmark-Aufgaben im Bereich logischer Schlussfolgerung im MRC. Zudem wird nachgewiesen, dass IDOL sich gut auf verschiedene prätrainierte Modelle und andere Arten von MRC-Benchmarks, wie RACE und SQuAD 2.0, generalisieren lässt, während sie gleichzeitig eine konkurrenzfähige Fähigkeit im allgemeinen Sprachverständnis bewahrt, wie Tests auf Aufgaben des GLUE-Benchmarks zeigen. Darüber hinaus vergleichen wir IDOL zu Beginn der Ära großer Sprachmodelle mit mehreren Modellen wie ChatGPT und stellen fest, dass IDOL weiterhin deutliche Vorteile aufweist.