HyperAIHyperAI
vor 17 Tagen

CommonGen: Eine eingeschränkte Textgenerierungsaufgabe für generatives gemeinverständliches Schließen

Bill Yuchen Lin, Wangchunshu Zhou, Ming Shen, Pei Zhou, Chandra Bhagavatula, Yejin Choi, Xiang Ren
CommonGen: Eine eingeschränkte Textgenerierungsaufgabe für generatives gemeinverständliches Schließen
Abstract

Kürzlich haben große vortrainierte Sprachmodelle beeindruckende Leistungen auf mehreren Benchmarks für gemeinverständliche Schlussfolgerungen gezeigt. Dennoch bleibt die Entwicklung von Maschinen mit gemeinverständlicher Intelligenz, die realistisch plausibele Sätze generieren können, eine herausfordernde Aufgabe. In diesem Paper stellen wir eine eingeschränkte Textgenerierungsaufgabe namens CommonGen sowie einen dazugehörigen Benchmark-Datensatz vor, um die Fähigkeit von Maschinen zur generativen gemeinverständlichen Schlussfolgerung explizit zu testen. Gegeben eine Menge gemeinsamer Konzepte (z. B. {Hund, Frisbee, Fangen, Werfen}); soll eine kohärente Aussage generiert werden, die eine alltägliche Situation unter Verwendung dieser Konzepte beschreibt (z. B. „Ein Mann wirft einen Frisbee, und sein Hund fängt ihn auf“).Die CommonGen-Aufgabe ist herausfordernd, da sie inhärent zwei Fähigkeiten erfordert: 1) relationales Schließen unter Verwendung von Hintergrundwissen über die Gemeinverständlichkeit und 2) die Fähigkeit zur kompositionellen Generalisierung, um auch auf bisher unbekannte Konzeptkombinationen anwendbar zu sein. Unser Datensatz wurde durch eine Kombination aus crowdsourcenden und bestehenden Bildunterschriftskorpora erstellt und umfasst 79.000 gemeinverständliche Beschreibungen über 35.000 eindeutige Konzeptgruppen. Experimente zeigen, dass zwischen den modernsten Textgenerierungsmodellen (z. B. T5) und menschlicher Leistung eine erhebliche Lücke besteht. Zudem zeigen wir, dass die erlernte Fähigkeit zur generativen gemeinverständlichen Schlussfolgerung übertragen werden kann, um die Leistung auf nachgelagerten Aufgaben wie CommonsenseQA durch die Generierung zusätzlicher Kontextinformationen zu verbessern.