HyperAIHyperAI
vor 2 Monaten

Generative Data Augmentation für Common-Sense-Reasoning

Yiben Yang; Chaitanya Malaviya; Jared Fernandez; Swabha Swayamdipta; Ronan Le Bras; Ji-Ping Wang; Chandra Bhagavatula; Yejin Choi; Doug Downey
Generative Data Augmentation für Common-Sense-Reasoning
Abstract

Kürzliche Fortschritte im Bereich des allgemeinen Sprachverstehens (commonsense reasoning) basieren auf umfangreichen, von Menschen annotierten Trainingsdaten, um optimale Leistung zu erzielen. Allerdings ist die manuelle Erstellung von Trainingsbeispielen kostspielig und es wurde gezeigt, dass sie Annotation-Artefakte einführt, die neuronale Modelle leicht ausnutzen und anpassen können. Wir untersuchen G-DAUG^C, eine neuartige generative Datenverstärkungsmethode (generative data augmentation method), die darauf abzielt, genaues und robustes Lernen in Szenarien mit begrenzten Ressourcen zu ermöglichen. Unser Ansatz erstellt synthetische Beispiele unter Verwendung vortrainierter Sprachmodelle und wählt die informativste und vielfältigste Menge an Beispielen für die Datenverstärkung aus. In Experimenten mit mehreren Benchmarks für allgemeines Sprachverständnis zeigte G-DAUG^C konsistent bessere Ergebnisse als bestehende Methoden der Datenverstärkung auf Basis von Rückübersetzung (back-translation). Zudem legt es einen neuen Stand der Technik bei WinoGrande, CODAH und CommonsenseQA fest. Darüber hinaus verbessert das durch G-DAUG^C verstärkte Training nicht nur die Genauigkeit innerhalb der Verteilung (in-distribution accuracy), sondern erhöht auch die Generalisierungsfähigkeit außerhalb der Verteilung (out-of-distribution generalization), was eine größere Robustheit gegenüber feindseligen oder gestörten Beispielen zeigt. Unsere Analyse belegt, dass G-DAUG^C eine vielfältige Menge fließender Trainingsbeispiele erzeugt und dass seine Selektions- und Trainingsansätze für die Leistung wichtig sind. Unsere Ergebnisse ermutigen zukünftige Forschungen zur generativen Datenverstärkung, um sowohl das Lernen innerhalb als auch außerhalb der Verteilung zu verbessern.