Heben Sie sich selbst hoch: abgerufensverstärkte Textgenerierung mit eigenem Gedächtnis

Mit direktem Zugriff auf menschlich verfasste Referenzdaten als Gedächtnis hat die retrieval-augmentierte Generierung in einer Vielzahl von Textgenerierungsaufgaben erhebliche Fortschritte erzielt. Da eine bessere Gedächtnisqualität typischerweise zu einer besseren Generierung führt (wir bezeichnen dies als primäres Problem), basiert der herkömmliche Ansatz zur Gedächtnisretrieval auf der Auswahl von Gedächtnisinhalten mit der höchsten Ähnlichkeit zum Eingabedaten. Dieser Ansatz ist jedoch durch die Qualität der festen Korpusdaten begrenzt, aus denen das Gedächtnis abgerufen wird. In dieser Arbeit untersuchen wir die Dualität des primären Problems: eine bessere Generierung fördert ebenfalls eine bessere Gedächtnisqualität. Auf dieser Grundlage stellen wir einen neuartigen Rahmen, selfmem, vor, der diese Einschränkung überwindet, indem er iterativ einen retrieval-augmentierten Generator nutzt, um eine unbegrenzte Gedächtnisdatenbank zu erstellen, und einen Gedächtnis-Selektor verwendet, um jeweils eine Ausgabe als Gedächtnis für den nächsten Generierungszyklus auszuwählen. Dadurch kann das Modell seine eigenen Ausgaben, die wir Selbstgedächtnis (self-memory) nennen, zur Verbesserung der Generierung nutzen. Wir evaluieren die Wirksamkeit von selfmem an drei unterschiedlichen Textgenerierungsaufgaben: neuronale Maschinenübersetzung, abstraktive Textzusammenfassung und Dialoggenerierung, unter zwei Generierungsparadigmen: fine-tuned kleine Modelle und few-shot große Sprachmodelle (LLM). Unser Ansatz erreicht state-of-the-art-Ergebnisse in vier Dimensionen auf den Datensätzen JRC-Acquis, XSum (50,3 ROUGE-1) und BigPatent (62,9 ROUGE-1), was das Potenzial des Selbstgedächtnisses zur Verbesserung retrieval-augmentierter Generierungsmodelle belegt. Darüber hinaus führen wir eine detaillierte Analyse jedes Bestandteils des selfmem-Rahmens durch, um Engpässe zu identifizieren und zukünftige Forschungsrichtungen zu erläutern.