HyperAIHyperAI

Command Palette

Search for a command to run...

Heben Sie sich selbst hoch: abgerufensverstärkte Textgenerierung mit eigenem Gedächtnis

Xin Cheng Di Luo Xiuying Chen Lemao Liu Dongyan Zhao Rui Yan

Zusammenfassung

Mit direktem Zugriff auf menschlich verfasste Referenzdaten als Gedächtnis hat die retrieval-augmentierte Generierung in einer Vielzahl von Textgenerierungsaufgaben erhebliche Fortschritte erzielt. Da eine bessere Gedächtnisqualität typischerweise zu einer besseren Generierung führt (wir bezeichnen dies als primäres Problem), basiert der herkömmliche Ansatz zur Gedächtnisretrieval auf der Auswahl von Gedächtnisinhalten mit der höchsten Ähnlichkeit zum Eingabedaten. Dieser Ansatz ist jedoch durch die Qualität der festen Korpusdaten begrenzt, aus denen das Gedächtnis abgerufen wird. In dieser Arbeit untersuchen wir die Dualität des primären Problems: eine bessere Generierung fördert ebenfalls eine bessere Gedächtnisqualität. Auf dieser Grundlage stellen wir einen neuartigen Rahmen, selfmem, vor, der diese Einschränkung überwindet, indem er iterativ einen retrieval-augmentierten Generator nutzt, um eine unbegrenzte Gedächtnisdatenbank zu erstellen, und einen Gedächtnis-Selektor verwendet, um jeweils eine Ausgabe als Gedächtnis für den nächsten Generierungszyklus auszuwählen. Dadurch kann das Modell seine eigenen Ausgaben, die wir Selbstgedächtnis (self-memory) nennen, zur Verbesserung der Generierung nutzen. Wir evaluieren die Wirksamkeit von selfmem an drei unterschiedlichen Textgenerierungsaufgaben: neuronale Maschinenübersetzung, abstraktive Textzusammenfassung und Dialoggenerierung, unter zwei Generierungsparadigmen: fine-tuned kleine Modelle und few-shot große Sprachmodelle (LLM). Unser Ansatz erreicht state-of-the-art-Ergebnisse in vier Dimensionen auf den Datensätzen JRC-Acquis, XSum (50,3 ROUGE-1) und BigPatent (62,9 ROUGE-1), was das Potenzial des Selbstgedächtnisses zur Verbesserung retrieval-augmentierter Generierungsmodelle belegt. Darüber hinaus führen wir eine detaillierte Analyse jedes Bestandteils des selfmem-Rahmens durch, um Engpässe zu identifizieren und zukünftige Forschungsrichtungen zu erläutern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Heben Sie sich selbst hoch: abgerufensverstärkte Textgenerierung mit eigenem Gedächtnis | Paper | HyperAI