Command Palette
Search for a command to run...
Verbleiben Sie beim Thema mit klassifikatorfreier Leitung.
Verbleiben Sie beim Thema mit klassifikatorfreier Leitung.
Guillaume V. Sanchez Honglu Fan Alexander Spangher Elad Levi Pawan Sasanka Ammanamanchi Stella Biderman
Zusammenfassung
Classifier-Free Guidance (CFG) ist kürzlich als eine leichte Technik zur Förderung der Prompt-Adäquanz bei der Text-zu-Bild-Generierung hervorgetreten. In dieser Arbeit zeigen wir, dass CFG allgemein als Inferenzzeittechnik im reinen Sprachmodellieren eingesetzt werden kann. Wir demonstrieren, dass CFG (1) die Leistung von Pythia-, GPT-2- und LLaMA-Familienmodellen in einer Reihe von Aufgaben verbessert: Frage-Antwort, Schlussfolgerung, Codegenerierung und maschinelle Übersetzung, wobei LLaMA-7B auf LAMBADA bessere Ergebnisse als PaLM-540B erzielt; (2) Verbesserungen bietet, die einem Modell mit doppelter Parameterzahl entsprechen; (3) neben anderen Inferenzzeitmethoden wie Chain-of-Thought und Selbstkonsistenz kombiniert werden kann, was zu weiteren Verbesserungen bei schwierigen Aufgaben führt; (4) verwendet werden kann, um die Zuverlässigkeit und Kohärenz von Assistenten in anspruchsvollen formgesteuerten und inhaltsgesteuerten Prompts zu erhöhen: In einer menschlichen Bewertung zeigte sich eine 75%-ige Präferenz für GPT4All mit CFG im Vergleich zur Baseline.