Verbleiben Sie beim Thema mit klassifikatorfreier Leitung.

Classifier-Free Guidance (CFG) ist kürzlich als eine leichte Technik zur Förderung der Prompt-Adäquanz bei der Text-zu-Bild-Generierung hervorgetreten. In dieser Arbeit zeigen wir, dass CFG allgemein als Inferenzzeittechnik im reinen Sprachmodellieren eingesetzt werden kann. Wir demonstrieren, dass CFG (1) die Leistung von Pythia-, GPT-2- und LLaMA-Familienmodellen in einer Reihe von Aufgaben verbessert: Frage-Antwort, Schlussfolgerung, Codegenerierung und maschinelle Übersetzung, wobei LLaMA-7B auf LAMBADA bessere Ergebnisse als PaLM-540B erzielt; (2) Verbesserungen bietet, die einem Modell mit doppelter Parameterzahl entsprechen; (3) neben anderen Inferenzzeitmethoden wie Chain-of-Thought und Selbstkonsistenz kombiniert werden kann, was zu weiteren Verbesserungen bei schwierigen Aufgaben führt; (4) verwendet werden kann, um die Zuverlässigkeit und Kohärenz von Assistenten in anspruchsvollen formgesteuerten und inhaltsgesteuerten Prompts zu erhöhen: In einer menschlichen Bewertung zeigte sich eine 75%-ige Präferenz für GPT4All mit CFG im Vergleich zur Baseline.