Die meisten Sprachmodelle können auch Dichter sein: Ein KI-Schreibassistent und Studio für eingeschränkte Textgenerierung

Trotz der raschen Fortschritte im Bereich der eingeschränkten natürlichen Sprachgenerierung wurde bisher wenig Zeit darauf verwendet, das Potenzial von Sprachmodellen zu erforschen, deren Vokabulare lexikalisch, semantisch und/oder phonetisch eingeschränkt sind. Wir stellen fest, dass die meisten Sprachmodelle bereits unter erheblichen Einschränkungen überzeugende Texte generieren können. Wir präsentieren eine einfache und universell anwendbare Technik zur Modifikation der Ausgabe eines Sprachmodells, indem filterfunktionen kompositionell auf das Vokabular des Modells angewendet werden, bevor ein Textabschnitt generiert wird. Dieser Ansatz ist plug-and-play und erfordert keine Änderung am Modell selbst. Um den Nutzen dieser Technik zu demonstrieren, stellen wir einen benutzerfreundlichen KI-Schreibassistenten namens Constrained Text Generation Studio (CTGS) vor. CTGS ermöglicht es Benutzern, Texte mit beliebigen Kombinationen einer Vielzahl von Einschränkungen zu generieren oder auszuwählen, beispielsweise das Verbieten eines bestimmten Buchstabens, das Erzwingen einer bestimmten Silbenanzahl in den generierten Wörtern oder das Erzwingen, dass die Wörter partielle Anagramme eines anderen Wortes sind. Wir führen eine neuartige Datensammlung von Prosa ein, die den Buchstaben „e“ ausschließt. Wir zeigen, dass unsere Methode im Vergleich zur alleinigen Feinabstimmung (fine-tuning) auf dieser Datensammlung streng bessere Ergebnisse liefert. Zudem präsentieren wir eine Webanwendung auf Hugging Face Spaces, die diese Technik demonstriert und unter dem Namen Gadsby verfügbar ist. Der Quellcode ist öffentlich zugänglich unter: https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio