GoLLIE: Anleitungen für die Annotation verbessern die Zero-Shot Informationsextraktion

Große Sprachmodelle (LLMs) in Kombination mit Anweisungstuning haben bei der Generalisierung auf unbekannte Aufgaben erhebliche Fortschritte gemacht. Sie waren jedoch weniger erfolgreich im Bereich der Informationsextraktion (IE) und fielen hinter aufgabenspezifische Modelle zurück. Typischerweise werden IE-Aufgaben durch komplexe Annotationrichtlinien gekennzeichnet, die die Aufgabe beschreiben und Beispiele für Menschen liefern. Bisherige Versuche, diese Informationen zu nutzen, sind auch mit den größten Modellen gescheitert, da sie nicht in der Lage waren, die Richtlinien ohne weitere Anpassungen zu befolgen. In dieser Arbeit schlagen wir GoLLIE (Guideline-following Large Language Model for IE) vor, ein Modell, das durch Feinabstimmung auf die Einhaltung von Annotationrichtlinien in der Lage ist, die Ergebnisse bei unbekannten IE-Aufgaben im Zero-Shot-Szenario zu verbessern. Eine umfassende Bewertung zeigt empirisch, dass GoLLIE in der Lage ist, unbekannte Richtlinien zu generalisieren und zu befolgen und dabei frühere Versuche im Zero-Shot-Informationsextraktionsbereich übertrifft. Die Ablationstudie verdeutlicht, dass detaillierte Richtlinien für gute Ergebnisse entscheidend sind.