Zero-Shot-Tripel-Extraktion durch Vorlagenvervollständigung

Die Aufgabe der Triplet-Extraktion besteht darin, Paare von Entitäten und deren entsprechende Beziehungen aus unstrukturiertem Text zu extrahieren. Die meisten existierenden Methoden trainieren ein Extraktionsmodell auf Trainingsdaten, die spezifische Zielbeziehungen umfassen, und sind nicht in der Lage, neue Beziehungen zu extrahieren, die während des Trainings nicht beobachtet wurden. Die Verallgemeinerung des Modells auf unbekannte Beziehungen erfordert in der Regel das Feinjustieren an synthetischen Trainingsdaten, die oft rauschig und unzuverlässig sind. Wir zeigen, dass durch die Reduktion der Triplet-Extraktion auf eine Vorlagen-Füll-Aufgabe über einem vortrainierten Sprachmodell (LM) das Extraktionsmodell mit Fähigkeiten zum Zero-Shot-Lernen ausgestattet werden kann und das Bedürfnis nach zusätzlichen Trainingsdaten eliminiert wird. Wir schlagen einen neuen Rahmen vor, ZETT (Zero-Shot Triplet Extraction by Template Infilling), der das Aufgabenziel den Vortrainierungszielen generativer Transformer anpasst, um auf unbekannte Beziehungen zu verallgemeinern. Experimente mit den Datensätzen FewRel und Wiki-ZSL zeigen, dass ZETT konsistente und stabile Leistung aufweist und sogar bei der Verwendung automatisch generierter Vorlagen frühere Standesmethoden übertreffen kann. https://github.com/megagonlabs/zett/