Autoregressive Entity Retrieval

Entitäten stehen im Zentrum unserer Darstellung und Aggregation von Wissen. Beispielsweise sind Enzyklopädien wie Wikipedia strukturiert nach Entitäten (z. B. eine pro Wikipedia-Artikel). Die Fähigkeit, gegeben eine Abfrage solche Entitäten zu retrieven, ist grundlegend für wissensintensive Aufgaben wie Entitäten-Linking und fragebasierte Antwortfindung im offenen Domänenbereich. Aktuelle Ansätze können als Klassifikatoren mit atomaren Etiketten verstanden werden, wobei jedes Entität ein eigenes Etikett besitzt. Ihre Gewichtsvektoren sind dichte Entitätsrepräsentationen, die durch Kodierung von Entitäts-Meta-Informationen wie Beschreibungen erzeugt werden. Dieser Ansatz weist mehrere Nachteile auf: (i) Kontext und Entitätsaffinität werden hauptsächlich über ein Skalarprodukt von Vektoren erfasst, was feinabgestimmte Interaktionen möglicherweise übersehen kann; (ii) bei großen Entitätenmengen ist ein erheblicher Speicherbedarf notwendig, um dichte Repräsentationen zu speichern; (iii) es muss während des Trainings eine geeignet schwierige Menge an negativen Daten abgetastet werden. In dieser Arbeit präsentieren wir GENRE, das erste System, das Entitäten durch die generative Erzeugung ihrer eindeutigen Namen, von links nach rechts, Token für Token, in einer autoregressiven Weise retrievt. Dies behebt die oben genannten technischen Probleme, da: (i) die autoregressive Formulierung Beziehungen zwischen Kontext und Entitätsnamen direkt erfasst und somit beide effektiv kreuzkodiert; (ii) der Speicherbedarf erheblich reduziert wird, da die Parameter unserer Encoder-Decoder-Architektur mit der Vokabulargröße skalieren, nicht mit der Anzahl der Entitäten; (iii) die Softmax-Verlustfunktion ohne Abtastung negativer Daten berechnet werden kann. Wir testen GENRE an mehr als 20 Datensätzen für Entitäten-Disambiguierung, End-to-End-Entitäten-Linking und Dokumentenretrieval und erzielen neue SOTA-Ergebnisse oder sehr konkurrenzfähige Leistungen, wobei lediglich ein winziger Bruchteil des Speicherbedarfs konkurrierender Systeme benötigt wird. Schließlich zeigen wir, dass neue Entitäten einfach durch Angabe ihrer Namen hinzugefügt werden können. Code und vortrainierte Modelle sind unter https://github.com/facebookresearch/GENRE verfügbar.