Rückruf, Erweiterung und Mehrfachkandidaten-Cross-Encoding: Schnell und Genau Ultrafeine Entitätstypisierung

Ultrafeine Entitätstypisierung (UFET) prognostiziert extrem freiformige Typen (z.B. Präsident, Politiker) einer gegebenen Entitätsnennung (z.B. Joe Biden) im Kontext. State-of-the-Art-Methoden verwenden eine auf dem Cross-Encoder (CE) basierende Architektur. Der CE verbindet die Nennung (und ihren Kontext) mit jedem Typ und führt die Paare in ein vortrainiertes Sprachmodell (PLM) ein, um deren Relevanz zu bewerten. Dies ermöglicht eine tiefere Interaktion zwischen der Nennung und den Typen, um bessere Leistungen zu erzielen, erfordert jedoch N Vorwärtsdurchläufe (Größe des Typensatzes), um die Typen einer einzelnen Nennung zu bestimmen. Daher ist der CE bei großen Typensätzen (z.B. N = 10k für UFET) sehr langsam in der Inferenz.Um dieses Problem zu lösen, schlagen wir vor, die Entitätstypisierung in einem Recall-Expand-Filter-Prozess durchzuführen. Die Stufen Recall und Expand kürzen den großen Typensatz und generieren für jede Nennung die K am relevantesten Typpfade (K ist in der Regel weniger als 256). In der Filterstufe verwenden wir ein neues Modell namens MCCE, um diese K Kandidaten in nur einem Vorwärtsdurchlauf gleichzeitig zu kodieren und zu bewerten, um die endgültige Typprognose zu erhalten.Wir untersuchen verschiedene Varianten von MCCE und umfangreiche Experimente zeigen, dass MCCE unter unserem Paradigma state-of-the-art-Leistung bei ultrafeiner Entitätstypisierung erreicht und tausendmal schneller als der Cross-Encoder ist. Wir haben auch festgestellt, dass MCCE sehr effektiv bei feinkörniger (130 Typen) und grobkörniger (9 Typen) Entitätstypisierung ist. Unser Code ist unter \url{https://github.com/modelscope/AdaSeq/tree/master/examples/MCCE} verfügbar.