HyperAIHyperAI

Command Palette

Search for a command to run...

Rückruf, Erweiterung und Mehrfachkandidaten-Cross-Encoding: Schnell und Genau Ultrafeine Entitätstypisierung

Chengyue Jiang extsuperscript○‡ Wenyang Hui extsuperscript○‡ Yong Jiang Xiaobin Wang Pengjun Xie Kewei Tu extsuperscript†∗

Zusammenfassung

Ultrafeine Entitätstypisierung (UFET) prognostiziert extrem freiformige Typen (z.B. Präsident, Politiker) einer gegebenen Entitätsnennung (z.B. Joe Biden) im Kontext. State-of-the-Art-Methoden verwenden eine auf dem Cross-Encoder (CE) basierende Architektur. Der CE verbindet die Nennung (und ihren Kontext) mit jedem Typ und führt die Paare in ein vortrainiertes Sprachmodell (PLM) ein, um deren Relevanz zu bewerten. Dies ermöglicht eine tiefere Interaktion zwischen der Nennung und den Typen, um bessere Leistungen zu erzielen, erfordert jedoch N Vorwärtsdurchläufe (Größe des Typensatzes), um die Typen einer einzelnen Nennung zu bestimmen. Daher ist der CE bei großen Typensätzen (z.B. N = 10k für UFET) sehr langsam in der Inferenz.Um dieses Problem zu lösen, schlagen wir vor, die Entitätstypisierung in einem Recall-Expand-Filter-Prozess durchzuführen. Die Stufen Recall und Expand kürzen den großen Typensatz und generieren für jede Nennung die K am relevantesten Typpfade (K ist in der Regel weniger als 256). In der Filterstufe verwenden wir ein neues Modell namens MCCE, um diese K Kandidaten in nur einem Vorwärtsdurchlauf gleichzeitig zu kodieren und zu bewerten, um die endgültige Typprognose zu erhalten.Wir untersuchen verschiedene Varianten von MCCE und umfangreiche Experimente zeigen, dass MCCE unter unserem Paradigma state-of-the-art-Leistung bei ultrafeiner Entitätstypisierung erreicht und tausendmal schneller als der Cross-Encoder ist. Wir haben auch festgestellt, dass MCCE sehr effektiv bei feinkörniger (130 Typen) und grobkörniger (9 Typen) Entitätstypisierung ist. Unser Code ist unter \url{https://github.com/modelscope/AdaSeq/tree/master/examples/MCCE} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp