HyperAIHyperAI

Command Palette

Search for a command to run...

Ultra-fine Entity Typing mit indirekter Supervision aus Natural Language Inference

Bangzheng Li Wenpeng Yin Muhao Chen

Zusammenfassung

Die Aufgabe des ultra-feinen Entitätstypisierungs (UFET) zielt darauf ab, vielfältige und frei formulierte Wörter oder Ausdrücke vorherzusagen, die die angemessenen Typen von in Sätzen erwähnten Entitäten beschreiben. Eine zentrale Herausforderung dieser Aufgabe liegt in der großen Anzahl möglicher Typen sowie der geringen Menge an annotierten Daten pro Typ. Bestehende Systeme formulieren die Aufgabe als Mehrwege-Klassifikationsproblem und trainieren direkt oder indirekt überwachte Klassifikatoren. Dies führt zu zwei Problemen: (i) Die Klassifikatoren erfassen die Semantik der Typen nicht angemessen, da Typen häufig in Indizes umgewandelt werden; (ii) Systeme, die auf diese Weise entwickelt werden, sind auf die Vorhersage innerhalb eines vordefinierten Typensatzes beschränkt und erweisen sich oft als unzureichend, wenn es um die Generalisierung auf selten oder gar nicht im Trainingsdatensatz vorkommende Typen geht. In dieser Arbeit präsentieren wir LITE, einen neuen Ansatz, der die Entitätstypisierung als Aufgabe der natürlichen Sprachinferenz (NLI) formuliert. Dabei nutzt LITE (i) die indirekte Überwachung aus NLI, um Typinformationen sinnvoll als textuelle Hypothesen darzustellen und das Problem der Datenknappheit zu mildern, sowie (ii) ein Learning-to-Rank-Optimierungsziel, um die vorherige Definition eines festen Typensatzes zu vermeiden. Experimente zeigen, dass LITE bei begrenzten Trainingsdaten eine state-of-the-art-Leistung auf der UFET-Aufgabe erzielt. Zudem demonstriert LITE eine starke Generalisierbarkeit, indem es nicht nur die besten Ergebnisse auf anderen feinkörnigen Entitätstypisierungs-Benchmarks erzielt, sondern insbesondere auch ein vortrainiertes LITE-System gut auf neue Daten mit bisher nicht gesehenen Typen anwendbar ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp