Einheitliche semantische Typisierung mit sinnvoller Label-Inferenz

Semantische Typisierung zielt darauf ab, Tokens oder Textabschnitte in einem sprachlichen Kontext in semantische Kategorien wie Relationen, Entitätstypen und Ereignistypen einzuteilen. Die abgeleiteten Etiketten semantischer Kategorien interpretieren bedeutungsvoll, wie Maschinen Komponenten von Texten verstehen. In diesem Paper präsentieren wir UniST, einen einheitlichen Rahmen für semantische Typisierung, der Label-Semantik erfasst, indem sowohl Eingaben als auch Labels in einen gemeinsamen semantischen Embedding-Raum projiziert werden. Um verschiedene lexikalische und relationale semantische Typisierungsaufgaben als eine einheitliche Aufgabe zu formulieren, integrieren wir Aufgabenbeschreibungen, die gemeinsam mit der Eingabe kodiert werden, wodurch UniST an unterschiedliche Aufgaben angepasst werden kann, ohne auf aufgaben-spezifische Modulkomponenten angewiesen zu sein. UniST optimiert eine Margin-Ranking-Verlustfunktion, sodass die semantische Ähnlichkeit zwischen Eingabe und Label durch ihre Embedding-Ähnlichkeit widergespiegelt wird. Unsere Experimente zeigen, dass UniST eine starke Leistung bei drei semantischen Typisierungsaufgaben erzielt: Entitätstypisierung, Relationsklassifikation und Ereignistypisierung. Gleichzeitig überträgt UniST semantisches Wissen über Labels effektiv und verbessert signifikant die Generalisierbarkeit beim Inferieren selten gesehener und völlig neuer Typen. Zudem können mehrere semantische Typisierungsaufgaben innerhalb des einheitlichen Rahmens gemeinsam trainiert werden, was ein einzelnes kompaktes Multitask-Modell ermöglicht, das vergleichbare Ergebnisse wie spezialisierte Einzelaufgabenmodelle erzielt, dabei aber eine noch bessere Übertragbarkeit bietet.