Transformers zur Lernung hierarchischer Kontexte in Multiparty-Dialogen für spanbasierte Fragebeantwortung

Wir stellen einen neuartigen Ansatz für Transformers vor, der hierarchische Darstellungen in Mehrparteien-Dialogen lernt. Zunächst werden drei Sprachmodellierungsaufgaben eingesetzt, um die Transformers vorzutrainieren: Token- und Äußerungsebene Sprachmodellierung sowie die Vorhersage der Äußerungsreihenfolge. Diese Aufgaben ermöglichen es, sowohl Token- als auch Äußerungsebenen-Embeddings zu lernen, um das Verständnis im Dialogkontext zu verbessern. Anschließend wird ein Mehraufgaben-Lernansatz zwischen der Äußerungsvorhersage und der Vorhersage von Token-Blöcken angewendet, um das Modell für spanbasierte Fragebeantwortung (Span-based QA) zu feintunen. Unser Ansatz wird auf dem FriendsQA-Datensatz evaluiert und zeigt gegenüber den beiden state-of-the-art-Transformer-Modellen BERT und RoBERTa jeweils Verbesserungen um 3,8 % und 1,4 %.