Das StatCan Dialogdatensatz: Abrufen von Datentabellen durch Gespräche mit echten Absichten

Wir stellen den StatCan-Dialogdatensatz vor, der 19.379 Gesprächsdurchgänge zwischen Mitarbeitern von Statistik Kanada und Online-Nutzern umfasst, die nach veröffentlichten Datentabellen suchen. Die Gespräche stammen aus echten Absichten, werden auf Englisch oder Französisch geführt und führen dazu, dass die Mitarbeiter einen von über 5000 komplexen Datentabellen abrufen. Auf Basis dieses Datensatzes schlagen wir zwei Aufgaben vor: (1) die automatische Abrufung relevanter Tabellen basierend auf einem laufenden Gespräch und (2) die automatische Generierung angemessener Antworten der Mitarbeiter bei jedem Durchgang. Wir untersuchen die Schwierigkeit jeder Aufgabe durch das Festlegen starker Baseline-Modelle. Unsere Experimente mit einer zeitlichen Datenaufteilung zeigen, dass alle Modelle Schwierigkeiten haben, sich auf zukünftige Gespräche zu verallgemeinern, da wir eine erhebliche Leistungsabnahme bei beiden Aufgaben beobachten, wenn wir vom Validierungs- zum Testset übergehen. Zudem stellen wir fest, dass Antwortgenerierungsmodelle Schwierigkeiten haben zu entscheiden, wann eine Tabelle zurückgegeben werden soll. Angesichts der erheblichen Herausforderungen, die diese Aufgaben für bestehende Modelle darstellen, ermutigen wir die Gemeinschaft, Modelle für unsere Aufgaben zu entwickeln, die direkt zur Unterstützung von Wissensarbeitern genutzt werden können, um relevante Tabellen für Live-Chat-Nutzer zu finden.