HyperAIHyperAI

Command Palette

Search for a command to run...

Das StatCan Dialogdatensatz: Abrufen von Datentabellen durch Gespräche mit echten Absichten

Xing Han Lu Siva Reddy Harm de Vries

Zusammenfassung

Wir stellen den StatCan-Dialogdatensatz vor, der 19.379 Gesprächsdurchgänge zwischen Mitarbeitern von Statistik Kanada und Online-Nutzern umfasst, die nach veröffentlichten Datentabellen suchen. Die Gespräche stammen aus echten Absichten, werden auf Englisch oder Französisch geführt und führen dazu, dass die Mitarbeiter einen von über 5000 komplexen Datentabellen abrufen. Auf Basis dieses Datensatzes schlagen wir zwei Aufgaben vor: (1) die automatische Abrufung relevanter Tabellen basierend auf einem laufenden Gespräch und (2) die automatische Generierung angemessener Antworten der Mitarbeiter bei jedem Durchgang. Wir untersuchen die Schwierigkeit jeder Aufgabe durch das Festlegen starker Baseline-Modelle. Unsere Experimente mit einer zeitlichen Datenaufteilung zeigen, dass alle Modelle Schwierigkeiten haben, sich auf zukünftige Gespräche zu verallgemeinern, da wir eine erhebliche Leistungsabnahme bei beiden Aufgaben beobachten, wenn wir vom Validierungs- zum Testset übergehen. Zudem stellen wir fest, dass Antwortgenerierungsmodelle Schwierigkeiten haben zu entscheiden, wann eine Tabelle zurückgegeben werden soll. Angesichts der erheblichen Herausforderungen, die diese Aufgaben für bestehende Modelle darstellen, ermutigen wir die Gemeinschaft, Modelle für unsere Aufgaben zu entwickeln, die direkt zur Unterstützung von Wissensarbeitern genutzt werden können, um relevante Tabellen für Live-Chat-Nutzer zu finden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Das StatCan Dialogdatensatz: Abrufen von Datentabellen durch Gespräche mit echten Absichten | Paper | HyperAI