Metriklernen und adaptive Grenzen für die Erkennung außerdienstlicher Daten

Konversationsagenten werden in der Regel für geschlossene Welten entwickelt. Leider können Nutzer sich unerwartet verhalten. In offenen Welten begegnen wir häufig der Situation, dass Trainings- und Testdaten aus unterschiedlichen Verteilungen stammen. Daten aus anderen Verteilungen werden dann als außerhalb des Domains (Out-of-Domain, OOD) bezeichnet. Ein robuster Konversationsagent muss auf diese OOD-Aussagen angemessen reagieren. Daher wird die Bedeutung einer robusten OOD-Erkennung betont. Leider ist das Sammeln von OOD-Daten eine herausfordernde Aufgabe. Wir haben einen OOD-Erkennungsalgorithmus entwickelt, der unabhängig von OOD-Daten ist und eine breite Palette aktueller state-of-the-art-Algorithmen in öffentlich zugänglichen Datensätzen übertrifft. Unser Algorithmus basiert auf einem einfachen, aber effizienten Ansatz, bei dem metrisches Lernen mit einer adaptiven Entscheidungsgrenze kombiniert wird. Zudem haben wir festgestellt, dass unser vorgeschlagener Algorithmus in Szenarien mit einer geringeren Anzahl von Klassen die OOD-Leistung erheblich verbessert, während gleichzeitig die Genauigkeit für innerhalb des Domains (In-Domain, IND) liegende Klassen gewahrt bleibt.