DeepType: Mehrsprachige Entitätensverknüpfung durch neuronale Typensystemevolution
Das heute zur Verfügung stehende reiche Wissen an strukturierten (z.B. Wikidata) und unstrukturierten Daten über die Welt bietet eine unglaubliche Chance für die Künstliche Intelligenz der Zukunft. Bisher ist die Integration dieser beiden verschiedenen Modalitäten ein schwieriger Prozess, der viele Entscheidungen über die beste Darstellung der Informationen erfordert, sodass sie aufgenommen oder nützlich sind, sowie das manuelle Kennzeichnen großer Datenmengen. DeepType überwindet diese Herausforderung, indem es symbolische Informationen explizit in den Schließungsprozess eines neuronalen Netzes mit einem Typensystem integriert. Zunächst bauen wir ein Typensystem auf und nutzen es anschließend, um die Ausgaben des neuronalen Netzes so zu beschränken, dass sie der symbolischen Struktur entsprechen. Dies erreichen wir, indem wir das Designproblem in ein gemischt-ganzzahliges Problem umformulieren: Ein Typensystem erstellen und subsequently ein neuronales Netz damit trainieren. In dieser Umformulierung wählen diskrete Variablen, welche Eltern-Kind-Beziehungen aus einer Ontologie im Typensystem als Typen dienen sollen, während kontinuierliche Variablen einen Klassifikator steuern, der dem Typensystem angepasst wird. Das ursprüngliche Problem kann nicht exakt gelöst werden, daher schlagen wir einen zweistufigen Algorithmus vor: 1) Heuristische Suche oder stochastische Optimierung über diskrete Variablen, die von einem Orakel und einer Lernfähigkeitsheuristik informiert sind und ein Typensystem definieren; 2) Gradientenabstieg zur Anpassung der Klassifikatorparameter. Wir wenden DeepType auf das Problem der Entitätsschachtelung an drei Standarddatensätzen an (d.h. WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) und stellen fest, dass es alle existierenden Lösungen deutlich übertreffen kann, einschließlich Ansätze, die auf einem menschengestalteten Typensystem oder aktuellen tiefen Lernmethoden basieren, bei denen Entitäts-Einbettungen verwendet werden. Die explizite Nutzung symbolischer Informationen ermöglicht es zudem, neue Entitäten ohne Neutrainierung zu integrieren.