Hyperbolische Repräsentationslernen für schnelles und effizientes neuronales Frage-Antworten

Die vorherrschenden neuronalen Architekturen für die Frage-Antwort-Retrieval basieren auf rekurrenten oder Faltungsencodern, die mit komplexen Wortübereinstimmungsschichten konfiguriert sind. Angesichts der Tatsache, dass jüngste architektonische Innovationen hauptsächlich neue Wortinteraktionsschichten oder aufmerksamkeitsbasierte Übereinstimmungsmechanismen sind, scheint es eine weit verbreitete Meinung zu sein, dass diese Komponenten für eine gute Leistung unerlässlich sind. Leider sind die Speicher- und Rechenkosten, die durch diese komplexen Mechanismen entstehen, für praktische Anwendungen unerwünscht. Daher widmet sich dieser Artikel der Fragestellung, ob es möglich ist, mit einfachen neuronalen Architekturen wettbewerbsfähige Leistungen zu erzielen. Wir schlagen eine einfache aber innovative Deep-Learning-Architektur vor, die schnelles und effizientes Ranking und Retrieval von Fragen und Antworten ermöglicht. Genauer gesagt ist unser vorgeschlagenes Modell \textsc{HyperQA} ein parametersparenes neuronales Netzwerk, das andere parameterintensive Modelle wie Attentive Pooling BiLSTMs (Bidirektionale LSTMs) und Multi-Perspective CNNs (Faltungsnetze) in mehreren QA-Benchmarks übertrifft. Die Neuerung bei \textsc{HyperQA} besteht in einem paarweisen Rangierziel, das die Beziehung zwischen den Einbettungen von Fragen und Antworten im hyperbolischen Raum anstatt im euklidischen Raum modelliert. Dies verleiht unserem Modell eine selbstorganisierende Fähigkeit und ermöglicht es automatisch latente Hierarchien während des Lernens von Einbettungen von Fragen und Antworten zu entdecken. Unser Modell benötigt keine Feature-Engineering, keine Similaritätsmatrixübereinstimmung, keine komplizierten Aufmerksamkeitsmechanismen noch überparameterisierte Schichten und übertreffen dennoch viele Modelle mit diesen Funktionen in mehreren Benchmarks.请注意，这里“\textsc{HyperQA}”是专有名词，因此在德语中也保留了原始形式。其他术语如“Attentive Pooling BiLSTMs”和“Multi-Perspective CNNs”也在括号中标注了原文，以确保信息的完整性。