DAPE-Positionscodierungsmethode

DAPE, die Abkürzung für Data-Adaptive Positional Encoding, ist eine neue Methode zur Positionskodierung, die von Zheng Chuanyang und anderen von der Chinesischen Universität Hongkong vorgeschlagen wurde. Zum Forschungsteam gehören auch Forscher der National University of Singapore, des Noah Lab, der University of Hong Kong und der Hong Kong Baptist University. Diese Forschung wurde von NeurIPS 2024 angenommen und die Ergebnisse des Papiers sind "DAPE: Datenadaptive Positionskodierung zur Längenextrapolation"

DAPE verbessert die Leistung des Modells bei der Verarbeitung langer Texte erheblich, indem es die Positionskodierung dynamisch an den Eingabekontext und die erlernten festen Vorhersagen anpasst. Es kombiniert semantische Informationen und Positionsinformationen, sodass die Positionskodierung adaptiv an die Eingabedaten angepasst werden kann. Dadurch werden die Einschränkungen herkömmlicher Positionskodierungsmethoden (wie z. B. absolute Positionskodierung APE und relative Positionskodierung RPE) überwunden.

Die Kernidee von DAPE besteht darin, ein zweischichtiges neuronales Netzwerk zu verwenden, um die Positionskodierung so zu parametrisieren, dass sie dynamisch an den Eingabekontext angepasst werden kann. Diese Architektur ermöglicht eine sowohl adaptive als auch von den Eingabedaten abhängige Positionskodierung. Bei Aufgaben in natürlicher Sprache ist DAPE darauf ausgelegt, die komplexen Beziehungen zwischen Token zu erfassen. Durch die Einführung der Kombination von semantischen und Positionsinformationen verbessert DAPE die Leistung des Transformer-Modells bei der Verarbeitung langer Texte erheblich.