Méthode De Codage De Position DAPE

DAPE, abréviation de Data-Adaptive Positional Encoding, est une nouvelle méthode d'encodage positionnel proposée par Zheng Chuanyang et d'autres de l'Université chinoise de Hong Kong. L'équipe de recherche comprend également des chercheurs de l'Université nationale de Singapour, du Noah Lab, de l'Université de Hong Kong et de l'Université baptiste de Hong Kong. Cette recherche a été acceptée par NeurIPS 2024, et les résultats de l'article sont «DAPE : codage positionnel adaptatif aux données pour l'extrapolation de longueur"

DAPE améliore considérablement les performances du modèle lors du traitement de textes longs en ajustant dynamiquement l'encodage positionnel pour s'adapter au contexte d'entrée et aux priors fixes appris. Il combine des informations sémantiques et des informations de position, permettant d'ajuster de manière adaptative le codage de position en fonction des données d'entrée, surmontant ainsi les limites des méthodes de codage de position traditionnelles (telles que le codage de position absolue APE et le codage de position relative RPE).

L'idée principale de DAPE est d'utiliser un réseau neuronal à deux couches pour paramétrer l'encodage positionnel afin qu'il puisse être ajusté dynamiquement en fonction du contexte d'entrée. Cette architecture permet au codage positionnel d'être à la fois adaptatif et dépendant des données d'entrée. Dans les tâches en langage naturel, DAPE est conçu pour capturer les relations complexes entre les jetons. En introduisant la combinaison d’informations sémantiques et de position, DAPE améliore considérablement les performances du modèle Transformer dans le traitement de textes longs.