DAPE は Data-Adaptive Positional Encoding の略で、香港中文大学の Zheng Chuanyang 氏らによって提案された新しい位置符号化手法です。研究チームにはシンガポール国立大学、ノア研究所、香港大学の関係者も含まれています。香港と香港バプテスト協会の研究者。この研究はNeurIPS 2024に採択され、論文結果は「DAPE: 長さ外挿のためのデータ適応型位置エンコーディング」
DAPE は、位置エンコーディングを動的に調整して入力コンテキストと学習された固定事前分布に適応させることで、長いテキストを処理する際のモデルのパフォーマンスを大幅に向上させます。セマンティック情報と位置情報を組み合わせることで、位置エンコーディングを入力データに応じて適応的に調整できるようになり、従来の位置エンコーディング方法 (絶対位置エンコーディング APE や相対位置エンコーディング RPE など) の制限を克服できます。
DAPE の中心となるアイデアは、2 層ニューラル ネットワークを使用して位置エンコーディングをパラメータ化し、入力コンテキストに基づいて動的に調整できるようにすることです。このアーキテクチャにより、位置エンコーディングが適応的かつ入力データに依存することが可能になります。自然言語タスクでは、DAPE はトークン間の複雑な関係を捕捉するように設計されており、セマンティック情報と位置情報の組み合わせを導入することで、長いテキスト処理における Transformer モデルのパフォーマンスが大幅に向上します。