CoPE (Contextual Position Encoding) は、論文によって提案された革新的な位置エンコーディング方法です。 「コンテキスト位置エンコーディング: 何が重要かを数える方法を学ぶ」2024年に提案される。従来のトークン カウンティング ベースの位置エンコーディング (PE) の制限を打ち破り、コンテキスト条件に応じて位置情報を動的に変更できるようにし、大規模言語モデル (LLM) に対してより柔軟なシーケンス データ処理機能を提供します。
大規模言語モデル (LLM) では、アテンション (Attending) メカニズムはシーケンス要素間の相互作用を実現できますが、順序情報自体を含まず、不変配置の特性を示します。順序情報を導入するには、通常、位置エンコーディングを導入する必要があります。ただし、従来の位置エンコード方法はトークンカウントに基づいているため、シーケンス内の i 番目の文を直接見つけるなど、より高い抽象レベルに一般化するモデルの機能が制限されます。
CoPE は、次の主要な手順を通じてその中心となるアイデアを実現します。
- コンテキスト ベクトルの決定: CoPE はコンテキスト ベクトルを利用して、どのトークンをカウントする必要があるかを決定します。
- ゲート機構の応用: ゲート メカニズムを通じて、CoPE はどのトークンが位置測定に含まれるかを決定します。
- 相対位置計算: クエリ ベクトルとして指定された現在のトークンについて、CoPE はそのトークンとシーケンス内のすべての前のトークンのキー ベクトルの間のゲート値を計算し、これらのゲート値を集計して、現在のトークンに対する各トークンの相対位置を決定します。 。
- 位置の埋め込みを補間する: 各位置に固定の埋め込みベクトルを割り当てる方法とは異なり、CoPE は補間によって位置の埋め込みを動的に計算します。
CoPE の利点は、その多次元の柔軟性にあります。
- 複数のユニットの測定: CoPE を使用すると、モデルはクエリやレイヤーに応じて、単語、フレーズ、文などの複数の単位で距離を測定できます。
- コンテキストに動的に適応する: CoPE は、さまざまなコンテキストに柔軟に適応でき、動的なコンテキスト依存のシーケンス データ処理方法を提供します。
- パフォーマンスの向上：カウントタスク、選択的コピータスク、言語モデリングなどのタスクにおいて、CoPE は、特に配布外のデータや高度な汎化機能を必要とするタスクの処理において、従来のトークンベースの位置エンコード方式よりも優れたパフォーマンスを実証しました。
マルチヘッド アテンションにおける CoPE の適用も同様に直感的です。
- 独立した実行: 各アテンション ヘッドは、独自の CoPE を独立して実行して、異なる位置測定を実現できます。
- 複数の抽象レベルに焦点を当てる: モデルは、さまざまなレベルの抽象化に同時に焦点を当てることができます。たとえば、あるヘッドがトークンを数え、別のヘッドが文を数えることができます。
要約すると、CoPE は、位置エンコーディングとコンテキスト情報を組み合わせることで、大規模な言語モデルに対してより効率的かつ柔軟な位置エンコーディング戦略を提供し、モデルがシーケンス データ内の構造情報と意味情報をより深く理解して処理できるようにします。