要約
Transformerベースのモデルは、様々な自然言語処理（NLP）タスクにおいて著しい成功を収めていますが、長文を処理する能力は計算リソースの制約により限定されています。従来の手法である入力の切り捨て、疎な自己注意機構、およびチャンキングはこれらの問題を軽減しようと試みていますが、しばしば情報損失を引き起こし、モデルが長距離依存関係を捉える能力を阻害します。本論文では、これらの制約に対処する新しいチャンク表現手法であるChuLoを提案します。ChuLoは非監督的なキーフレーズ抽出を使用して入力トークンをグループ化し、意味的に重要なキーフレーズに基づくチャンクに重点を置くことで、ドキュメントの核心的内容を保ちつつ入力長を削減します。このアプローチは情報損失を最小限に抑え、Transformerベースのモデルの効率性を向上させます。特にトークン分類タスクにおいて、全体的なシーケンスコンテキストに依存する微細な注釈が失われないよう、長文理解におけるすべてのトークンの保存は重要です。我々は複数の長文分類タスクと長文トークン分類タスクで方法を評価し、包括的な定性的および定量的分析を通じてその有効性を示しています。当該実装はオープンソースとして https://github.com/adlnlp/Chulo で公開されています。