要約
高品質なテキスト埋め込みは、自然言語処理における意味的テキスト類似度（STS）タスクの性能向上に不可欠であり、大規模言語モデル（LLM）の応用において重要な役割を果たしている。しかし、従来のテキスト埋め込みモデルは、最適化目的関数においてコサイン関数に依存していることから、勾配消失問題に直面するという共通の課題を抱えている。この問題の主な原因は、コサイン関数に存在する飽和領域（saturation zone）である。本研究では、この課題を解決するため、新たな角度最適化型テキスト埋め込みモデル「AnglE」を提案する。AnglEの核心的なアイデアは、複素空間における角度最適化を導入することにある。この新規アプローチにより、コサイン関数の飽和領域による悪影響を効果的に軽減でき、勾配の伝播を促進し、最適化プロセスの効率を向上させることが可能となる。包括的なSTS評価を実施するため、既存の短文STSデータセットに加え、GitHub Issuesから新たに収集した長文STSデータセットを用いた実験を行った。さらに、ラベル付きデータが限られたドメイン固有のSTSシナリオにおいて、AnglEがLLMによるアノテーションデータとどのように連携して機能するかを検討した。短文STS、長文STS、ドメイン固有STSのさまざまなタスクにおいて、広範な実験を実施した結果、AnglEはコサイン関数の飽和領域を無視する従来の最先端（SOTA）モデルを上回る性能を示した。これらの結果は、AnglEが高品質なテキスト埋め込みを生成する能力を有しており、STSタスクにおける角度最適化の有効性を示している。