Giorgos Nikolaou Tommaso Mencattini Donato Crisostomi Andrea Santilli Yannis Panagakis Emanuele Rodola'

要約

トランスフォーマーの構成要素である非線形活性化関数や正規化処理は、本質的に非単射（non-injective）であるため、異なる入力が同一の出力にマッピングされる可能性があり、モデルの表現から入力を正確に再構成できなくなるおそれがある。本研究では、この見解に挑戦する。まず、離散的な入力系列を連続的な表現系列に写像するトランスフォーマー言語モデルが、数学的に単射（injective）であり、したがって損失のない（lossless）性質を有することを証明する。この性質はモデルの初期化時から成立し、学習過程においても保持される。次に、6種類の最先端言語モデルを対象に、数十億回に及ぶ衝突検証（collision test）を実施し、実証的にこの結果を確認した。その結果、いかなる衝突も観測されなかった。さらに、単射性を実用化する手法を提案する。本研究では、隠れ活性化から正確な入力テキストを証明可能かつ効率的に再構成する初のアルゴリズム「SipIt（Sufficiently Invertible and Provable Invertibility Tool）」を導入した。SipItは線形時間の保証を確立し、実際の運用においても完全な可逆性（exact invertibility）を示した。本研究全体を通じて、単射性が言語モデルの根本的かつ活用可能な性質であることを確立し、透明性、解釈可能性、安全な展開に直接的なインパクトをもたらすものである。