Heecheol Yun Kwangmin Ki Junghyun Lee Eunho Yang

要約

大規模言語モデル（LLM）のアンサンブルは、各モデルの相補的な強みを活かすことで、単一モデルの性能を上回る有望なアプローチとして注目を集めている。特に、次トークンの確率分布を統合して次に生成するトークンを選択する手法は、さまざまなタスクにおいて有効であることが示されている。しかし、短文生成では成功を収めている一方で、長文生成への応用はまだ十分に検討されていない。本研究では、長文生成において既存のアンサンブル手法を適用する際には、アンサンブルの位置の慎重な選定が不可欠であることを示す。通常、各トークンでアンサンブルを行うという手法は、性能を低下させる場合があるためである。本研究では、こうした位置を決定する上で重要な2つの要因を同定する。1つは、異なるモデル間でのトークン化の不一致、もう1つは、次トークンの確率分布における一貫性（コンセンサス）である。この知見をもとに、これらの要因を統合的に考慮して、選択的にアンサンブルを行うフレームワーク「SAFE（Stable And Fast LLM Ensembling）」を提案する。さらに、安定性の向上を図るため、同一単語を複数のサブワードトークンで表す確率を、1つの代表的トークンに集約する確率鋭化戦略を導入する。MATH500やBBHを含む多様なベンチマークでの実験結果から、SAFEは従来の手法と比較して、精度と効率の両面で優れた性能を発揮することが示された。また、アンサンブル対象のトークン数が1%未満の状況でも、顕著な性能向上が達成されている。