トークンの優先順位の最適化

トークン選好最適化（TPO）は、大規模視覚言語モデル（LVLM）の幻覚問題を軽減するために、アリババグループとモハメド・ビン・ザイード人工知能大学が2025年1月に提案した新しい手法です。関連する研究結果は論文「幻覚を軽減するための自己較正型視覚アンカー報酬によるトークン選好の最適化”。

TPO は、きめ細かい手動注釈を必要とせずに自己調整型の視覚アンカー報酬メカニズムを導入することでトークンレベルの分布修正を実現し、モデルが視覚情報にさらに注意を払い、幻覚を減らすことを目指しています。入力された視覚的埋め込みと高い相関関係にある「視覚アンカー トークン」を自動的に識別し、視覚情報への依存度に基づいて報酬を適応的に分配します。従来の文レベルの報酬と比較して、TPO は生成されるコンテンツをより細かく調整し、幻覚の問題を軽減できます。