LLM判定でID統合、誤マージ検知コストを1/4に

Hightouchは、顧客データを実在人物に対応付けるアイデンティティ解決の精度を、大規模言語モデルで評価する手法を検証した。同社は人間によるサンプル確認が遅く、過剰統合の発見が難しい点に着目し、大規模言語モデルを並列評価器として活用できるかを検証した。 検証には擬似人物データを使い、誤字、住所変更、同姓同名、世帯内の値の流用など現実的なノイズを混ぜた1,000件のプロファイルを評価した。結果、ルーナは単体で高い精度を示したものの過信傾向があり、難しい事例で伸び悩んだ。一方、ジェヴは確信度の分布が良く整列しており、難しい事例ではクロード・オーパス5.5へ再評価を回すことで精度とコストのバランスが改善した。 最も現実的な構成は、ジェヴで一次判定し、確信度が中間的な事例だけをオーパスへ送るハイブリッド評価器だった。難しいデータではオーパス単体とほぼ同水準の95.3%を達成し、コストは1,000件で2.94ドルに抑えた。より平易なデータでは1,000件あたり約0.88ドルと、単体評価より4倍以上安価だった。問題難易度に応じて自動でコストが変動する点が有用だとした。