Hightouch évalue l'IDR avec Jev+Opus à 4x moins cher

Hightouch a montré que des modèles de langage pouvaient évaluer la qualité d’une résolution d’identité à un coût nettement inférieur à celui des modèles avancés. La résolution d’identité, qui relie des enregistrements dispersés à une personne réelle, est critique pour la segmentation, la personnalisation ou l’analyse de la valeur client. Elle est aussi risquée car les données contiennent des fautes de frappe, des surnoms, des adresses multiples, des valeurs copiées d’un proche ou des champs vides. Le principal défaut est le sur-regroupement, quand plusieurs personnes sont fusionnées à tort en une seule identité. Comme il n’existe pas de réponse idéale dans un entrepôt réel, les équipes doivent souvent auditer manuellement des centaines d’identités, ce qui est lent et coûteux. Pour tester les juges automatiques, Hightouch a utilisé le générateur de données synthétiques pseudopeople, créé par l’Institut de métriques et d’évaluation de la santé de l’Université de Washington, et a construit mille profils fictifs, dont la moitié étaient des identités correctes et la moitié des sur-regroupements. Les modèles devaient déterminer si un ensemble d’enregistrements décrivait une seule personne ou plusieurs. Le test a comparé Claude Opus 5.5, Gemini 3.1 Pro, GPT-6 Sol, ainsi que les modèles de décision GPT-6 Luna et Jev, conçus pour fournir un score de confiance rapide et bon marché. Sur les cas les plus simples, Claude Opus 5.5 a atteint 99,0 % d’exactitude pour 3,86 dollars les mille identités, tandis que GPT-6 Luna a obtenu 97,3 % pour 0,10 dollar et Jev 95,7 % après optimisation du seuil pour 0,05 dollar. Les exemples d’erreurs intégrés dans la consigne ont surtout amélioré les résultats, car ils aident le modèle à distinguer une faute de frappe d’un vrai changement de personne. Cependant, sur des cas volontairement difficiles, notamment des profils très similaires comme des jumeaux ou un homonyme avec des dates de naissance proches, l’écart s’est creusé et Luna est devenu trop confiant dans ses erreurs. Hightouch en conclut que la fiabilité des scores de confiance, c’est-à-dire l’étalonnage du modèle, est aussi importante que l’exactitude brute. Jev a réagi plus prudemment en signalant ses doutes. Cette confiance mieux étalonnée a permis de construire une approche hybride où Jev filtre la majorité des identités, puis les cas ambigus sont envoyés à Claude Opus 5.5 pour une seconde opinion. Sur les cas faciles, cette méthode a atteint 98,8 % d’exactitude pour 0,88 dollar les mille identités, soit près de quatre fois moins cher que le seul Opus. Sur les cas difficiles, elle a obtenu 95,3 %, contre 95,1 % pour Opus, à 2,94 dollars, soit presque deux fois moins cher. À l’inverse, Luna, moins bien étalonné, a moins bénéficié du second avis et a plafonné à 91,6 % dans la configuration hybride sur le test difficile. L’étude suggère donc que les modèles légers produisant un score de confiance peuvent automatiser une part importante du contrôle qualité, à condition de confier les cas ambigus à un modèle plus coûteux. Le système hybride combine le débit des modèles rapides et la précision des modèles avancés, tout en adaptant la dépense à la difficulté réelle des données. Hightouch précise que les coûts et latences observés concernent son installation et qu’aucune donnée personnelle réelle n’a été utilisée.