LLMs bewerten Identitätsauflösung viermal günstiger
Hightouch hat einen neuen Ansatz zur Qualitätsprüfung von Identity Resolution getestet und dabei nachgewiesen, dass hybride Sprach- und Entscheidungsmodelle komplexe Prüfaufgaben weit günstiger als reine Frontier-Modelle lösen können. Im Zentrum der Untersuchung stand die Frage, ob Large Language Models sowie spezialisierte Entscheidungsmodelle die manuelle Kontrolle von.IDENTITY Ergebnissen ersetzen oder beschleunigen können. Identity Resolution bezeichnet den Prozess, Daten aus mehreren Quellen eindeutigen Personen zuzuordnen. Diese Zuordnung ist für Unternehmen grundlegend, da sie etwa die Grundlage für Kundenanalyse, Personalisierung, Marketing und die Berechnung des Kundenwertes bildet. Die Schwierigkeit liegt darin, dass reale Datensätze häufig fehlerhaft oder mehrdeutig sind. Tippfehler, falsche Geburtsdaten, Nicknames, kopierte Felder von Familienmitgliedern, Adresswechsel oder Leerfelder können dazu führen, dass Personen fälschlicherweise zusammengeführt werden. Besonders das sogenannte Übervermergen von Identitäten ist problematisch. Dabei werden mehrere reale Personen versehentlich als eine einzige Person behandelt. Da keine vollständige Antwortgrundlage existiert, ist die Bewertung solcher Ergebnisse aufwendig. Bisher müssen Teams Stichproben manuell prüfen, was langsam ist und statistisch belastbare Ergebnisse erst bei großem Aufwand liefert. Hightouch erstellte einen Benchmark mit der Software pseudopeople des Institute for Health Metrics and Evaluation der University of Washington. Die Anwendung simuliert eine fiktive US-Kleinstadt und erzeugt Datensätze aus verschiedenen Quellen, darunter Census-Daten, Umfragen, Steuerformulare, Sozialversicherungseinträge und Leistungen aus dem WIC-Programm. Zusätzlich wurden realistische Fehler eingebaut. Daraus entstanden 1.000 geprüfte Identitäten, wobei die Hälfte korrekte Einzelpersonen und die Hälfte absichtlich übervermergte Profile enthielt. Zum Einsatz kamen Modelle wie Claude Opus 5.5, Gemini 3.1 Pro, GPT-6 Sol sowie die Entscheidungsmodelle Jev und GPT-6 Luna. In einfachen Fällen erreichten die Frontier-Modelle eine Genauigkeit von 99,0 Prozent, während GPT-6 Luna mit 97,3 Prozent bereits nahe an diese Werte heranreichte. Jev lag mit kalibriertem Schwellenwert bei etwa 95,7 Prozent. Der entscheidende Unterschied zeigte sich jedoch in Kosten und Laufzeit. Die günstigen Entscheidungsmodelle prüften Identitäten deutlich schneller und kosteten pro 1.000 Profile nur wenige Cent. Hightouch kombinierte anschließend ein günstiges Modell mit einem teureren Frontier-Modell. Dabei bewertete zunächst Jev die Profile. Nur unsichere Fälle übergab das System an Claude Opus 5.5. In diesem Hybridverfahren erreichte das Setup auf den einfacheren Testfällen eine Genauigkeit von 98,8 Prozent bei Kosten von 0,88 Dollar pro 1.000 Profile. Opus allein lag bei 99,0 Prozent, kostete aber 3,86 Dollar. Damit war der Hybridansatz nach Angaben von Hightouch mehr als viermal günstiger und lag gleichzeitig nahe an der Genauigkeit des Frontier-Modells. Auf einem schwierigeren Testdatensatz mit ähnlichen Personen, Zwillingen, Namensvettern und fehlerhaften Geburtsdaten behielt der Hybridansatz von Jev und Opus mit 95,3 Prozent praktisch die Genauigkeit von Claude Opus 5.5 allein, der auf 95,1 Prozent kam. Der rein autonome Einsatz von Jev oder Luna verschlechterte sich auf solchen Fällen deutlich. Luna schnitt im Ausgangsbetrieb besser ab als Jev, erwies sich jedoch als übermüßiger bei eigenen Entscheidungen. Jev dagegen war besser kalibriert, leitete schwierige Fälle zuverlässiger an das teurere Modell weiter und passte die Kosten dynamisch an die Schwierigkeit der Aufgabe an. Die Untersuchung zeigt, dass für die Bewertung von Identity Resolution nicht automatisch das größte Modell die beste Wahl ist. Entscheidend ist die Kombination aus Genauigkeit, Kosteneffizienz und Zuverlässigkeit bei Unsicherheit. Hightouch kommt zu dem Schluss, dass Jev als günstiges Vorfiltermodell zusammen mit einem starken Frontier-Modell wie Opus einen praktischen Weg bietet, große Mengen an Personenprofilen schnell und wirtschaftlich zu kontrollieren. Der Ansatz könnte die Entwicklung und Wartung von Identity-Resolution-Systemen erheblich beschleunigen, da tausende oder zehntausende Profile parallel geprüft werden können. Künftig will Hightouch auch die Prüfung von Untermerkungen sowie offenere Modelle untersuchen.
