HyperAIHyperAI

Command Palette

Search for a command to run...

vor einem Monat
Transformer

Neue Methode: Namenübertragung per Kontrastivem Lernen

Ein neues Forschungsprojekt stellt ein kompades neuronales Netzwerk vor, das Namen unabhängig von der verwendeten Schriftart effizient abgleichen kann. Das System adressiert ein weit verbreitetes Problem bei der Namenssuche: Wenn Datenbanken Namen in lateinischer Schrift speichern und Anfragen in anderen Zeichensätzen wie Arabisch, Chinesisch oder Russisch gestellt werden, scheitern herkömmliche Methoden oft. Algorithmen wie Edit-Distanz oder phonetische Codes wie Soundex funktionieren nicht, da sie auf gemeinsamen Zeichen oder lateinischen Lautregeln basieren. Das vorgestellte Modell umgeht diese Beschränkung, indem es direkt auf Rohdaten im UTF-8-Byteformat trainiert wurde, ohne Zertifikate oder vorgeladene Sprachmodelle. Die Forscher trainierten einen kleinen Transformer-Encoder mit etwa vier Millionen Parametern vollständig von Grund auf. Die Architektur nutzt eine Vocabulary-Größe von 256 Symbolen, was der Anzahl möglicher Byte-Werte in UTF-8 entspricht. Dadurch wird sichergestellt, dass jedes Unicode-Zeichen, egal aus welcher Sprache, direkt in einen Vektor eingebettet werden kann. Das Training erfolgte mittels kontrastiver Lernmethoden, bei denen das Modell lernt, phonetisch äquivalente Namen in Vektornähe zu bringen, auch wenn sie in unterschiedlichen Alphabeten geschrieben sind. Die Ergebnisse sind beeindruckend: Das System erreichte einen MRR-Wert von 0,775 und eine Trefferquote in den Top-10-Ergebnissen (R@10) von 0,897 über acht nicht-lateinische Schriftarten hinweg. Damit verringerte sich die Leistungslücke zwischen lateinischen und nicht-lateinischen Abfragen gegenüber den besten klassischen Basismethoden um das Zehnfache. Da keine großen Datensätze mit manuell gekennzeichneten Namenpaaren verfügbar waren, entwickelten die Autoren eine vierstufige Pipeline unter Verwendung von Large Language Models, um Trainingsdaten zu generieren. Zuerst wurden Namen aus der Wikipedia-Datenbank Wikidata stratifiziert, um eine ausgewogene Abdeckung verschiedener Schriftarten zu gewährleisten. Anschließend generierte ein Modell phonetische Varianten dieser Namen. In einem dritten Schritt wurden diese Varianten in acht verschiedene Schreibsysteme wie Hebräisch, Hindi oder Japanisch transliteriert. Die vierte Stufe kombinierte diese synthetischen Daten mit den Originalen zu über vier Millionen positiven Paaren. Das Training wurde durch die Methode des Hard Negative Mining optimiert. Anfangs werden zufällige negative Beispiele verwendet, doch später findet ein Algorithmus Namen, die dem Modell aktuell sehr ähnlich erscheinen (aber unterschiedlich sind), und nutzt diese gezielt, um das Modell auf schwierigere Fälle zu schulen. Dies führt zu einer deutlich besseren Unterscheidung von Namen, die sich nur phonetisch wenig unterscheiden, wie „Katarina" und „Katherine". Bei der Auswertung zeigte sich, dass das Modell nicht nur über Schriftarten hinweg funktioniert, sondern auch die Genauigkeit innerhalb der lateinischen Schrift verbessert. Eine Analyse nach Skripten offenbarte jedoch noch offene Fragen bei Sprachen wie Chinesisch und Koreanisch. Hier führen stark unterschiedliche Transliterationen desselben Namens zu Mehrdeutigkeiten, die das Modell derzeit nicht vollständig auflösen kann. Zudem wird darauf hingewiesen, dass die Trainingsdaten fast ausschließlich vom Modell generiert wurden, was potenzielle systematische Fehler im Transliterationsprozess verschleiern könnte. Trotz dieser Einschränkungen stellt das Projekt einen signifikanten Fortschritt in der mehrsprachigen Datensuche dar. Es demonstriert, dass byte-level-Tokenisierung eine robuste Basis für multilinguale Aufgaben bietet, bei denen es auf die Oberflächengestalt von Wörtern ankommt, nicht auf deren semantische Bedeutung. Die vollständige Implementierung, die Datensatz-Pipeline und die trainierten Modelle sind öffentlich auf GitHub verfügbar. Für den praktischen Einsatz empfiehlt sich die Nutzung von HNSW-Indizes, die eine extrem schnelle Abfrage bei minimaler Genauigkeitsverlust ermöglichen.

Verwandte Links

Neue Methode: Namenübertragung per Kontrastivem Lernen | Aktuelle Beiträge | HyperAI