Omer Nacar

Abstract

Große Sprachmodelle (LLMs), die hauptsächlich auf englischen Korpora trainiert wurden, erweisen sich oft als unzureichend, um die sprachlichen und kulturellen Feinheiten des Arabischen adäquat zu erfassen. Um diese Lücke zu schließen, hat die Saudi Data and AI Authority (SDAIA) die ALLaM-Familie von modellbasierten, arabisch ausgerichteten Sprachmodellen vorgestellt. Das derzeit leistungsstärkste, öffentlich verfügbare Modell dieser Reihe, ALLaM-34B, wurde anschließend von HUMAIN übernommen, das daraufhin HUMAIN Chat entwickelt und bereitgestellt hat – eine geschlossene, conversational ausgerichtete Webanwendung, die auf diesem Modell basiert. In diesem Beitrag präsentieren wir eine erweiterte und verfeinerte Evaluation auf UI-Ebene von ALLaM-34B. Wir nutzten einen Prompt-Paket, der moderne Standardsprache (MSA), fünf regionale Dialekte, Code-Switching, faktisches Wissen, arithmetische und zeitliche Schlussfolgerung, kreative Generierung sowie adversariale Sicherheit abdeckt. Aus insgesamt 115 Ausgaben (23 Prompts × 5 Durchläufe) wurden die Ergebnisse jeweils von drei führenden LLM-Judges (GPT-5, Gemini 2.5 Pro, Claude Sonnet-4) bewertet. Wir berechneten Kategorien-Übermittelungen mit 95%-Konfidenzintervallen, analysierten die Verteilung der Bewertungen und visualisierten dialektweise Metrik-Wärmekarten. Die aktualisierte Analyse zeigt eine durchgängig hohe Leistung bei der Textgenerierung und beim Code-Switching (beide im Mittel 4,92/5), starke Fähigkeiten im Umgang mit der modernen Standardsprache (4,74/5), solide Schlussfolgerungsfähigkeiten (4,64/5) sowie eine verbesserte Dialekttreue (4,21/5). Bei sicherheitsrelevanten Prompt-Aufgaben erzielte das Modell eine stabile und zuverlässige Leistung (4,54/5). Insgesamt positioniert sich ALLaM-34B somit als ein robustes, kulturell verankertes arabisches Sprachmodell, das sowohl technische Stärke als auch praktische Einsatzreife für reale Anwendungen aufweist.