Wir präsentieren AraLingBench: einen vollständig von Menschen annotierten Benchmark zur Bewertung der arabischen sprachlichen Kompetenz großer Sprachmodelle (LLMs). Der Benchmark umfasst fünf zentrale Kategorien – Grammatik, Morphologie, Rechtschreibung, Leseverständnis und Syntax – und basiert auf 150 von Experten entworfenen Multiple-Choice-Fragen, die die strukturelle Sprachverarbeitung direkt testen. Die Evaluation von 35 arabischen und mehrsprachigen LLMs zeigt, dass aktuelle Modelle eine starke Oberflächenkompetenz aufweisen, jedoch Schwierigkeiten bei tiefergehender grammatischer und syntaktischer Schlussfolgerung haben. AraLingBench macht einen anhaltenden Widerspruch zwischen hohen Scores in wissensbasierten Benchmarks und echter sprachlicher Meisterschaft deutlich, wobei sich zeigt, dass viele Modelle ihre Leistung vor allem durch Memorisation oder Mustererkennung erzielen, nicht durch authentisches Verständnis. Durch die Isolierung und Messung grundlegender sprachlicher Fähigkeiten bietet AraLingBench ein diagnostisches Framework zur Weiterentwicklung arabischer LLMs. Der vollständige Evaluierungscode ist öffentlich auf GitHub verfügbar.