Die Fähigkeit zum Verständnis und zur Verarbeitung von Zahlen (NUPA) ist ein neues Bewertungsmaß, das im Dezember 2024 von Zhang Muhans Team an der Peking-Universität vorgeschlagen wurde. Ziel ist es, die Leistung großer Sprachmodelle (LLMs) im digitalen Bereich unabhängig zu bewerten. Dieser Ansatz konzentriert sich insbesondere auf die Fähigkeit großer Modelle, numerische Informationen zu verarbeiten und diese von mathematischen oder logisch denkenden Aufgaben zu trennen, um einen verfeinerten und umfassenderen Bewertungsrahmen bereitzustellen. Die relevanten Papierergebnisse sindZahlen-Kochbuch: Zahlenverständnis von Sprachmodellen und wie man es verbessert".

NUPA zeichnet sich durch Unabhängigkeit, mehrdimensionale Bewertung und Skalierbarkeit aus.

• Unabhängigkeit bedeutet, dass NUPA die digitalen Verarbeitungsfunktionen separat bewertet und so eine Verwechslung mit anderen Aufgaben vermeidet. Dadurch werden die Bewertungsergebnisse genauer und können die Leistung großer Modelle im digitalen Bereich wirklichkeitsgetreu widerspiegeln.
• Die mehrdimensionale Auswertung zeigt, dass sich NUPA nicht nur auf einfache numerische Operationen konzentriert, sondern auch das Verständnis und die Bedienung komplexer Datenstrukturen abdeckt, wie etwa digitale Operationen mit langen Sequenzen, die Kombination mehrerer Operatoren und die Datenstrukturanalyse.
• Skalierbarkeit bedeutet, dass NUPA flexibel konzipiert ist und an unterschiedliche Anwendungsszenarien und Anforderungen angepasst und optimiert werden kann. Daher eignet es sich nicht nur für die akademische Forschung, sondern auch für praktische Anwendungen.

Die Einführung von NUPA bietet Forschern eine klarere Perspektive zum Verständnis der Fähigkeiten und Grenzen großer Modelle bei der Verarbeitung digitaler Informationen und bietet zudem eine klare Richtung für die Optimierung und Verbesserung der Modelle. Die Einführung dieser Bewertungsmethode wird dazu beitragen, den Forschungsfortschritt in verwandten Bereichen zu fördern und die breite Nutzung großer Modelle in praktischen Anwendungen zu unterstützen. Die Forschung des Teams von Zhang Muhan bringt neue Perspektiven und Werkzeuge in die Entwicklung und Anwendung großer Modelltechnologie, indem sie die digitalen Verarbeitungsfähigkeiten großer Modelle unabhängig bewertet.