Apple veröffentlicht 2025 AI-Modell-Report, likely letztes Werk von Ruoming Pang.

Pang Ruoming's "Abschiedswerk"? Apple veröffentlicht 2025-Basis-Modell-Bericht und enthüllt Apple Intelligence-Technologie Apple hat kürzlich den Technikbericht "Apple Intelligence Foundation Language Models Tech Report 2025" veröffentlicht. Dies ist eine wichtige Aktualisierung nach der ersten Offenlegung der Details zu den KI-Basismodellen des Unternehmens im letzten Jahr. Kurz vor dieser Veröffentlichung wechselte Pang Ruoming, der Chef des Basismodell-Teams bei Apple, für mehrere Millionen Dollar zu Meta. Der Bericht könnte sein letztes bedeutendes Werk bei Apple sein. Pang Ruoming selbst stellte den Bericht auf sozialen Medien vor und übergab die Leitung des Teams an Zhifeng Chen. Der Bericht beschreibt eine doppelspurige Modellstrategie. Das erste Modell verfügt über etwa 3 Milliarden Parameter und ist speziell für eine effiziente Ausführung auf Geräten wie iPhones, iPads und Macs optimiert. Es nutzt die Leistungsfähigkeit von Apples eigenen Chips voll aus. Das zweite Modell ist ein skalierbares Servermodell, das auf Apples privaten Cloud-Rechenzentren läuft und komplexe Benutzeranfragen verarbeitet. Diese "Gerät-Cloud-Kooperation" soll Performance, Effizienz und Datenschutz balancieren. Einfache Aufgaben werden auf lokalen Geräten ausgeführt, während komplexe Aufgaben an die Cloud weitergeleitet werden, wobei gleichermaßen der Datenschutz gewährleistet bleibt. Um die Effizienz des Gerätemodells zu steigern, führten Apples Entwickler eine innovative Architektur namens "Schlüssel-Wert-Cache-Teilen" (Key-Value Cache Sharing, KV Cache Sharing) ein. Dabei wird das Modell in zwei Blöcke unterteilt, wobei einer der Blöcke (37,5% der Schichten) den von dem anderen Block (62,5% der Schichten) generierten Schlüssel-Wert-Cache teilt. Dies reduziert den Speicherverbrauch für den Cache um 37,5% und verkürzt die Antwortzeit für die Generierung des ersten Tokens erheblich. Für das Servermodell entwickelte Apple eine neue Transformer-Architektur, die "Parallele Spuren – Gemischte Experten" (Parallel-Track Mixture-of-Experts, PT-MoE) genannt wird. Diese Architektur zerlegt ein großes Modell in mehrere kleinere, parallele Verarbeitungseinheiten, die "Spuren". Jede Spur bearbeitet Informationen unabhängig voneinander und synchronisiert sich nur an bestimmten Knotenpunkten, was Kommunikationsflaschenhälse reduziert und die Effizienz des Trainings und der Inferenz erhöht. Durch die Implementierung von MoE-Schichten innerhalb jeder Spur kann das Modell effizient skaliert werden, um komplexe Aufgaben mit geringer Latenz zu bearbeiten, ohne die Modellqualität zu beeinträchtigen. In Bezug auf die mehrmodale Fähigkeit der Modelle, insbesondere die Verarbeitung von Bildern, gibt der Bericht auch technische Details zur visuellen Kodierung preis. Das Servermodell verwendet das ViT-g als Hauptvisuelles Netzwerk, während das Gerätemodell das effizientere ViTDet-L verwendet. Ein besonderes Merkmal des Gerätemodells ist der "Register-Fenster"-Mechanismus, der es ermöglicht, sowohl globale Kontextinformationen als auch lokale Details effektiv zu erfassen. Was die Trainingsdaten betrifft, betont Apple seine Datenschutzbemühungen. Die Daten stammen hauptsächlich aus drei Quellen: lizenzierte Daten von Verlegern, öffentlich zugängliche Webinformationen, die durch Apples Webcrawler Applebot gesammelt wurden, und hochwertige synthetische Daten. Apple betont, dass keine privaten Nutzerdaten oder Nutzerinteraktionsinformationen für das Training verwendet werden. Zudem wird der robots.txt-Protokoll standardmäßig befolgt, um Website-Betreibern die Möglichkeit zu geben, ihren Inhalt für Modelltrainings zu blockieren. Apple verarbeitete über 10 Milliarden hochwertige Text-Bild-Paare und 5 Milliarden synthetische Bild-Überschrift-Datensätze. Diese Daten wurden durch fortgeschrittene Pipelines gefiltert und gereinigt, um die Qualität der Trainingsdaten sicherzustellen. Um die Modelle auf realen Geräten effizient laufen zu lassen, setzt Apple auf aggressive Optimierungsstrategien. Das Gerätemodell nutzt die "Quantizationsbewusste Trainings" (Quantization-Aware Training, QAT)-Technik, um die Gewichte auf 2 Bits pro Gewicht zu komprimieren. Das Servermodell verwendet die "Anpassbare skalierbare Texturkompression" (Adaptive Scalable Texture Compression, ASTC)-Technik, die die vorhandenen Hardware-Decompressionsmodule in Apples GPUs nutzt, um die Gewichte fast ohne Rechenkosten zu dekomprimieren. Dies führt zu einer Komprimierung von etwa 3,56 Bits pro Gewicht. Bei möglichen Leistungsverlusten durch die Komprimierung wird durch das Training von Low-Rank-Adaptations-Modellen kompensiert. Die Leistungsbewertungen zeigen, dass Apples Gerätemodell in Standardtests wie MMLU besser oder gleich gut abschneidet wie vergleichbare offene Modelle wie Qwen-2.5-3B und Gemma-3-4B. Das Servermodell überzeugt in Vergleichen mit LLaMA 4 Scout, aber es fällt hinter größeren Modellen wie Qwen-3-235B und GPT-4o zurück. In parallelen Vergleichen mit menschlichen Bewertern leistet Apples Modell in verschiedenen Sprachen und Aufgabenbereichen gute Arbeit. Zum Abschluss stellte Apple einen neuen "Basis-Modell-Framework" (Foundation Models framework) für Entwickler vor. Dieses Framework ermöglicht es Entwicklern, das 3-Milliarden-Parameter-Modell direkt auf dem Gerät zu nutzen. Es ist tief mit der Swift-Programmiersprache integriert und bietet eine Funktion namens "Geleitete Generierung", die es Entwicklern ermöglicht, mit wenigen Codezeilen strukturierte Swift-Datentypen zu generieren. Dies vereinfacht erheblich die Integration von KI-Funktionen in Anwendungen. Apple betont, dass der gesamte Framework-Design den Prinzipien verantwortungsvoller KI folgt, mit eingebauten Sicherheitsvorkehrungen, um intelligente und datenschutzfreundliche Anwendungen zu unterstützen. Brancheinsider loben den Bericht für seine Transparenz und die fortschrittlichen Optimierungen, die Apple vorgenommen hat. Sie sehen das Potential, dass Apples Ansatz die KI-Integration in mobile Endgeräte revolutionieren könnte. Apples Engagement für den Datenschutz und die Effizienz wird als ein großer Vorteil angesehen, der es ermöglicht, robuste und vertrauenswürdige KI-Modelle zu bauen, die sowohl auf Geräten als auch in der Cloud laufen. Apple hat sich in den letzten Jahren stark in die Entwicklung von KI-Technologien investiert. Mit diesem Bericht demonstriert das Unternehmen seine Fähigkeit, innovative Lösungen zu schaffen, die sowohl technologisch fortschrittlich als auch datenschutzorientiert sind. Der Einstieg in die KI-Basismodell-Entwicklung signalisiert Apples Ambition, in diesem Bereich eine führende Rolle zu spielen.