HyperAI
Back to Headlines

Apple: Daten und menschliche Kontrolle bei Modellen

vor 9 Tagen

Apple hat in seiner jüngsten Forschung zwei Grundlagenmodelle entwickelt, wobei der Fokus auf zwei zentralen Elementen lag: Datenbeschaffung und menschliche Aufsicht. Die Modelle, die in den Apple-Geräten eingesetzt werden, betonen Privatsphäre, Verantwortung und Effizienz. Im Gegensatz zu anderen Unternehmen, die oft große, unstrukturierte Internetdatensätze nutzen, legt Apple besonderen Wert auf eine verantwortungsvolle und gezielte Datenbeschaffung. Statt einfach nur Daten zu sammeln, kombiniert Apple lizenzierte Daten von Verlagen, geprüfte Open-Source-Datensätze und künstlich erzeugte Daten. Dieser Ansatz soll nicht nur die Modellqualität verbessern, sondern auch die Privatsphäre der Nutzer schützen. Apple nutzt dazu eine eigene Web-Crawler-Technologie namens Applebot, die Hundertbilliarden Webseiten durchsucht, aber streng auf die Einhaltung von robots.txt-Protokollen achtet, um den Webbesitzern Kontrolle über ihre Inhalte zu geben. Die Daten werden zudem durch moderne Techniken wie headless rendering und LLMs für die Extraktion von spezifischen Dokumenten bereinigt, um sicherzustellen, dass nur relevante und sichere Inhalte verwendet werden. Die aufgeräumten Daten umfassen auch über 10 Milliarden Bild-Text-Paare und 7 Milliarden künstlich erzeugte Beschreibungen. Durch die Anpassung der Datenmischung bei der Vorbereitung, insbesondere bei Code, Mathematik und mehrsprachigen Inhalten, erreicht Apple eine gute Balance zwischen Leistung und Überanpassung. Der on-device-Modell hat etwa 3 Milliarden Parameter und ist effizienter als einige andere Modelle, wobei er dennoch Leistungsschwankungen wie Gemma-2–2B übertrifft. Die menschliche Aufsicht spielt eine entscheidende Rolle bei der Feinabstimmung und dem Training der Modelle. Apple nutzt Supervised Fine-Tuning (SFT) und Reinforcement Learning from Human Feedback (RLHF), um die Modelle an Benutzerbedürfnisse anzupassen. Dabei werden menschliche Beispiele und synthetische Daten kombiniert, um die Effizienz zu steigern. Für die multimodale Unterstützung (Text und Bilder) arbeiten Annotatoren mit einem AI-Agenten, um interaktive Datensätze zu erstellen. Zudem wird die Qualität der Antworten durch Modell-basierte Signale und adversariale Daten überwacht, um Fehlinformationen zu reduzieren. Die menschliche Bewertung von Antworten und die Verwendung von Regeln für mathematische Verifikation helfen, das Modell kontinuierlich zu verbessern. Die Infrastruktur ist asynchron und verteilt, was zu einer deutlichen Reduzierung der benötigten Geräte und Rechenleistung führt. Nach der Bereitstellung sammelt Apple Nutzerfeedback und führt Red Teaming durch, um Risiken zu identifizieren und Modelle zu aktualisieren. Apple’s Philosophie bei der Datenverarbeitung und menschlichen Aufsicht geht über reine Technik hinaus und betont Transparenz und Verantwortung. Durch den Verzicht auf Nutzerdaten und die Möglichkeit, Inhalte auszublenden, adressiert Apple direkt Privatsphärebedenken. Die menschliche Beteiligung sorgt dafür, dass die Modelle für reale Anwendungen optimiert sind und Vorurteile sowie Fehler reduzieren. Diese Vorgehensweise ermöglicht effiziente Modelle, die mit größeren Modellen konkurrieren können, während sie gleichzeitig Verantwortung und ethische Standards wahren. In einer Branche, die oft von Daten-Skandalen und undurchsichtigen Trainingsprozessen geprägt ist, könnte Apple’s Transparenz zu einer Veränderung der Industrie beitragen.

Related Links