HyperAIHyperAI

Command Palette

Search for a command to run...

OpenGrok: Verbesserung der SNS-Datenverarbeitung durch kondensierte Kenntnisse und maskenartige Mechanismen

Lumen AI Zaozhuang No.28 Middle School Shihao Ji Zihui Song Fucheng Zhong Jisen Jia Zhaobo Wu Zheyi Cao Tianhao Xu

Zusammenfassung

Dieser Bericht beschreibt den neuartigen Ansatz von Lumen Labs zur Verarbeitung von Daten aus sozialen Netzwerkdiensten (Social Networking Service, SNS). Wir nutzen Knowledge Distillation, speziell eine einfache Distanzierungsmethode, die von der CoT-Acquisition in DeepSeek-R1 inspiriert ist, kombiniert mit Prompt-Hacking, um wertvolle Trainingsdaten aus dem Grok-Modell zu extrahieren. Diese Daten werden anschließend verwendet, um ein Phi-3-mini-Modell zu feinabstimmen, das durch eine maskenartige Mechanik erweitert wurde, die speziell auf die Feinheiten von SNS-Daten abgestimmt ist. Unser Ansatz zeigt state-of-the-art (SOTA)-Leistung bei mehreren Aufgaben der SNS-Datenverarbeitung und übertrifft bestehende Modelle wie Grok, Phi-3 und GPT-4. Wir präsentieren eine umfassende Analyse unseres Ansatzes, einschließlich mathematischer Formulierungen, ingenieurtechnischer Details, Ablationsstudien und vergleichender Bewertungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp