HyperAIHyperAI

Command Palette

Search for a command to run...

Training eines großen Video-Modells auf einer einzigen Maschine innerhalb eines Tages

Yue Zhao Philipp Krähenbühl

Zusammenfassung

Videos sind groß, aufwändig vorzubereiten und langsam zu trainieren. Stand der Technik bei großen Video-Modellen wird auf Clustern mit 32 oder mehr GPUs über mehrere Tage trainiert. Als Folge dessen hat die Akademie die Entwicklung großer Video-Modelle weitgehend der Industrie überlassen. In diesem Paper zeigen wir, wie man ein state-of-the-art Video-Modell dennoch auf einer einzigen Maschine mit acht konsumierbaren GPUs innerhalb eines Tages trainieren kann. Wir identifizieren drei Engpässe – I/O, CPU und GPU-Berechnung – und optimieren jeden einzelnen. Das Ergebnis ist eine hoch-effiziente Video-Trainings-Pipeline. Für vergleichbare Architekturen erreicht unsere Pipeline höhere Genauigkeiten mit nur 18\frac{1}{8}81 der Rechenleistung im Vergleich zu vorherigen Ansätzen. Der Quellcode ist unter https://github.com/zhaoyue-zephyrus/AVION verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Training eines großen Video-Modells auf einer einzigen Maschine innerhalb eines Tages | Paper | HyperAI