Drei pandas-Workflows schneller mit GPUs

Wenn Sie mit pandas arbeiten, kennen Sie wahrscheinlich das Problem: Ihre bisher so zuverlässigen Workflows, die bei kleineren Datensätzen hervorragend funktionieren, kommen bei großen Datensätzen zum Stillstand. Ein Skript, das früher Sekunden benötigte, braucht nun Minuten. Die darauffolgenden Schritte sind vorhersagbar und frustrierend. Sie könnten den Datensatz abbilden und dabei Treue verlieren, Ihren Workflow in Chunks verarbeiten oder die aufwändige Aufgabe in Angriff nehmen, den gesamten Workflow zu einem verteilten Framework wie Spark zu migrieren. Doch was wäre, wenn Sie diese Hürde mit einem einfachen Flag überspringen könnten? Heute zeigen wir drei gängige pandas-Workflows, die durch den Einsatz einer GPU-beschleunigten DataFrame-Bibliothek namens NVIDIA cuDF dramatisch beschleunigt werden. cuDF ermöglicht es Ihnen, GPU-Beschleunigung für Ihre bestehenden Workflows zu nutzen, ohne Ihren Code umschreiben zu müssen. Workflow #1: Analyse von Aktienkursen mit zeitbasierten Fenstern Eine häufige Aufgabe in der Finanzanalyse besteht darin, große, zeitbasierte Datensätze zu erkunden, um Trends zu identifizieren. Dies erfordert oft eine Reihe von pandas-Operationen wie groupby().agg() und das Erstellen neuer Datumsfunktionen. Der Hauptflaschenhals tritt jedoch dann auf, wenn Metriken über ein rollierendes Zeitfenster berechnet werden. Die Berechnung von Simple Moving Averages (SMAs) über 50- oder 200-Tage-Fenster auf einem CPU kann unglaublich langsam sein. Mit GPU-Beschleunigung sind diese Operationen bis zu 20-mal schneller. Ein Workflow, der auf einer CPU Minuten dauert, kann auf einer GPU in Sekunden abgeschlossen werden. Workflow #2: Analyse von Jobanzeigen mit großen Textfeldern Geschäftsintelligenz erfordert oft die Analyse von datenreichen Texten, was in pandas eine große Herausforderung darstellt. Große Textspalten verbrauchen enorme Mengen an Speicher – das Notebook dieses Workflows lädt eine 8 GB-Datei – und machen Standardoperationen unglaublich langsam. Aufgaben wie das Lesen von Dateien (read_csv), die Berechnung der Textlänge (.str.len()) und das Zusammenführen von DataFrames (pd.merge) führen zu erheblichen Leistungsproblemen. Diese Operationen sind jedoch unerlässlich, um Geschäftsfragen zu beantworten, wie zum Beispiel: "Welche Unternehmen haben die längsten Jobbeschreibungen?" GPU-Beschleunigung bietet eine massive End-to-End-Geschwindigkeitssteigerung. Beobachten Sie den direkten Vergleich: Workflow #3: Erstellung eines interaktiven Dashboards mit 7,3 Millionen Datensätzen Ein zentrales Ziel für Datenanalysten ist die Erstellung interaktiver Dashboards, die Stakeholdern ermöglichen, Daten zu erforschen. Der Kern jedes Dashboards ist seine Fähigkeit, Daten schnell basierend auf Benutzereingaben zu filtern. Mit pandas auf einer CPU kann das Filtern von Millionen von Zeilen in Echtzeit oft unmöglich sein. Änderungen an einem Datums-Slider oder die Auswahl eines Werts aus einer Dropdown-Liste führen zu langsamen, nutzlosen Erfahrungen. Dieser Workflow zeigt ein Panel-Dashboard, das auf 7,3 Millionen Standorten von Funkmasten basiert, bei dem pandas-Operationen wie .between() und .isin() durch Benutzerklicks ausgelöst werden. Mit GPU-Beschleunigung sind diese Filteroperationen nahezu instantan. Das Ergebnis ist eine flüssige, benutzerfreundliche Dashboard-Erfahrung, selbst bei interaktivem Abfragen von Millionen von geografischen Datensätzen. Was tun, wenn Ihr pandas DataFrame größer als der GPU-Speicher ist? Eine häufig gestellte Frage ist: "Das klingt großartig, aber was ist, wenn mein Datensatz nicht in den Speicher meiner GPU passt?" In der Vergangenheit war dies eine signifikante Einschränkung. Dank der Unified Virtual Memory (UVM) können Sie heute Datensätze verarbeiten, die größer sind als das VRAM Ihrer GPU (der dedizierte Speicher der GPU). UVM verschiebt Daten intelligent zwischen Ihrem System-RAM und dem GPU-Speicher, sodass Sie auch mit riesigen pandas DataFrames arbeiten können, ohne sich um Speichermanagement kümmern zu müssen. Probieren Sie es selbst: Gleicher Code, mehr Geschwindigkeit Wie diese Workflows zeigen, muss eine Leistungsbremse in pandas Sie nicht zu komplexen Workarounds zwingen. Viele der häufigsten Leistungsprobleme können durch einfaches Aktivieren der GPU gelöst werden, die Sie möglicherweise bereits besitzen. Das Beste daran ist, dass Sie mit NVIDIA cuDF nur Ihre vorhandenen pandas-Kenntnisse benötigen. Hier ist ein kurzer Leitfaden, wie Sie die GPU-Beschleunigung aktivieren können. Sind Sie ein Polars-Nutzer? Polars verfügt auch über eine eingebaute GPU-Engine, die von NVIDIA cuDF unterstützt wird. Lesen Sie den Blogbeitrag "Polars GPU Engine Powered by RAPIDS cuDF Now Available in Open Beta", um mehr zu erfahren. Bewertung durch Branchenexperten und Unternehmen Branchenexperten loben die Einfachheit und Effektivität von NVIDIA cuDF. Es ermöglicht es Datenwissenschaftlern, ihre Workflows signifikant zu beschleunigen, ohne tiefgreifende Änderungen vornehmen zu müssen. Unternehmen, die cuDF in ihre Prozesse integriert haben, berichten von erheblichen Leistungssteigerungen, insbesondere bei der Verarbeitung großer Datensätze. NVIDIA ist ein führender Hersteller von GPUs und hat sich in den letzten Jahren intensiv mit der Entwicklung von Softwarelösungen für Data Science und maschinelles Lernen beschäftigt. cuDF ist Teil des RAPIDS-Frameworks, das darauf abzielt, die Leistung von Data Science-Workflows zu verbessern, indem es GPU-Beschleunigung nutzt.