Hugging Face hat eine neue, leichte Bibliothek namens Trackio entwickelt, um die Nachverfolgung von Experimenten im maschinellen Lernen zu vereinfachen. Trackio wurde entwickelt, um die Nachverfolgung von Metriken, Parametern und Hyperparametern während des Trainings zu ermöglichen und sie anschließend visuell darzustellen. Traditionelle Experiment-Tracking-Tools können oft teuer, komplex oder nicht flexibel genug sein, um rasche Experimente und die gemeinsame Nutzung von Ergebnissen zu unterstützen. Die Wissenschaftsabteilung von Hugging Face hat Trackio für ihre Forschungsprojekte übernommen, da sie mehrere Vorteile gegenüber anderen Lösungen sieht. Ein großer Vorteil ist die einfache Teilen und Einbetten von Trainingsfortschritten. Trackio ermöglicht es, Ergebnisse über iframes in Blogposts oder Dokumentationen direkt einzubetten, ohne dass andere Benutzer Accounts erstellen müssen oder komplexe Dashboards durchlaufen. Zudem fördert Trackio die Standardisierung und Transparenz, indem es Metriken wie die Energieverbrauch von GPUs direkt aus dem nvidia-smi-Befehl abruft. Dies hilft dabei, den Energiebedarf und den ökologischen Fußabdruck von Modelltrainings besser zu verstehen und zu vergleichen. Die Daten sind auch leicht zugänglich, da sie nicht hinter proprietären APIs verborgen sind, was für Forscher wichtig ist, die eigene Analysen durchführen oder die Metriken in ihre Forschungsprozesse integrieren möchten. Trackio ist außerdem flexibel und ermöglicht es, während des Trainings neue Nachverfolgungsmerkmale schnell auszuprobieren, z. B. die Bewegung von Tensoren zwischen GPU und CPU, was die Trainingsgeschwindigkeit verbessert. Trackio ist eine Open-Source-Python-Bibliothek, die es ermöglicht, Metriken zu verfolgen und sie mit einem lokalen Gradio-Dashboard anzuzeigen. Das Dashboard kann auch mit Hugging Face Spaces synchronisiert werden, sodass es über eine URL geteilt werden kann. Da Spaces entweder privat oder öffentlich sein können, kann das Dashboard entweder öffentlich zugänglich sein oder nur innerhalb einer Organisation geteilt werden. Bei der Synchronisierung mit Spaces wird die Datenbank in eine Parquet-Datensatz umgewandelt und alle 5 Minuten gesichert, um Datenverlust zu vermeiden. Trackio ist nahtlos in Hugging Face-Bibliotheken wie Transformers und Accelerate integriert. Mit Transformers.Trainer können Benutzer einfach Metriken verfolgen, indem sie die Bibliothek in ihre Trainingsargumente einbinden. Bei Accelerate wird Trackio einfach über den Parameter log_with aktiviert. Keine zusätzliche Konfiguration ist erforderlich. Trackio ist derzeit in der Beta-Phase und ist bewusst leichtgewichtig, um Flexibilität und Leichtigkeit zu gewährleisten. Einige Funktionen, wie das Management von Artefakten oder komplexere Visualisierungen, sind noch nicht verfügbar. Hugging Face ruft die Community auf, Feedback zu geben und Vorschläge für zukünftige Funktionen zu machen, um Trackio weiter zu verbessern. Industrielle Experten loben Trackio für seine Einfachheit und Flexibilität. Die Bibliothek wird von der Community als wertvolles Werkzeug angesehen, das die Nachverfolgung von Experimenten im maschinellen Lernen transparenter und zugänglicher macht. Hugging Face ist eine führende Plattform für maschinelles Lernen und bietet eine Vielzahl von Tools und Ressourcen für Forscher und Entwickler. Trackio ist ein weiteres Beispiel dafür, wie Hugging Face sich für offene und benutzerfreundliche Lösungen einsetzt.