NaN-Werte in PyTorch sind stille Fehler, die Modelle korrumpieren, ohne einen Absturz auszulösen. Oft wird erst bemerkt, dass ein Training gescheitert ist, wenn die Verlustkurve abrupt abbricht oder in NaNs übergeht. Standardmäßig bietet PyTorch mit torch.autograd.set_detect_anomaly(True) eine Lösung an, die jedoch massive Leistungseinbußen von 50 bis 100-mal auf GPUs verursacht und zudem oft die Ursache nicht lokalisiert, sondern nur die Symptomstelle im Rückwärtsdurchgang anzeigt. Aus diesem Grund wurde ein neues Werkzeug entwickelt, das NaN-Werte mit einem Haken-System (Hooks) im Vorausdetektor erkennt und dabei nur etwa 3 Millisekunden pro Durchgang kostet. Das Konzept nutzt PyTorchs register_forward_hook-API, um einen Callback an jedes Modul zu registrieren, der den Durchgang prüft, ohne den Berechnungsgraph zu verlangsamen oder Aktivierungen zwischenzuspeichern. Ein einfacher Check auf Unendlich oder NaN im Ausgabentensor reicht aus, was deutlich schneller ist als das vollständige Zurückverfolgen des Graphen. Das entwickelte Tool enthält vier wesentliche Komponenten. Erstens strukturiert es erfasste Ereignisse in einem Datenklassen-Objekt, das Informationen über den Batch, die Schicht, den Modultyp und statistische Auswertungen der Daten enthält. Zweitens sorgt es durch Lock-Mechanismen für Thread-Sicherheit, was essentiell ist, wenn Datenlader Hintergrundprozesse nutzen. Drittens begrenzt es den Speicherverbrauch, indem es die Anzahl der gesammelten Protokolle begrenzt, um bei langen Trainingsläufen einen Speicherverlust zu verhindern. Viertens integriert es eine Prüfung der Gradientennorm. Da NaNs oft durch explodierende Gradienten verursacht werden, fängt diese Komponente Instabilitäten bereits im Vorfeld ab, bevor NaNs die Aktivierungen erreichen. Die Implementierung ermöglicht verschiedene Einsatzszenarien. Einfache Nutzung erfolgt über einen Kontext-Manager im Trainingsloop, der den Detektor aktiviert. Für die Produktion bietet das Tool eine integrierte Trainingsfunktion, die sofortige Warnungen ausgibt, sobald ein Problem auftritt. Zusätzlich können Backward-Hooks aktiviert werden, um NaNs direkt in den Gradienten zu finden, und benutzerdefinierte Schichtnamen können durch geordnete Sequenzen definiert werden, um das Debugging zu erleichtern. Bestimmte Schichttypen, wie Dropout oder Batch-Normalisierung, können ausgeschlossen werden, um Fehlmeldungen zu vermeiden. Benchmarkdaten zeigen, dass das Tool auf einem kleinen CPU-Modell nur etwa 5- bis 6-mal langsamer ist als keine Detektion, während der Standardansatz von PyTorch 12- bis 13-mal langsamer ist. Auf GPUs und bei großen Modellen wie Transformern ist die Differenz noch deutlicher, da der Overhead des Standardansatzes den Trainingsfortschritt praktisch zum Erliegen bringen kann. Die gemessene Verzögerung pro Haken liegt unter einer Millisekunde, was in der Summe pro Vorwärtsdurchgang dennoch einen minimalen Overhead ergibt. Es ist wichtig zu betonen, dass dieses Werkzeug ein Debugging- und Überwachungsinstrument ist und keine schlechte Trainingspraxis ersetzt. Maßnahmen wie Gradient Clipping, sorgfältige Lernratenwahl und Normalisierung bleiben notwendig. Das Tool identifiziert den Zeitpunkt und Ort des Problems, nicht jedoch die zugrundeliegende Ursache, die weiterhin von den Entwicklerinnen und Entwicklern analysiert werden muss. Der vollständige Quellcode ist als quelloffenes Projekt unter einer MIT-Lizenz verfügbar und erlaubt eine transparente Überprüfung der Methodik.